Курс Big Data Engineer++ с BigData Team

Продвинутая специализация на 6+ месяцев обучения для ИТ-специалистов. Инженерия больших данных "от" и "до" с дополнительными темами. Научитесь эффективно обрабатывать большие данные, выполняя практические задания на реальном кластере.

Онлайн
старт обучения: 24 января
набор группы: сентябрь-октябрь
продолжительность: 24 недели

Кому подойдет этот курс

Разработчики
Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
Аналитики
Хотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи?
Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.

Для тех, кто хочет перейти в сферу Data Science и освоить машинное обучение, рекомендуем пройти "Практический курс Machine Learning".
Data Engineers
Хотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
Data Scientists
Ловите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.

Кому подойдет этот курс

Разработчики
Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
Аналитики
Хотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи?
Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.

Для тех, кто хочет перейти в сферу Data Science и освоить машинное обучение, рекомендуем пройти "Практический курс Machine Learning".
Data Engineers
Хотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
Data Scientists
Ловите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования моделей ML.

Что входит в программу

24 занятия
Промышленная разработка на Python (9 занятий), Практический анализ Big Data (10 занятий),
Дополнительные темы по Big Data (5 занятий)
24 домашних задания
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.

Что входит в программу

24 занятия
Промышленная разработка на Python (9 занятий), Практический анализ Big Data (10 занятий), Дополнительные темы по Big Data (5 занятий)
24 домашних задания
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.

Чему вы научитесь

Часть 1.1. Тестирование приложений, консольные приложения, юникод и кодировки
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Тестирование приложений
• Что такое TDD и как правильно делать рефакторинг.
• Пишем юнит-тесты с помощью pytest и PDB.
• Что такое DevOps и как помогает жизни CI/CD.

Консольные приложения (argparse)
• Изменяем аргументы командной строки (CLI), а не код.
    • Разбираем аргументы консольного приложения с помощью argparse.
    • Следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов.
    • Как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
    Юникод, кодировки, pytest:capsys
    Всем, кому нужно работать не только с английским алфавитом, посвящается:

    • Что такое Unicode, character и code point.
    • Познаем разницу между bytes и Unicode.
    • Расширяем консольное приложение для работы с кодировками UTF-8, koi8-r.
    • Учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
    Часть 1.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
    Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
    Логирование в Python, YAML
    • Знакомимся с особенностями реализации logging в Python.
    • Настраиваем логирование с помощью YAML-конфига.
    • Изучаем поведение различных уровней логирования.
    • Тестируем реализацию с помощью caplog fixture в pytest.
    Mock внешних зависимостей
    • Изучаем patch и Mock.
    • Изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах.
    • Познаем контекст вызова для правильной реализации patch / mock.

    Автоматизация работы с Web
    • Знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model).
    • Автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests.
    • Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
    Часть 1.3. Паттерны проектирования, Web-сервис, мониторинг приложений
    Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
    Паттерны проектирования
    • Введение в паттерны проектирования (Design Patterns).
    • Порождающие паттерны (Creational) на примере Factory Method и Abstract Factory.
    • Поведенческие паттерны (Behavioral) на примере Strategy.
    • Структурные паттерны (Structural) на примере Composite.
    • Задание на декоратор (Decorator).
    Пишем Web-сервис с нуля
    • Flask, werkzeug и Jinja2.
    • Познаем что такое wsgi, почему Flask в чистом виде не катит для production.
    • Тестирование и разработка Flask-приложений через TDD-парадигму.
    • Flask json API, templates и static.

    Мониторинг приложений
    • Масштабируем приложение на примере gunicorn и Nginx.
    • Создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
    Часть 2.1. HDFS, Map Reduce, Hive
    Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
    Введение в Большие Данные (Big Data). Распределенные файловые системы, Workshop
    • Вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса.
    • Распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения.
    • Чтение и запись в HDFS. HDFS APIs: Web, shell.

    Hadoop экосистема, MapReduce и не только
    • Hadoop Streaming.
      • Элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
      Оптимизация MapReduce вычислений
      • Приложения с несколькими Hadoop-задачами.
      • Тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs).
      • Задачи с несколькими входами. Joins в Hadoop.
      SQL поверх больших данных (Hive)
      • Архитектура Hive, виды таблиц, форматы хранения данных.
      • Трансляция Hive-запросов в MapReduce-задачи.
      • Сериализация и десериализация.
      • Тюнинг Join'ов в Hive.
      • Партиционирование, бакетирование, семплирование.
      • User defined functions, Hive Streaming.
      Часть 2.2. Spark: from zero to hero
      На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
      Модель вычислений Spark: RDD
      • Схема выполнения задачи в Spark.
      • Основные термины Spark (job, task, stage).
      • Представление вычислений в виде графа. Spark Python API. Spark RDD API.
      • Broadcast-сообщения и счетчики.
      Spark DataFrames, Spark SQL
      • Взаимодействие Hive и Spark SQL.
      • Отличия DF от RDD.

      Оптимизация Spark вычислений
      • Spark on YARN.
      • Типы stage в Spark.
      • Оптимизация операции shuffle.
      • Настройка Garbage Collection, тюнинг потребления памяти.
      Часть 2.3. RT, NoSQL, Data layout
      Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
      Потоковая обработка данных (Kafka, Spark Structured Streaming)
      • Подходы к Realtime-обработке.
      • Гарантии обработки. Переход от одной гарантии к другой. Архитектуры "Лямбда" и "Каппа".
      • Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream.
      • Архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей.
      • Семантики доставки сообщений. Сжатие данных в kafka. Синхронная и асинхронная репликация.
      NoSQL поверх больших данных: Cassandra
      • Отличия Key-Value хранилищ от реляционных БД.
      • Компактификация и её виды. CQLSH.
      • Архитектура Cassandra.
      • Обеспечение надёжности и высокодоступности в Key-Value хранилищах.
      • Интеграция Spark с Cassandra.

      Data Layout
      • Как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках.
      • Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные.
      • Форматы данных в Big Data: ORC vs Parquet, Avro, ...
      Часть 3. Big Data++
      5 недель более глубокой проработки практических навыков при работе с распределенными фреймворками
      1-2. Дополнительные модули по Hive (UD*F, Streaming, Lateral View)
      3. Дополнительные модули по Kafka и Spark Structured Streaming
      4-5. Дополнительные модули по оптимизации Big Data
      Дополнительные модули определяются на основе профиля слушателей и их интересов

      Чему вы научитесь

      Часть 2.1. Тестирование приложений, консольные приложения, юникод и кодировки
      Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
      Тестирование приложений
      • Что такое TDD и как правильно делать рефакторинг.
      • Пишем юнит-тесты с помощью pytest и PDB.
      • Что такое DevOps и как помогает жизни CI/CD.
      Консольные приложения (argparse)
      • Изменяем аргументы командной строки (CLI), а не код.
      • Разбираем аргументы консольного приложения с помощью argparse.
      • Следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов.
      • Как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
      Юникод, кодировки, pytest:capsys
      Всем, кому нужно работать не только с английским алфавитом, посвящается:

      • Что такое Unicode, character и code point.
      • Познаем разницу между bytes и Unicode.
      • Расширяем консольное приложение для работы с кодировками UTF-8, koi8-r.
      • Учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
      Часть 2.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
      Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
      Логирование в Python, YAML
      • Знакомимся с особенностями реализации logging в Python.
      • Настраиваем логирование с помощью YAML-конфига.
      • Изучаем поведение различных уровней логирования.
      • Тестируем реализацию с помощью caplog fixture в pytest.
      Mock внешних зависимостей
      • Изучаем patch и Mock.
      • Изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах.
      • Познаем контекст вызова для правильной реализации patch / mock.
      Автоматизация работы с Web
      • Знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model).
      • Автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests.
      • Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
      Часть 2.3. Паттерны проектирования, Web-сервис, мониторинг приложений
      Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
      Паттерны проектирования
      • Введение в паттерны проектирования (Design Patterns).
      • Порождающие паттерны (Creational) на примере Factory Method и Abstract Factory.
      • Поведенческие паттерны (Behavioral) на примере Strategy.
      • Структурные паттерны (Structural) на примере Composite.
      • Задание на декоратор (Decorator).
      Пишем Web-сервис с нуля
      • Flask, werkzeug и Jinja2.
      • Познаем что такое wsgi, почему Flask в чистом виде не катит для production.
      • Тестирование и разработка Flask-приложений через TDD-парадигму.
      • Flask json API, templates и static.
      Мониторинг приложений
      • Масштабируем приложение на примере gunicorn и Nginx.
      • Создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
      Часть 3.1. HDFS, Map Reduce, Hive
      Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
      Введение в Большие Данные (Big Data). Распределенные файловые системы, Workshop
      • Вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса.
      • Распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения.
      • Чтение и запись в HDFS. HDFS APIs: Web, shell.
      Hadoop экосистема, MapReduce и не только
      • Hadoop Streaming.
        • Элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
        Оптимизация MapReduce вычислений
        • Приложения с несколькими Hadoop-задачами.
        • Тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs).
        • Задачи с несколькими входами. Joins в Hadoop.
        SQL поверх больших данных (Hive)
        • Архитектура Hive, виды таблиц, форматы хранения данных.
        • Трансляция Hive-запросов в MapReduce-задачи.
        • Сериализация и десериализация.
        • Тюнинг Join'ов в Hive.
        • Партиционирование, бакетирование, семплирование.
        • User defined functions, Hive Streaming.
        Часть 3.2. Spark: from zero to hero
        На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
        Модель вычислений Spark: RDD
        • Схема выполнения задачи в Spark.
        • Основные термины Spark (job, task, stage).
        • Представление вычислений в виде графа. Spark Python API. Spark RDD API.
        • Broadcast-сообщения и счетчики.
        Spark DataFrames, Spark SQL
        • Взаимодействие Hive и Spark SQL.
        • Отличия DF от RDD.

        Оптимизация Spark вычислений
        • Spark on YARN.
        • Типы stage в Spark.
        • Оптимизация операции shuffle.
        • Настройка Garbage Collection, тюнинг потребления памяти.
        Часть 3.3. RT, NoSQL, Data layout
        Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
        Потоковая обработка данных (Kafka, Spark Structured Streaming)
        • Hadoop 3.0, возможности, особенности реализации и сферы применения
        • Подходы к Realtime-обработке.
        • Гарантии обработки. Переход от одной гарантии к другой. Архитектуры "Лямбда" и "Каппа".
        • Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream.
        • Архитектура Kafka, Kafka Streams, репликация в Kafka. Отличие Kafka от классических очередей.
        • Семантики доставки сообщений. Сжатие данных в kafka. Синхронная и асинхронная репликация.
        NoSQL поверх больших данных: Cassandra
        • Отличия Key-Value хранилищ от реляционных БД.
        • Компактификация и её виды. CQLSH.
        • Архитектура Cassandra.
        • Обеспечение надёжности и высокодоступности в Key-Value хранилищах.
        • Интеграция Spark с Cassandra.

        Data Layout
        • Как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках.
        • Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные.
        • Форматы данных в Big Data: ORC vs Parquet, Avro, ...
        Часть 3. Big Data++
        5 недель более глубокой проработки практических навыков при работе с распределенными фреймворками
        1-2. Дополнительные модули по Hive (UD*F, Streaming, Lateral View)
        3. Дополнительные модули по Kafka и Spark Structured Streaming
        4-5. Дополнительные модули по оптимизации Big Data
        Дополнительные модули определяются на основе профиля слушателей и их интересов

        Наши преподаватели


        Вашими преподавателями и наставниками будут практики из Amazon AWS, Яндекса, Rambler, NVIDIA.А еще они авторы совместной с Яндексом специализации Big Data for Data Engineers на Coursera, которую прослушали более 100 тысяч слушателей.

        Алексей Драль
        Генеральный директор,
        BigData Team
        10 лет в IT (Amazon AWS, Yandex, Rambler). Преподаватель и автор учебных программ по Machine learning, Big data, CDO programs for Chief Data Officers. Руководит международным онлайн-курсом "Big Data for Data Engineers" на Coursera, совместный проект с Яндексом.
        Артём Выборнов
        Head of Big Data Dev,
        Rambler Group
        Соавтор международного онлайн-курса "Big Data for Data Engineers", совместный проект с Яндексом.
        Павел Клеменков
        Chief Data Scientist (Data Platform), NVIDIA
        Основатель комьюнити Moscow Spark. Соавтор специализации по большим данным Big Data for Data Engineers на Coursera.

        Наши преподаватели


        Вашими преподавателями и наставниками будут практики из Amazon AWS, Яндекса, Rambler, NVIDIA.А еще они авторы совместной с Яндексом специализации Big Data for Data Engineers на Coursera, у которой уже более 100 тысяч слушателей.

        Алексей Драль
        Генеральный директор,
        BigData Team
        10 лет в IT (Amazon AWS, Yandex, Rambler). Преподаватель и автор учебных программ по Machine learning, Big data, CDO programs for Chief Data Officers. Руководит международным онлайн-курсом "Big Data for Data Engineers" на Coursera, совместный проект с Яндексом.
        Артём Выборнов
        Head of Big Data Dev,
        Rambler Group
        Соавтор международного онлайн-курса "Big Data for Data Engineers", совместный проект с Яндексом.
        Павел Клеменков
        Chief Data Scientist (Data Platform), NVIDIA
        Основатель комьюнити Moscow Spark. Соавтор специализации по большим данным Big Data for Data Engineers на Coursera.

        Как проходит обучение Big Data

        Курс проходит в онлайн-формате.
        Будет много практики, работы на кластере и общения
        с наставниками и слушателями.
        1
        Кластер
        На занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользовательском режиме. Правильно настроить кластер - сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение.
        Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.

        На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
        2
        Grader
        Ваши домашние задания будет проверять Grader - наша разработка для получения моментальной обратной связи.
        3
        Telegram, Slack или Discord
        Общаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
        4
        Облако
        Все материалы курса: лекции, практические занятия, домашние задания - доступны во время обучения и после.

        Как проходит обучение Big Data

        Курс проходит в онлайн-формате. Будет много практики, работы на кластере и общения с наставниками и слушателями.
        1
        Кластер
        На занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользовательском режиме. Правильно настроить кластер - сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение.
        Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.

        На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
        2
        Zoom
        Занятия проходят в Zoom. Вы сможете задавать вопросы на лекциях и общаться в перерывах. Все занятия записываются и доступны вместе с другими материалами курса.
        3
        Telegram, Slack или Discord
        Общаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
        4
        Облако
        Все материалы курса: лекции, практические занятия, домашние задания - доступны во время обучения и после.

        Что вы получите

        Работа на реальном кластере
        Вы получите опыт работы на Hadoop-кластере в многопользовательском режиме. Все по-настоящему:
        не потушили Spark сессию и отжираете ресурсы кластера - вам могут и в чате написать, и задачу убить ;)
        Максимум знаний и навыков
        Мы адаптируем программу под уровень подготовки слушателей, чтобы вы максимально прокачали знания и навыки в сжатые сроки.
        Практика, практика, практика
        Вас ждет много часов интенсивной работы: практические задания на каждом занятии, домашние задания, работа на кластере.
        Поддержка наставников и кураторов
        Наши преподаватели будут вашими наставниками на протяжении всего обучения: ответят на вопросы, дадут обратную связь по заданиям, подскажут, что улучшить.
        Наши кураторы не оставят без ответа ни одно ваше сообщение.
        Быстрая обратная связь по домашним заданиям
        Мы знаем, каково это не спать всю ночь, чтобы успеть к дедлайну. Мы уважаем ваше время, поэтому стараемся как можно быстрее дать обратную связь по домашним заданиям.
        Возможность получить грант на обучение
        В рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 700,000 тенге (для граждан Кахазстана). Оставляйте заявки и/или читайте подробности: https://astanahub.com/l/TechOrda
        У нас обучаются сотрудники ведущих компаний
        и студенты лучших ВУЗов
        У нас обучаются сотрудники ведущих компаний
        и студенты лучших ВУЗов
        Стоимость и критерии отбора
        Вы можете пройти курс целиком или по частям. Части 1 и 2 курса проходит в формате МООК, подробнее о формате читайте в FAQ
        Стоимость полного курса (все три части, 24 недели) - 756,000 тенге
        Вы можете проходить обучение по частям, но в этом случае вы не сможете претендовать на грант.
        Стоимость обучения при получении гранта - 56,000 тенге
        Для того, чтобы получить грант вам нужно соответствовать критериям Tech Orda и пройти отбор (сентябрь-октябрь, 2022).

        В рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 700,000 тенге (для граждан Кахазстана). Оставляйте заявки и/или читайте подробности: https://astanahub.com/l/TechOrda
        Критерии отбора (сентябрь-октябрь)
        1. Входное тестирование на знание Python, Unix CLI, алгоритмы и структуры данных, Big Data (за каждый правильный ответ - балл, за неправильные ответы баллы не снимаются)
        2. Отбор студентов производится на основе набранных баллов
        Рекомендации по подготовке
        Для прохождения курса Big Data Engineer++ в обязательном порядке нужно владеть базой по работе с Python, иметь опыт работы с консолью и обладать алгоритмической базой:
        - https://www.coursera.org/learn/python
        - https://www.coursera.org/learn/python-data
        - иметь опыт работы с Jupyter notebooks
        - уметь отлаживать программы как минимум с помощью "print"
        - знать что такое генераторы в Python и уметь ими пользоваться
        - уметь работать с данными с помощью Pandas, NumPy (базовый уровень)
        - знать SQL и регулярные выражения
        - уметь пользоваться Linux:
        -- уметь зайти на сервер по ssh
        -- уметь пользоваться консольными утилитами bash (cat, head, tail, wc, sort, uniq, ...)
        - знать нотацию Big-O
        - знать базовые алгоритмы и структуры данных

        Вы также можете

        Взять рассрочку
        Вы можете оплатить курс по частям: половину стоимости надо внести до начала курса, половину - в середине. Напишите нам или заполните форму, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
        Получить налоговый вычет (для граждан РФ)
        У нас есть образовательная лицензия - это значит, что вы сможете получить налоговый вычет за обучение на курсе. Что такое налоговый вычет и как его получить, читайте в нашей статье.
        Не уверены, что готовы к успешному прохождению курса? Напишите нам, и мы порекомендуем материалы для подготовки.
        Отзывы

        Образовательная лицензия

        У нас есть образовательная лицензия - это значит, что мы предоставляем Удостоверение о повышении квалификации государственного образца тем, кто успешно прошел курс
        (для тех, кто получил высшее образование в ВУЗах РФ).
        А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах
        (для граждан РФ).

        F.A.Q.

        Смогу ли я совмещать занятия с работой?
        Занятия проходят онлайн в понедельник 19:00 - 22:00 и четверг 19:00 - 22:00. Если вы пропустили занятие,
        не переживайте: будет видеозапись. Мы рекомендуем выделять на обучение 15-20 часов в неделю.
        Смогу ли я успешно пройти курс? Какие знания нужны?
        Для успешного прохождения курса вам надо знать Python и основы Linux и SQL. Напишите нам, и мы порекомендуем материалы для подготовки.
        Курс довольно дорогой. Как я пойму, что это того стоит?
        Мы постоянно обновляем и дополняем программу, чтобы дать вам максимум полезной и актуальной информации. Мы разрабатываем практические задания, чтобы вы быстрее прокачивали свои навыки.
        Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
        Чем отличается формат "Онлайн" от "МООК"?
        Форматы обучения

        Онлайн (online) - это живые трансляции в Zoom с преподавателями. Преподаватели дают теоретический материал и практические задания, отвечают на вопросы слушателей. Занятие длится 3 часа.

        МООК (MOOC) - это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5-10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем.

        МООК формат имеет свои плюсы и минусы по сравнению с онлайн-обучением:

        • (+) гибкость: можно смотреть видео в любое удобное время. Например часть материала можно посмотреть в дороге или в перерыве между встречами днем;
        • (-) самоорганизация: вам нужно самостоятельно планировать время на изучение материала;
        • (+) стоимость: МООК дешевле онлайн, поскольку преподавателю не нужно выделять дополнительное время в графике для проведения занятия;
        • (-) интерактив: когда вы изучаете новый материал с преподавателем и другими слушателями, то в максимально-интерактивном режиме получаете обратную связь. Есть возможность один и тот же концепт обсудить с разных точек зрения, чтобы лучше в нем разобраться. В рамках МООК - вам нужно проявлять больше инициативы, чтобы задавать интересующие вас вопросы и вчитываться в комментарии других слушателей, менторов и преподавателей
        В обоих форматах обучения предоставляются:

        • доступ к чату и материалам курса;
        • доступ к вычислительной инфраструктуре (кластеру) на курсе Big Data;
        • задачи и автоматическая системы проверки для выдачи интерактивной обратной связи по решению;
        • менторская поддержка по учебным материалам (наши менторы - обычно лучшие выпускники прошлых курсов, то есть лучшие 5%);
        • комментарии по сложным вопросам от инструкторов / разработчиков курса;

          Смешанное обучение (blended learning) - возможность взять из обоих подходов лучшее. В рамках этого обучения часть учебных модулей даются в формате МООК, а часть в формате онлайн. Учитываются интересы максимально-интерактивного обучения и минимизируется риск недостаточной вовлеченности при обучении в формате МООК. После 2-4 МООК модулей проводится онлайн-занятие с преподавателем.
        Смогу ли я оплатить курс в рассрочку?
        Да, вы можете оплатить курс по частям. Напишите нам, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
        Смогу ли я получить налоговый вычет за обучение у вас?
        Да. Как оформить налоговый вычет, читайте в нашей статье.
        У вас есть образовательная лицензия?
        Да. Образовательная лицензия номер 1177627017501.
        Почему вы не предлагаете трудоустройство выпускникам? Другие предлагают.
        Мы считаем, что обучение не гарантирует трудоустройства, поэтому не даем пустых обещаний.
        Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше - дело за вами.
        Почему стоит учиться именно у вас?
        1. Мы любим практику и разбираем реальные кейсы из индустрии и бизнеса.
        2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour.Space University, Coursera. За их плечами множество запущенных проектов.
        3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ.

        Смогу ли я совмещать занятия с работой?
        Занятия проходят онлайн в понедельник 19:00 - 22:00 и четверг 19:00 - 22:00. Если вы пропустили занятие, не переживайте: будет видеозапись. Мы рекомендуем выделять на обучение 15-20 часов в неделю.
        Смогу ли я успешно пройти курс? Какие знания нужны?
        Для успешного прохождения курса вам надо знать Python и основы Linux и SQL. Напишите нам, и мы порекомендуем материалы для подготовки.
        Курс довольно дорогой. Как я пойму, что это того стоит?
        Мы постоянно обновляем и дополняем программу, чтобы дать вам максимум полезной и актуальной информации. Мы разрабатываем практические задания, чтобы вы быстрее прокачивали свои навыки. Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
        Смогу ли я оплатить курс в рассрочку?
        Да, вы можете оплатить курс по частям. Напишите нам, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
        Смогу ли я получить налоговый вычет за обучение у вас?
        Да. Как оформить налоговый вычет, читайте в нашей статье.
        У вас есть образовательная лицензия?
        Да. Образовательная лицензия номер 1177627017501.
        Почему вы не предлагаете трудоустройство выпускникам? Другие предлагают.
        Мы считаем, что обучение не гарантирует трудоустройства, поэтому не даем пустых обещаний. Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше - дело за вами.
        Почему стоит учиться именно у вас?
        1. Мы любим практику и разбираем реальные кейсы из индустрии и бизнеса.
        2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour.Space University, Coursera. За их плечами множество запущенных проектов.
        3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ

        Оставьте заявку на обучение
        study@bigdatateam.org

        Заполняя форму, вы соглашаетесь с политикой конфиденциальности
        Поймем ваши цели и запрос
        Ответим на вопросы по обучению
        Порекомендуем материалы
        для подготовки к курсу

        Приходите учиться к нам!

        ОБУЧЕНИЕ
        ДОКУМЕНТЫ
        © 2017 - 2022 BigData Team
        ПОДПИСАТЬСЯ
        Icons provided by Tilda publishing
        Illustrations designed by Freepik