Полноценная специализация на 6+ месяцев обучения. Инженерия больших данных "от" и "до". Научитесь эффективно обрабатывать большие данные, выполняя практические задания на реальном кластере.
старт обучения: 11 апреля
продолжительность: 29 недель
продолжительность: 29 недель
Курс Big Data Engineer
с BigData Team
До старта обучения
Дни
Часы
Минуты
Секунды
Кому подойдет этот курс
- РазработчикиВы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
- АналитикиХотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи? Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.
Для тех, кто хочет перейти в сферу Data Science и освоить машинное обучение, рекомендуем пройти "Практический курс Machine Learning". - Data EngineersХотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
- Data ScientistsЛовите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Кому подойдет этот курс
- РазработчикиВы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
- АналитикиХотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи?
Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.
Для тех, кто хочет перейти в сферу Data Science и освоить машинное обучение, рекомендуем пройти "Практический курс Machine Learning". - Data EngineersХотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
- Data ScientistsЛовите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Что входит в программу
29 занятий
▶ Python для работы с большими данными (10 занятий),
▶ Промышленная разработка на Python (9 занятий),
▶ Практический анализ Big Data (10 занятий)
29 домашних заданий
На занятиях по Big Data вы будете работать с кластером, а после этого вас ждут домашние задания для отработки новых знаний на практике.
▶ Python для работы с большими данными (10 занятий),
▶ Промышленная разработка на Python (9 занятий),
▶ Практический анализ Big Data (10 занятий)
29 домашних заданий
На занятиях по Big Data вы будете работать с кластером, а после этого вас ждут домашние задания для отработки новых знаний на практике.
29 занятий
▶ Python для работы с большими данными (10 занятий),
▶ Промышленная разработка на Python (9 занятий),
▶ Практический анализ Big Data (10 занятий)
29 домашних заданий
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.
▶ Python для работы с большими данными (10 занятий),
▶ Промышленная разработка на Python (9 занятий),
▶ Практический анализ Big Data (10 занятий)
29 домашних заданий
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.
Чему вы научитесь
10 недель для освоения базы (основы Python, основы настройки окружения, основы анализа данных).
Часть 1. Python для работы с большими данными
В этом модуле вы изучите:
▶ работа в командной строке, файлы .py;
▶ переменные, типы данных и функции.
▶ работа в командной строке, файлы .py;
▶ переменные, типы данных и функции.
В этом модуле вы изучите:
▶ командная строка, знакомство с bash (ls, cd, mkdir, pwd и т. п.);
▶ работа с файлами 101: cat, head, tail, wc, cp, mv, rm, less.
▶ командная строка, знакомство с bash (ls, cd, mkdir, pwd и т. п.);
▶ работа с файлами 101: cat, head, tail, wc, cp, mv, rm, less.
Файлы, даты, виртуальное окружение и знакомство с Jupyter:
▶ настройка и работа с виртуальным окружением;
▶ установка Jupyter;
▶ основы работы с Jupyter Notebook;
▶ работа с датой и временем;
▶ основы работы с текстовыми файлами;
▶ работа с табличными данными в формате csv.
Управление работой программы:
► условный оператор if;
► циклы for и while;
► обработка исключений;
► генераторы в Python.
▶ настройка и работа с виртуальным окружением;
▶ установка Jupyter;
▶ основы работы с Jupyter Notebook;
▶ работа с датой и временем;
▶ основы работы с текстовыми файлами;
▶ работа с табличными данными в формате csv.
Управление работой программы:
► условный оператор if;
► циклы for и while;
► обработка исключений;
► генераторы в Python.
В этом модуле вам предстоит:
▶ работа с регулярными выражениями;
▶ работа с numpy, pandas;
▶ знакомство с SQL-интерфейсом.
▶ работа с регулярными выражениями;
▶ работа с numpy, pandas;
▶ знакомство с SQL-интерфейсом.
В этом модуле вы:
► изучите команды для работы с файлами: grep, find, zip/unzip/gzip, sort;
► познакомитесь с ssh, scp.
► изучите команды для работы с файлами: grep, find, zip/unzip/gzip, sort;
► познакомитесь с ssh, scp.
В этом модуле вы изучите:
► базовые алгоритмы и структуры данных;
► нотация Big-O.
► базовые алгоритмы и структуры данных;
► нотация Big-O.
Часть 2.1. Тестирование приложений, консольные приложения, юникод
и кодировки
и кодировки
Вы познакомитесь с типами тестирования, научитесь пользоваться библиотекой pytest, создавать консольные приложения с argparse, отличать юникод от кодировки и правильно с ним работать в Python.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы узнаете:
▶ что такое TDD и как правильно делать рефакторинг;
▶ пишем юнит-тесты с помощью pytest и PDB;
▶ что такое DevOps и как помогает жизни CI/CD.
▶ что такое TDD и как правильно делать рефакторинг;
▶ пишем юнит-тесты с помощью pytest и PDB;
▶ что такое DevOps и как помогает жизни CI/CD.
В этом модуле:
▶ изменяем аргументы командной строки (CLI), а не код;
▶ разбираем аргументы консольного приложения с помощью argparse;
▶ следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов;
▶ как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
▶ изменяем аргументы командной строки (CLI), а не код;
▶ разбираем аргументы консольного приложения с помощью argparse;
▶ следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов;
▶ как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
Всем, кому нужно работать не только с английским алфавитом, посвящается;
▶ что такое Unicode, character и code point;
▶ познаем разницу между bytes и Unicode;
▶ расширяем консольное приложение для работы с кодировками UTF-8, koi8-r;
▶ учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
▶ что такое Unicode, character и code point;
▶ познаем разницу между bytes и Unicode;
▶ расширяем консольное приложение для работы с кодировками UTF-8, koi8-r;
▶ учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
Часть 2.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле:
▶ знакомимся с особенностями реализации logging в Python;
▶ настраиваем логирование с помощью YAML-конфига;
▶ изучаем поведение различных уровней логирования;
▶ тестируем реализацию с помощью caplog fixture в pytest.
▶ знакомимся с особенностями реализации logging в Python;
▶ настраиваем логирование с помощью YAML-конфига;
▶ изучаем поведение различных уровней логирования;
▶ тестируем реализацию с помощью caplog fixture в pytest.
В этом модуле:
▶ изучаем patch и Mock;
▶ изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах;
▶ познаем контекст вызова для правильной реализации patch / mock.
▶ изучаем patch и Mock;
▶ изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах;
▶ познаем контекст вызова для правильной реализации patch / mock.
В этом модуле:
▶ знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model);
▶ автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests;
▶ Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
▶ знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model);
▶ автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests;
▶ Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
Часть 2.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ введение в паттерны проектирования (Design Patterns);
▶ порождающие паттерны (Creational) на примере Factory Method и Abstract Factory;
▶ поведенческие паттерны (Behavioral) на примере Strategy;
▶ структурные паттерны (Structural) на примере Composite;
▶ задание на декоратор (Decorator).
▶ введение в паттерны проектирования (Design Patterns);
▶ порождающие паттерны (Creational) на примере Factory Method и Abstract Factory;
▶ поведенческие паттерны (Behavioral) на примере Strategy;
▶ структурные паттерны (Structural) на примере Composite;
▶ задание на декоратор (Decorator).
В этом модуле вы изучите:
▶ Flask, werkzeug и Jinja2;
▶ познаем что такое wsgi, почему Flask в чистом виде не катит для production;
▶ тестирование и разработка Flask-приложений через TDD-парадигму;
▶ Flask json API, templates и static.
▶ Flask, werkzeug и Jinja2;
▶ познаем что такое wsgi, почему Flask в чистом виде не катит для production;
▶ тестирование и разработка Flask-приложений через TDD-парадигму;
▶ Flask json API, templates и static.
В этом модуле:
▶ масштабируем приложение на примере gunicorn и Nginx;
▶ создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
▶ масштабируем приложение на примере gunicorn и Nginx;
▶ создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
Часть 3.1. HDFS, Map Reduce, Hive
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
▶ распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
▶ чтение и запись в HDFS. HDFS APIs: Web, shell.
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
▶ распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
▶ чтение и запись в HDFS. HDFS APIs: Web, shell.
В этом модуле вы изучите:
▶ Hadoop Streaming;
▶ элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
▶ Hadoop Streaming;
▶ элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
В этом модуле вы изучите:
▶ приложения с несколькими Hadoop-задачами;
▶ тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
▶ задачи с несколькими входами. Joins в Hadoop.
▶ приложения с несколькими Hadoop-задачами;
▶ тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
▶ задачи с несколькими входами. Joins в Hadoop.
В этом модуле вы изучите:
▶ архитектура Hive, виды таблиц, форматы хранения данных;
▶ трансляция Hive-запросов в MapReduce-задачи;
▶ сериализация и десериализация;
▶ тюнинг Join'ов в Hive;
▶ партиционирование, бакетирование, семплирование;
▶ User defined functions, Hive Streaming.
▶ архитектура Hive, виды таблиц, форматы хранения данных;
▶ трансляция Hive-запросов в MapReduce-задачи;
▶ сериализация и десериализация;
▶ тюнинг Join'ов в Hive;
▶ партиционирование, бакетирование, семплирование;
▶ User defined functions, Hive Streaming.
Часть 3.2. Spark: from zero to hero
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ схема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ схема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
В этом модуле вы изучите:
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
В этом модуле вы изучите:
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
Часть 3.3. Rt, NoSQL, Data layout
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ подходы к Realtime-обработке;
▶ гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ архитектура Kafka, Kafka Streams, репликация в Kafka, отличие Kafka от классических очередей;
▶ семантики доставки сообщений, сжатие данных в kafka, синхронная и асинхронная репликация.
▶ подходы к Realtime-обработке;
▶ гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ архитектура Kafka, Kafka Streams, репликация в Kafka, отличие Kafka от классических очередей;
▶ семантики доставки сообщений, сжатие данных в kafka, синхронная и асинхронная репликация.
В этом модуле вы изучите:
▶ отличия Key-Value хранилищ от реляционных БД;
▶ компактификация и её виды, CQLSH;
▶ архитектура Cassandra;
▶ обеспечение надёжности и высокодоступности в Key-Value хранилищах;
▶ интеграция Spark с Cassandra.
▶ отличия Key-Value хранилищ от реляционных БД;
▶ компактификация и её виды, CQLSH;
▶ архитектура Cassandra;
▶ обеспечение надёжности и высокодоступности в Key-Value хранилищах;
▶ интеграция Spark с Cassandra.
В этом модуле вы изучите:
▶ как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
▶ Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
▶ форматы данных в Big Data: ORC vs Parquet, Avro, ...
▶ как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
▶ Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
▶ форматы данных в Big Data: ORC vs Parquet, Avro, ...
Наши преподаватели
Вашими преподавателями и наставниками будут практики из Amazon AWS, Яндекса, Rambler, NVIDIA. А еще они авторы совместной с Яндексом специализации Big Data for Data Engineers на Coursera, у которой уже более 100 тысяч слушателей.
Соавтор международного онлайн-курса «Big Data for Data Engineers», совместный проект с Яндексом.
Артём Выборнов
Head of Data products SberAds
10 лет в IT (Amazon AWS, Yandex, Rambler). Преподаватель и автор учебных программ по Machine Learning, Big Data, CDO programs for Chief Data Officers. Руководит международным онлайн-курсом "Big Data for Data Engineers" на Coursera, совместный проект с Яндексом.
Алексей Драль
Генеральный директор BigData Team
Основатель комьюнити Moscow Spark. Соавтор специализации по большим данным Big Data for Data Engineers на Coursera.
Павел Клеменков
Сhief Data Scientist (Data Platform), NVIDIA
Как проходит обучение Big Data
Курс проходит в онлайн-формате. Будет много практики, работы на кластере и общения с наставниками и слушателями.
- КластерНа занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользо-вательском режиме. Правильно настроить кластер - сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение. Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК. - GraderВаши домашние задания будет проверять Grader — наша разработка для получения моментальной обратной связи.
- Telegram, Slack или DiscordОбщаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
- ОблакоВсе материалы курса: лекции, практические занятия, домашние задания — доступны во время обучения и после.
Кластер
На занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользовательском режиме. Правильно настроить кластер — сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение.
Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
Grader
Ваши домашние задания будет проверять Grader — наша разработка для получения моментальной обратной связи.
Telegram, Slack или Discord
Общаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
Облако
Все материалы курса: лекции, практические занятия, домашние задания — доступны во время обучения и после.
Что вы получите
- Работа на реальном кластереВы получите опыт работы на Hadoop-кластере в многопользовательском режиме. Все по-настоящему: не потушили Spark сессию и отжираете ресурсы кластера — вам могут и в чате написать, и задачу убить ;)
- Максимум знаний и навыковМы адаптируем программу под уровень подготовки слушателей, чтобы вы максимально прокачали знания и навыки в сжатые сроки.
- Практика, практика, практикаВас ждет много часов интенсивной работы: практические задания на каждом занятии, домашние задания, работа на кластере.
- Поддержка наставников и кураторовНаши преподаватели будут вашими наставниками на протяжении всего обучения: ответят на вопросы, дадут обратную связь по заданиям, подскажут, что улучшить. Наши кураторы не оставят без ответа ни одно ваше сообщение.
- Быстрая обратная связь по домашним заданиямМы знаем, каково это не спать всю ночь, чтобы успеть к дедлайну. Мы уважаем ваше время, поэтому стараемся как можно быстрее дать обратную связь по домашним заданиям.
- Возможность получить грант на обучениеВ рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: astanahub.com/l/TechOrda
Что вы получите
- Работа на реальном кластереВы получите опыт работы на Hadoop-кластере в многопользовательском режиме. Все по-настоящему: не потушили Spark сессию и отжираете ресурсы кластера — вам могут и в чате написать, и задачу убить ;)
- Максимум знаний и навыковМы адаптируем программу под уровень подготовки слушателей, чтобы вы максимально прокачали знания и навыки в сжатые сроки.
- Практика, практика, практикаВас ждет много часов интенсивной работы: практические задания на каждом занятии, домашние задания, работа на кластере.
- Поддержка наставников и кураторовНаши преподаватели будут вашими наставниками на протяжении всего обучения: ответят на вопросы, дадут обратную связь по заданиям, подскажут, что улучшить. Наши кураторы не оставят без ответа ни одно ваше сообщение.
- Быстрая обратная связь по домашним заданиямМы знаем, каково это не спать всю ночь, чтобы успеть к дедлайну. Мы уважаем ваше время, поэтому стараемся как можно быстрее дать обратную связь по домашним заданиям.
- Возможность получить грант на обучениеВ рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: astanahub.com/l/TechOrda
У нас обучаются сотрудники ведущих компаний
и студенты лучших ВУЗов:
и студенты лучших ВУЗов:
У нас обучаются сотрудники ведущих компаний
и студенты лучших ВУЗов:
и студенты лучших ВУЗов:
Стоимость и критерии отбора
МООК (MOOC) - это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5-10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем. О плюсах и минусах формата в FAQ.
Вы можете пройти курс целиком или по частям. Части 2 и 3 курса проходит в формате МООК.
138 000 рублей
Часть 2.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 2.1. Тестирование приложений, консольные приложения, юникод и кодировки
Вы можете проходить обучение по частям, но в этом случае вы не сможете претендовать на грант.
Стоимость полного курса при оплате в рублях
966 000 тенге
Часть 3.1. HDFS, Map Reduce, Hive
Часть 3.2. Spark: from zero to hero
Часть 3.3. RT, NoSQL, Data layout
Стоимость полного курса при оплате в тенге
Часть 2.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 2.1. Тестирование приложений, консольные приложения, юникод и кодировки
Часть 1. Python для работы с большими данными
Часть 3.1. HDFS, Map Reduce, Hive
Часть 3.2. Spark: from zero to hero
Часть 3.3. RT, NoSQL, Data layout
Для того, чтобы получить грант вам нужно соответствовать критериям Tech Orda и пройти отбор (отбор по грантам в 2022 завершен, новый набор по грантам будет ближе к осени 2023).
366 000 тенге
В рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: https://astanahub.com/l/TechOrda
Стоимость обучения при получении гранта
29 недель
29 недель
Часть 1. Python для работы с большими данными
Вы можете проходить обучение по частям, оставьте заявку и мы расскажем вам об условиях.
Критерии отбора
Для прохождения курса Big Data Engineer будет полезно владеть базой по работе с Python:
▶ https://www.coursera.org/learn/python
▶ https://www.coursera.org/learn/python-data
▶ иметь опыт работы с Jupyter notebooks
▶ уметь отлаживать программы с помощью "print"
▶ https://www.coursera.org/learn/python
▶ https://www.coursera.org/learn/python-data
▶ иметь опыт работы с Jupyter notebooks
▶ уметь отлаживать программы с помощью "print"
Сдать входное тестирование на умение решать аналитические задачи и знание основ Python
Прислать резюме и/или мотивационное письмо для разрешения спорных случаев (отбора на курс)
Пройти дополнительный опросник на знание Unix CLI, алгоритмов и структур данных, Big Data (для лучшего понимания уровня учебной группы)
Общие рекомендации по подготовке
Отбор студентов производится на основе:
▶ Набранных баллов по тестированию (порог >70% правильных ответов за базовую часть)
▶ Решения внутренней комиссии на основе результатов тестирования (набранных баллов), опросника, релевантного профиля работы и/или обучения, мотивации/целей прохождения курса
▶ Набранных баллов по тестированию (порог >70% правильных ответов за базовую часть)
▶ Решения внутренней комиссии на основе результатов тестирования (набранных баллов), опросника, релевантного профиля работы и/или обучения, мотивации/целей прохождения курса
Вы также можете
- Взять рассрочкуВы можете оплатить курс по частям: половину стоимости надо внести до начала курса, половину — в середине. Напишите нам или заполните форму, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
- Получить налоговый вычетУ нас есть образовательная лицензия - это значит, что вы сможете получить налоговый вычет за обучение на курсе. Что такое налоговый вычет и как его получить, читайте в нашей статье.
Вы также можете
Взять рассрочку
Вы можете оплатить курс по частям: половину стоимости надо внести до начала курса, половину — в середине. Напишите нам или заполните форму, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
Получить налоговый вычет
У нас есть образовательная лицензия - это значит, что вы сможете получить налоговый вычет за обучение на курсе. Что такое налоговый вычет и как его получить, читайте в нашей статье.
Наши ученики о нас
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
с которыми можно двигаться дальше.
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Наши ученики о нас
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
с которыми можно двигаться дальше.
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Образовательная лицензия
У нас есть образовательная лицензия — это значит, что мы предоставляем Удостоверение о повышении квалификации государственного образца тем, кто успешно прошел курс.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
У нас есть образовательная лицензия — это значит, что мы предоставляем Удостоверение о повышении квалификации государственного образца тем, кто успешно прошел курс.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
j
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
j
F.A.Q.
Занятия проходят онлайн 1 раз в неделю. Если вы пропустили занятие - не переживайте, будет видеозапись. Мы рекомендуем выделять на обучение 8-12 часов в неделю.
Для успешного прохождения курса вам надо знать Python и основы Linux и SQL. Напишите нам, и мы порекомендуем материалы для подготовки.
Мы постоянно обновляем и дополняем программу, чтобы дать вам максимум полезной и актуальной информации. Мы разрабатываем практические задания, чтобы вы быстрее прокачивали свои навыки.
Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
Онлайн (online) — это живые трансляции в Zoom с преподавателями. Преподаватели дают теоретический материал и практические задания, отвечают на вопросы слушателей. Занятие длится 3 часа.
МООК (MOOC) — это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5−10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем.
МООК формат имеет свои плюсы и минусы по сравнению с онлайн-обучением:
(+) гибкость: можно смотреть видео в любое удобное время. Например часть материала можно посмотреть в дороге или в перерыве между встречами днем;
(-) самоорганизация: вам нужно самостоятельно планировать время на изучение материала;
(+) стоимость: МООК дешевле онлайн, поскольку преподавателю не нужно выделять дополнительное время в графике для проведения занятия;
(-) интерактив: когда вы изучаете новый материал с преподавателем и другими слушателями, то в максимально-интерактивном режиме получаете обратную связь. Есть возможность один и тот же концепт обсудить с разных точек зрения, чтобы лучше в нем разобраться. В рамках МООК — вам нужно проявлять больше инициативы, чтобы задавать интересующие вас вопросы и вчитываться в комментарии других слушателей, менторов и преподавателей
В обоих форматах обучения предоставляются:
▶ доступ к чату и материалам курса;
▶ доступ к вычислительной инфраструктуре (кластеру) на курсе Big Data;
▶ задачи и автоматическая системы проверки для выдачи интерактивной обратной связи по решению;
▶ менторская поддержка по учебным материалам (наши менторы — обычно лучшие выпускники прошлых курсов, то есть лучшие 5%);
▶ комментарии по сложным вопросам от инструкторов / разработчиков курса;
Cмешанное обучение (blended learning) — возможность взять из обоих подходов лучшее. В рамках этого обучения часть учебных модулей даются в формате МООК, а часть в формате онлайн. Учитываются интересы максимально-интерактивного обучения и минимизируется риск недостаточной вовлеченности при обучении в формате МООК. После 2−4 МООК модулей проводится онлайн-занятие с преподавателем.
МООК (MOOC) — это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5−10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем.
МООК формат имеет свои плюсы и минусы по сравнению с онлайн-обучением:
(+) гибкость: можно смотреть видео в любое удобное время. Например часть материала можно посмотреть в дороге или в перерыве между встречами днем;
(-) самоорганизация: вам нужно самостоятельно планировать время на изучение материала;
(+) стоимость: МООК дешевле онлайн, поскольку преподавателю не нужно выделять дополнительное время в графике для проведения занятия;
(-) интерактив: когда вы изучаете новый материал с преподавателем и другими слушателями, то в максимально-интерактивном режиме получаете обратную связь. Есть возможность один и тот же концепт обсудить с разных точек зрения, чтобы лучше в нем разобраться. В рамках МООК — вам нужно проявлять больше инициативы, чтобы задавать интересующие вас вопросы и вчитываться в комментарии других слушателей, менторов и преподавателей
В обоих форматах обучения предоставляются:
▶ доступ к чату и материалам курса;
▶ доступ к вычислительной инфраструктуре (кластеру) на курсе Big Data;
▶ задачи и автоматическая системы проверки для выдачи интерактивной обратной связи по решению;
▶ менторская поддержка по учебным материалам (наши менторы — обычно лучшие выпускники прошлых курсов, то есть лучшие 5%);
▶ комментарии по сложным вопросам от инструкторов / разработчиков курса;
Cмешанное обучение (blended learning) — возможность взять из обоих подходов лучшее. В рамках этого обучения часть учебных модулей даются в формате МООК, а часть в формате онлайн. Учитываются интересы максимально-интерактивного обучения и минимизируется риск недостаточной вовлеченности при обучении в формате МООК. После 2−4 МООК модулей проводится онлайн-занятие с преподавателем.
Да, вы можете оплатить курс по частям. Напишите нам, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
Да. Образовательная лицензия номер 1 177 627 017 501.
Мы считаем, что обучение не гарантирует трудоустройства, поэтому не даем пустых обещаний.
Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше — дело за вами.
Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше — дело за вами.
1. Мы любим практику и разбираем реальные кейсы из индустрии и бизнеса.
2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour. Space University, Coursera. За их плечами множество запущенных проектов.
3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ.
2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour. Space University, Coursera. За их плечами множество запущенных проектов.
3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ.
Оставьте заявку на обучение
study@bigdatateam.org
Порекомендуем материалы для подготовки к курсу
Поможем с оформлением рассрочки
Примем заявку на обучение для бизнеса
Поймем ваши цели и запрос
Click to order
Ваш заказ
Total:
