Специализация Big Data или Machine Learning Engineer. Фундаментальные знания и погружение в технологии для решения продуктовых задач. Возможность грантовой поддержки для граждан Казахстана (Tech Orda, 600,000 тенге).
старт обучения: июнь-июль 2024
продолжительность: 28 недель
продолжительность: 28 недель
Курс BD / ML Engineer
с BigData Team
До старта обучения
Дни
Часы
Минуты
Секунды
По опыту собеседований на грантовые программы 2022-го года мы столкнулись с проблемой, что потенциальные слушатели, не имея большого опыта непосредственно в разработке или анализе данных, не могут сделать осознанный выбор в выборе направления Big Data (больше разработки, меньше математики) vs Machine Learning (больше математики, меньше разработки). В связи с этим, мы решили подготовить учебную программу, с одинаковой академической нагрузкой, позволяющую сделать выбор между специализацией Big Data Engineer (BDE) и Machine Learning Engineer (MLE) по ходу обучения. В рамках первой части обучения вы получите опыт как в одной, так и в другой сфере и получите рекомендации по выбору трека.
Почему мы сделали этот курс?
Алексей Драль
Кому подойдет этот курс
- РазработчикиВы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными (BDE) или с машинным обучением (MLE)?
трек BDE: На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
трек MLE: Вы научитесь строить модели машинного обучения и нейронные сети, правильно использовать инструменты для работы с большими данными. - АналитикиХотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи?
трек BDE: Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.
трек MLE: Вы научитесь строить модели машинного обучения и использовать инструменты работы с большими данными для решения ваших задач. - Data EngineersХотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
- Data ScientistsЛовите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Кому подойдет этот курс
- РазработчикиВы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
- АналитикиХотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи?
Вы научитесь использовать инструменты работы с большими, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.
Для тех, кто хочет перейти в сферу Data Science и освоить машинное обучение, рекомендуем пройти "Практический курс Machine Learning". - Data EngineersХотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
- Data ScientistsЛовите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Что входит в программу
29 занятий
▶ Python для анализа данных и работы с большими данными (10 модулей),
В зависимости от специализации (BDE / MLE):
▶ Практический курс по Big Data (10 модулей),
▶ Практический курс по Machine Learning (10 модулей)
▶ Промышленная разработка на Python (9 модулей),
28+ домашних заданий
На занятиях по Big Data вы будете работать с кластером, а после этого вас ждут домашние задания для отработки новых знаний на практике.
▶ Python для анализа данных и работы с большими данными (10 модулей),
В зависимости от специализации (BDE / MLE):
▶ Практический курс по Big Data (10 модулей),
▶ Практический курс по Machine Learning (10 модулей)
▶ Промышленная разработка на Python (9 модулей),
28+ домашних заданий
На занятиях по Big Data вы будете работать с кластером, а после этого вас ждут домашние задания для отработки новых знаний на практике.
29 занятий
▶ Python для анализа данных и работы с большими данными (10 модулей),
В зависимости от специализации (BDE / MLDE):
▶ Практический курс по Big Data (10 модулей),
▶ Практический курс по Machine Learning (10 модулей)
▶ Промышленная разработка на Python (9 модулей),
28+ домашних заданий
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.
▶ Python для анализа данных и работы с большими данными (10 модулей),
В зависимости от специализации (BDE / MLDE):
▶ Практический курс по Big Data (10 модулей),
▶ Практический курс по Machine Learning (10 модулей)
▶ Промышленная разработка на Python (9 модулей),
28+ домашних заданий
На занятиях по Big Data вы будете работать с кластером,
а после этого вас ждут домашние задания для отработки новых знаний на практике.
Чему вы научитесь
5-10 модулей для освоения базы (основы Python, основы настройки окружения, основы анализа данных).
* - Обозначены обязательные учебные модули. Остальные модули - рекомендуемые для изучения.
* - Обозначены обязательные учебные модули. Остальные модули - рекомендуемые для изучения.
Часть 1. Python для анализа [больших] данных
В этом модуле вас ждут:
▶ обзор курса;
▶ знакомство с DevOps (CI/CD), MLOps (CT);
▶ воспроизводимость вычислений и окружения;
► pythonic код;
► объекты, классы и ООП.
▶ обзор курса;
▶ знакомство с DevOps (CI/CD), MLOps (CT);
▶ воспроизводимость вычислений и окружения;
► pythonic код;
► объекты, классы и ООП.
В этом модуле вам предстоит:
▶ командная строка, знакомство с bash (ls, cd, mkdir, pwd и т. п.);
▶ работа с CLI: man, tree;
▶ работа с файлами 101: cat, head, tail, wc, cp, mv, rm, less;
▶ работа с файлами 101: wc, права доступа (chmod), sh-bang;
► команды для работы с файлами: tail/head -c, grep, find, sort, tr;
► настраиваем удаленное соединение с сервером (ssh, config, auth keys);
► перенос файлов между серверами (scp).
▶ командная строка, знакомство с bash (ls, cd, mkdir, pwd и т. п.);
▶ работа с CLI: man, tree;
▶ работа с файлами 101: cat, head, tail, wc, cp, mv, rm, less;
▶ работа с файлами 101: wc, права доступа (chmod), sh-bang;
► команды для работы с файлами: tail/head -c, grep, find, sort, tr;
► настраиваем удаленное соединение с сервером (ssh, config, auth keys);
► перенос файлов между серверами (scp).
В этом модуле вас ждет:
► команды для работы с файлами: grep, find, zip/unzip/gzip, sort, xargs;
► знакомство с ssh, scp;
► скрипты, $1, $? & Co.;
► работа с сетью в командной строке (curl).
► команды для работы с файлами: grep, find, zip/unzip/gzip, sort, xargs;
► знакомство с ssh, scp;
► скрипты, $1, $? & Co.;
► работа с сетью в командной строке (curl).
В этом модуле вы изучите:
Занятие по regex:
► диалекты: grep, PCRE;
► конструкции простые и сложные;
► регистр и другие полезные ключи grep;
► look-ahead и look-behind regex;
► re в Python.
Занятие по git:
► Системы контроля версий;
► Введение в git.
Занятие по regex:
► диалекты: grep, PCRE;
► конструкции простые и сложные;
► регистр и другие полезные ключи grep;
► look-ahead и look-behind regex;
► re в Python.
Занятие по git:
► Системы контроля версий;
► Введение в git.
В этом модуле вы изучите:
► уровни внедрения CI/CD;
► github actions, типичные задачи, механика;
► secrets;
► воспроизводимость (данных, окружения, вычислений);
► отладка (дебаг).
► уровни внедрения CI/CD;
► github actions, типичные задачи, механика;
► secrets;
► воспроизводимость (данных, окружения, вычислений);
► отладка (дебаг).
В этом модуле вас ждет:
► лучшие практики написания кода и PEP-8;
► правила хорошего тона при работе с файлами (with);
► list/set/dict comprehension;
► модуль collections и pythonic way;
► генераторы в Python.
► лучшие практики написания кода и PEP-8;
► правила хорошего тона при работе с файлами (with);
► list/set/dict comprehension;
► модуль collections и pythonic way;
► генераторы в Python.
В этом модуле вы изучите:
► первичный анализ датасета в pandas;
► операции с данными (фильтрации, срезы, ...);
► трансформации данных (join, group by, explode, window, melt, stack, unstack, multiindex);
► визуализация данных в pandas;
► best practices, tips and tricks.
► первичный анализ датасета в pandas;
► операции с данными (фильтрации, срезы, ...);
► трансформации данных (join, group by, explode, window, melt, stack, unstack, multiindex);
► визуализация данных в pandas;
► best practices, tips and tricks.
В этом модуле вы изучите:
► SQL интерфейс, пользовательская (аналитическая) история;
► SQL интерфейс, инженерная история (connection, cursor, transaction)
► SQL интерфейс, пользовательская (аналитическая) история;
► SQL интерфейс, инженерная история (connection, cursor, transaction)
В этом модуле вы изучите:
► сложность вычислений и нотация Big-O;
► базовые алгоритмы, которые чаще всего встречаются на собеседованиях (бинарный поиск, сортировка слиянием и quicksort);
► оценка time and space complexity алгоритмов;
► bonus: 5 вариантов решения задачи Фибоначчи.
► сложность вычислений и нотация Big-O;
► базовые алгоритмы, которые чаще всего встречаются на собеседованиях (бинарный поиск, сортировка слиянием и quicksort);
► оценка time and space complexity алгоритмов;
► bonus: 5 вариантов решения задачи Фибоначчи.
В этом модуле вы изучите:
► что такое структура данных и почему они используются в ежедневной работе;
► базовые структуры данных, которые чаще всего встречаются на собеседованиях (массив, связный список, стек, очередь, множество, двоичное дерево поиска, map (хэш таблица), графы);
► оценка time complexity операций над структурами;
► стек вызовов, связь структур друг с другом, свойствами базовых структур данных и реальной практикой;
► разбор базовых задач и алгоритмов, которые чаще всего встречаются с конкретными структурами данных (рекурсия, обход деревьев и графов (bfs, dfs)).
► что такое структура данных и почему они используются в ежедневной работе;
► базовые структуры данных, которые чаще всего встречаются на собеседованиях (массив, связный список, стек, очередь, множество, двоичное дерево поиска, map (хэш таблица), графы);
► оценка time complexity операций над структурами;
► стек вызовов, связь структур друг с другом, свойствами базовых структур данных и реальной практикой;
► разбор базовых задач и алгоритмов, которые чаще всего встречаются с конкретными структурами данных (рекурсия, обход деревьев и графов (bfs, dfs)).
Часть 2.BD.1. HDFS, Map Reduce, Hive
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
▶ распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
▶ чтение и запись в HDFS. HDFS APIs: Web, shell.
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
▶ распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
▶ чтение и запись в HDFS. HDFS APIs: Web, shell.
В этом модуле вы изучите:
▶ Hadoop Streaming;
▶ элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
▶ Hadoop Streaming;
▶ элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
В этом модуле вы изучите:
▶ приложения с несколькими Hadoop-задачами;
▶ тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
▶ задачи с несколькими входами. Joins в Hadoop.
▶ приложения с несколькими Hadoop-задачами;
▶ тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
▶ задачи с несколькими входами. Joins в Hadoop.
В этом модуле вы изучите:
▶ архитектура Hive, виды таблиц, форматы хранения данных;
▶ трансляция Hive-запросов в MapReduce-задачи;
▶ сериализация и десериализация;
▶ тюнинг Join'ов в Hive;
▶ партиционирование, бакетирование, семплирование;
▶ User defined functions, Hive Streaming.
▶ архитектура Hive, виды таблиц, форматы хранения данных;
▶ трансляция Hive-запросов в MapReduce-задачи;
▶ сериализация и десериализация;
▶ тюнинг Join'ов в Hive;
▶ партиционирование, бакетирование, семплирование;
▶ User defined functions, Hive Streaming.
Часть 2.BD.2. Spark: from zero to hero
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ схема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ схема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
В этом модуле вы изучите:
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
В этом модуле вы изучите:
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
Часть 2.BD.3. Rt, NoSQL, Data layout
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ подходы к Realtime-обработке;
▶ гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ архитектура Kafka, Kafka Streams, репликация в Kafka, отличие Kafka от классических очередей;
▶ семантики доставки сообщений, сжатие данных в kafka, синхронная и асинхронная репликация.
▶ подходы к Realtime-обработке;
▶ гарантии обработки, переход от одной гарантии к другой, архитектуры "Лямбда" и "Каппа";
▶ Spark Streaming vs. Spark RDD, Spark Structured Streaming vs. Spark DataFrames, DStream;
▶ архитектура Kafka, Kafka Streams, репликация в Kafka, отличие Kafka от классических очередей;
▶ семантики доставки сообщений, сжатие данных в kafka, синхронная и асинхронная репликация.
В этом модуле вы изучите:
▶ отличия Key-Value хранилищ от реляционных БД;
▶ компактификация и её виды, CQLSH;
▶ архитектура Cassandra;
▶ обеспечение надёжности и высокодоступности в Key-Value хранилищах;
▶ интеграция Spark с Cassandra.
▶ отличия Key-Value хранилищ от реляционных БД;
▶ компактификация и её виды, CQLSH;
▶ архитектура Cassandra;
▶ обеспечение надёжности и высокодоступности в Key-Value хранилищах;
▶ интеграция Spark с Cassandra.
В этом модуле вы изучите:
▶ как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
▶ Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
▶ форматы данных в Big Data: ORC vs Parquet, Avro, ...
▶ как бороться с Data Skew с помощью MapReduce подходов в разных фреймворках;
▶ Trade-off между CPU и IO-bound приложениями, подходы к сжатию в Big Data, горячие и холодные данные;
▶ форматы данных в Big Data: ORC vs Parquet, Avro, ...
Участие в защите проектов по анализу данных
Вы научитесь строить модели машинного обучения, решать задачи регрессии и классификации, создавать ансамбли решающих деревьев, а аббревиатуры RF, GBDT, XGBoost и LightGBM станут родными и понятными.
Часть 2.ML.1. Классическое машинное обучение
Уже на первом занятии вы научитесь:
▶ совершать базовые операции с данными в numpy;
▶ строить графики функций с matplotlib;
▶ оптимизировать функции с scipy;
▶ визуализировать данные с seaborn.
А еще вы построите свою первую модель с помощью sklearn!
▶ совершать базовые операции с данными в numpy;
▶ строить графики функций с matplotlib;
▶ оптимизировать функции с scipy;
▶ визуализировать данные с seaborn.
А еще вы построите свою первую модель с помощью sklearn!
Простым и понятным языком расскажем про:
▶ применение алгоритмов Scikit-learn к синтетическому набору данных и к данным соревнования Kaggle Inclass (классификация, регрессия);
▶ логистическую регрессию и обучение моделей с помощью SGD;
▶ метод опорных векторов (Support Vector Machine) и ядра;
▶ настройку параметров и кросс-валидацию;
▶ предобработку данных (строки, пропуски, категориальные признаки).
▶ применение алгоритмов Scikit-learn к синтетическому набору данных и к данным соревнования Kaggle Inclass (классификация, регрессия);
▶ логистическую регрессию и обучение моделей с помощью SGD;
▶ метод опорных векторов (Support Vector Machine) и ядра;
▶ настройку параметров и кросс-валидацию;
▶ предобработку данных (строки, пропуски, категориальные признаки).
На занятии вы научитесь:
▶ обучать деревья на наборах данных (MNIST, UCI, кредитный скоринг);
▶ визуализировать деревья;
▶ работать с признаками и пропущенными значениями в деревьях;
▶ оценивать время работы и «стричь» деревья (прунинг).
▶ обучать деревья на наборах данных (MNIST, UCI, кредитный скоринг);
▶ визуализировать деревья;
▶ работать с признаками и пропущенными значениями в деревьях;
▶ оценивать время работы и «стричь» деревья (прунинг).
По итогам этого занятия вы освоите:
▶ общие методы построения композиций: усреднение, бустинг, блендинг, стекинг;
▶ бустинг и GBM;
▶ выбор параметров в ансамблях решающих деревьев, сравним Random Forest и GBDT с демонстрацией;
▶ связь между ответами моделей и качеством модели в бэггинге;
▶ bias-variance trade-off на примере бэггинга и бустинга. Обсудим преимущества и недостатки RF и GBDT, разберем XGBoost и LightGBM.
▶ общие методы построения композиций: усреднение, бустинг, блендинг, стекинг;
▶ бустинг и GBM;
▶ выбор параметров в ансамблях решающих деревьев, сравним Random Forest и GBDT с демонстрацией;
▶ связь между ответами моделей и качеством модели в бэггинге;
▶ bias-variance trade-off на примере бэггинга и бустинга. Обсудим преимущества и недостатки RF и GBDT, разберем XGBoost и LightGBM.
Вы познакомитесь с нейронными сетям (Deep learning) и Unsupervised learning, а также познакомитесь с большими данными. На протяжении этой части курса вы будете работать над итоговым проектом при поддержке наставников. Вы сможете реализовать собственный проект или проект, который предложат кураторы курса.
Часть 2.ML.2. Нейронные сети и Deep learning
Продолжаем погружаться в машинное обучение и знакомимся с нейронными сетями и Deep learning:
▶ нейронные сети и сверточные нейронные сети, общие веса, локальность, иерархичность;
▶ слои в сверточных сетях, функции потерь для классификации, регуляризация нейросетей;
▶ эффективные методы вычисления градиентов, проверка реализации разностным дифференцированием.
▶ нейронные сети и сверточные нейронные сети, общие веса, локальность, иерархичность;
▶ слои в сверточных сетях, функции потерь для классификации, регуляризация нейросетей;
▶ эффективные методы вычисления градиентов, проверка реализации разностным дифференцированием.
На этом занятии разберем:
▶ рекуррентные нейронные сети в задаче анализа сигналов и естественного языка;
▶ генеративные модели на основе RNN;
▶ механизм внимания (Attention mechanism) в задаче машинного перевода и других задачах;
▶ сверточные нейронные сети в задачах обработки текста, сравнение с рекуррентными нейронными сетями;
▶ DNN на практике: инициализация, предобработка данных, модельный зоопарк, дообучение, вычисления на видеокартах, визуализация.
▶ рекуррентные нейронные сети в задаче анализа сигналов и естественного языка;
▶ генеративные модели на основе RNN;
▶ механизм внимания (Attention mechanism) в задаче машинного перевода и других задачах;
▶ сверточные нейронные сети в задачах обработки текста, сравнение с рекуррентными нейронными сетями;
▶ DNN на практике: инициализация, предобработка данных, модельный зоопарк, дообучение, вычисления на видеокартах, визуализация.
Самое время для Unsupervised learning:
▶ разберемся с определением координат дома и работы по GPS-треку (определение регулярных координат
с помощью DBSCAN);
▶ освоим метод главных компонент на практике;
▶ научимся применять PCA и tSNE для визуализации данных, сжатия данных и предобработки датасета.
▶ разберемся с определением координат дома и работы по GPS-треку (определение регулярных координат
с помощью DBSCAN);
▶ освоим метод главных компонент на практике;
▶ научимся применять PCA и tSNE для визуализации данных, сжатия данных и предобработки датасета.
Изучите основы работы с большими данными: Hadoop, HDFS, MapReduce, Spark и многое другое!
Участие в защите проектов по анализу данных
Часть 3.1. Тестирование приложений, консольные приложения, юникод
и кодировки
и кодировки
Вы познакомитесь с типами тестирования, научитесь пользоваться библиотекой pytest, создавать консольные приложения с argparse, отличать юникод от кодировки и правильно с ним работать в Python.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы узнаете:
▶ что такое TDD и как правильно делать рефакторинг;
▶ пишем юнит-тесты с помощью pytest и PDB;
▶ что такое DevOps и как помогает жизни CI/CD.
▶ что такое TDD и как правильно делать рефакторинг;
▶ пишем юнит-тесты с помощью pytest и PDB;
▶ что такое DevOps и как помогает жизни CI/CD.
В этом модуле:
▶ изменяем аргументы командной строки (CLI), а не код;
▶ разбираем аргументы консольного приложения с помощью argparse;
▶ следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов;
▶ как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
▶ изменяем аргументы командной строки (CLI), а не код;
▶ разбираем аргументы консольного приложения с помощью argparse;
▶ следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов;
▶ как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle.
Всем, кому нужно работать не только с английским алфавитом, посвящается;
▶ что такое Unicode, character и code point;
▶ познаем разницу между bytes и Unicode;
▶ расширяем консольное приложение для работы с кодировками UTF-8, koi8-r;
▶ учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
▶ что такое Unicode, character и code point;
▶ познаем разницу между bytes и Unicode;
▶ расширяем консольное приложение для работы с кодировками UTF-8, koi8-r;
▶ учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT).
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле:
▶ знакомимся с особенностями реализации logging в Python;
▶ настраиваем логирование с помощью YAML-конфига;
▶ изучаем поведение различных уровней логирования;
▶ тестируем реализацию с помощью caplog fixture в pytest.
▶ знакомимся с особенностями реализации logging в Python;
▶ настраиваем логирование с помощью YAML-конфига;
▶ изучаем поведение различных уровней логирования;
▶ тестируем реализацию с помощью caplog fixture в pytest.
В этом модуле:
▶ изучаем patch и Mock;
▶ изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах;
▶ познаем контекст вызова для правильной реализации patch / mock.
▶ изучаем patch и Mock;
▶ изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах;
▶ познаем контекст вызова для правильной реализации patch / mock.
В этом модуле:
▶ знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model);
▶ автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests;
▶ Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
▶ знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model);
▶ автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests;
▶ Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup.
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶ введение в паттерны проектирования (Design Patterns);
▶ порождающие паттерны (Creational) на примере Factory Method и Abstract Factory;
▶ поведенческие паттерны (Behavioral) на примере Strategy;
▶ структурные паттерны (Structural) на примере Composite;
▶ задание на декоратор (Decorator).
▶ введение в паттерны проектирования (Design Patterns);
▶ порождающие паттерны (Creational) на примере Factory Method и Abstract Factory;
▶ поведенческие паттерны (Behavioral) на примере Strategy;
▶ структурные паттерны (Structural) на примере Composite;
▶ задание на декоратор (Decorator).
В этом модуле вы изучите:
▶ Flask, werkzeug и Jinja2;
▶ познаем что такое wsgi, почему Flask в чистом виде не катит для production;
▶ тестирование и разработка Flask-приложений через TDD-парадигму;
▶ Flask json API, templates и static.
▶ Flask, werkzeug и Jinja2;
▶ познаем что такое wsgi, почему Flask в чистом виде не катит для production;
▶ тестирование и разработка Flask-приложений через TDD-парадигму;
▶ Flask json API, templates и static.
В этом модуле:
▶ масштабируем приложение на примере gunicorn и Nginx;
▶ создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
▶ масштабируем приложение на примере gunicorn и Nginx;
▶ создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana.
Наши преподаватели
Вашими преподавателями и наставниками будут практики из Amazon AWS, Яндекса, Rambler, NVIDIA. А еще они авторы специализации Big Data for Data Engineers, у которой только на Coursera более 100 тысяч слушателей.
Алексей ДральCEO at BigData Team10 лет в IT (Amazon AWS, Yandex, Rambler). Преподаватель и автор учебных программ по Machine learning, Big data, CDO programs for Chief Data Officers. Руководит международным онлайн-курсом "Big Data for Data Engineers" на Coursera, совместный проект с Яндексом.
Дмитрий ИгнатовЗав. лабораторией моделей и методов вычислительной прагматики, ВШЭАвтор более 50 научных статей в журналах Machine Learning, Expert Systems and Applications, Discrete Applied Mathematics, General Systems.
Организатор международных конференций и семинаров по анализу данных и машинному обучению: AIST, ECIR, CLA, ICFCA, ICCS, EEML, RuSSIR и др.
Наталья КорепановаData Science Tech Lead,
IPONWEBОпыт исследовательской работы в департаменте биостатистики в институте эпидемиологии, биостатистики и превентивной медицины Цюрихского университета.
Кирилл ВласовTeam Lead, CatboostРуководитель ML и DS проектов в промышленности. Входит в программный комитет и команду организаторов DataFest.
Павел КлеменковChief Data Scientist (Data Platform), NVIDIAОснователь комьюнити Moscow Spark. Соавтор специализации по большим данным Big Data for Data Engineers на Coursera.
Эмели ДральChief Technical Officer, Evidently AIАвтор международного онлайн курса Machine Learning and Data Analysis (Coursera, Yandex, МФТИ). В рамках совместного проекта с Яндексом, соавтор международного онлайн-курса Big Data for Data Engineers на Coursera
Арсений АшухаИсследователь Samsung AI Center MoscowЗанимается исследованиями глубоких нейронных сетей в группе Байесовских методов в Samsung и ВШЭ. Автор статей, опубликованных на ведущих конференциях по машинному обучению: ICML, NeurIPS, ICLR.
Артём ВыборновHead of Data products SberAdsСоавтор международного онлайн-курса «Big Data for Data Engineers», совместный проект с Яндексом.
Илья БойцовDeep learning Lead, WayfairСфера интересов: NLP и рекомендательные системы (RecSys)
Преподаватель и один из авторов курса 'Рекомендательные системы" в Школе Анализа Данных (ШАД) Яндекса
Александр КлимовMachine Learning Engineer, eBayСфера интересов: MLOps
Портфолио: построение с нуля MLOps инфраструктуры для DS команды Альфа-Банка (РФ)
Евгений АдищевChief ML Officer @ Next Step FusionСфера интересов: современные модели и алгоритмы в обучении с подкреплением (RL), а также обработка естественных языков и большие языковые генеративные модели (NLP, LLM)
Как проходит обучение Big Data
Курс проходит в онлайн-формате. Будет много практики, работы на кластере и общения с наставниками и слушателями.
- КластерНа занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользо-вательском режиме. Правильно настроить кластер - сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение. Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК. - GraderВаши домашние задания будет проверять Grader — наша разработка для получения моментальной обратной связи.
- Telegram, Slack или DiscordОбщаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
- ОблакоВсе материалы курса: лекции, практические занятия, домашние задания — доступны во время обучения и после.
Кластер
На занятиях, посвященных Big Data вы будете выполнять практические задания на Hadoop-кластере, развернутом в многопользовательском режиме. Правильно настроить кластер — сложно и дорого, поэтому мы берем настройку окружения на себя, а вы тратите время только на обучение.
Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
Если будут вопросы по конфигурации кластера, тоже сможем дать рекомендации.
На остальных занятиях вы будете пользоваться собственным ноутбуком или ПК.
Grader
Ваши домашние задания будет проверять Grader — наша разработка для получения моментальной обратной связи.
Telegram, Slack или Discord
Общаться с преподавателями, кураторами и между собой можно в мессенджере. В чате курса удобно следить за важной информацией и новостями.
Облако
Все материалы курса: лекции, практические занятия, домашние задания — доступны во время обучения и после.
Что вы получите
- Работа на реальном кластереВы получите опыт работы на Hadoop-кластере в многопользовательском режиме. Все по-настоящему: не потушили Spark сессию и отжираете ресурсы кластера — вам могут и в чате написать, и задачу убить ;)
- Максимум знаний и навыковМы адаптируем программу под уровень подготовки слушателей, чтобы вы максимально прокачали знания и навыки в сжатые сроки.
- Практика, практика, практикаВас ждет много часов интенсивной работы: практические задания на каждом занятии, домашние задания, работа на кластере (трек BDE), обязательная защита проекта (трек MLE).
- Поддержка наставников и кураторовНаши преподаватели будут вашими наставниками на протяжении всего обучения: ответят на вопросы, дадут обратную связь по заданиям, подскажут, что улучшить. Наши кураторы не оставят без ответа ни одно ваше сообщение.
- Быстрая обратная связь по домашним заданиямМы знаем, каково это не спать всю ночь, чтобы успеть к дедлайну. Мы уважаем ваше время, поэтому стараемся как можно быстрее дать обратную связь по домашним заданиям.
- Возможность получить грант на обучениеВ рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: astanahub.com/l/TechOrda
Что вы получите
- Работа на реальном кластереВы получите опыт работы на Hadoop-кластере в многопользовательском режиме. Все по-настоящему: не потушили Spark сессию и отжираете ресурсы кластера — вам могут и в чате написать, и задачу убить ;)
- Максимум знаний и навыковМы адаптируем программу под уровень подготовки слушателей, чтобы вы максимально прокачали знания и навыки в сжатые сроки.
- Практика, практика, практикаВас ждет много часов интенсивной работы: практические задания на каждом занятии, домашние задания, работа на кластере (трек BDE), обязательная защита проекта (трек MLE).
- Поддержка наставников и кураторовНаши преподаватели будут вашими наставниками на протяжении всего обучения: ответят на вопросы, дадут обратную связь по заданиям, подскажут, что улучшить. Наши кураторы не оставят без ответа ни одно ваше сообщение.
- Быстрая обратная связь по домашним заданиямМы знаем, каково это не спать всю ночь, чтобы успеть к дедлайну. Мы уважаем ваше время, поэтому стараемся как можно быстрее дать обратную связь по домашним заданиям.
- Возможность получить грант на обучениеВ рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: astanahub.com/l/TechOrda
У нас обучаются сотрудники ведущих компаний
и студенты лучших ВУЗов:
и студенты лучших ВУЗов:
У нас обучаются сотрудники ведущих компаний
и студенты лучших ВУЗов:
и студенты лучших ВУЗов:
966 000 тенге
366 000 тенге
Стоимость и критерии отбора
Вы можете пройти курс целиком или по частям. Части 2.BD и 3 курса проходят в формате МООК.
МООК (MOOC) - это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5-10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем. О плюсах и минусах формата в FAQ.
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 3.1. Тестирование приложений, консольные приложения, юникод и кодировки
Стоимость полного курса при оплате в рублях
Стоимость обучения при получении гранта
Стоимость полного курса при оплате в тенге
Вы можете проходить обучение по частям, но в этом случае вы не сможете претендовать на грант.
Часть 1. Python для анализа [больших] данных (10 модулей)
Вы можете проходить обучение по частям, оставьте заявку и мы расскажем вам об условиях.
138 000 рублей
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.BD.1. HDFS, Map Reduce, Hive
Часть 2.BD.2. Spark: from zero
29 модулей
29 модулей
Для того, чтобы получить грант вам нужно соответствовать критериям Tech Orda и пройти отбор (отбор по грантам планируется в мае-июне 2024).
В рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности:
https://astanahub.com/ru/l/techorda2023
https://astanahub.com/ru/l/techorda2023
Часть 2.BD.3. RT, NoSQL, Data layout
Часть 2.ML.1. Классическое машинное обучение
Часть 2.ML.2. Нейронные сети и Deep learning
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 3.1. Тестирование приложений, консольные приложения, юникод и кодировки
Часть 1. Python для анализа [больших] данных (10 модулей)
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.BD.1. HDFS, Map Reduce, Hive
Часть 2.BD.2. Spark: from zero
Часть 2.BD.3. RT, NoSQL, Data layout
Часть 2.ML.1. Классическое машинное обучение
Часть 2.ML.2. Нейронные сети и Deep learning
756 000 тенге
156 000 тенге
Стоимость и критерии отбора
Вы можете пройти курс целиком или по частям. Части 2.BD и 3 курса проходят в формате МООК.
МООК (MOOC) - это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5-10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем. О плюсах и минусах формата в FAQ.
Стоимость курса BDMLE-24 при оплате в рублях
Стоимость обучения при получении гранта
Стоимость курса BDMLE-24 при оплате в тенге
Вы можете проходить обучение по частям, но в этом случае вы не сможете претендовать на грант.
Вы можете проходить обучение по частям, оставьте заявку и мы расскажем вам об условиях.
108 000 рублей
24 модуля
24 модуля
Для того, чтобы получить грант вам нужно соответствовать критериям Tech Orda и пройти отбор (отбор по грантам планируется в мае-июне 2024).
В рамках развития человеческого капитала в сфере ИТ, Tech Orda предоставляет гранты на обучение в размере 600,000 тенге (для граждан Казахстана). Оставляйте заявки и/или читайте подробности: https://astanahub.com/ru/l/techorda2023
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 3.1. Тестирование приложений, консольные приложения, юникод и кодировки
Часть 1. Python для анализа [больших] данных (5 модулей)
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.BD.1. HDFS, Map Reduce, Hive
Часть 2.BD.2. Spark: from zero
Часть 2.BD.3. RT, NoSQL, Data layout
Часть 2.ML.1. Классическое машинное обучение
Часть 2.ML.2. Нейронные сети и Deep learning
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 3.1. Тестирование приложений, консольные приложения, юникод и кодировки
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.BD.1. HDFS, Map Reduce, Hive
Часть 2.BD.2. Spark: from zero
Часть 2.BD.3. RT, NoSQL, Data layout
Часть 2.ML.1. Классическое машинное обучение
Часть 2.ML.2. Нейронные сети и Deep learning
Часть 3.2. Логирование, Mock внешних зависимостей, автоматизация работы с Web
Часть 3.1. Тестирование приложений, консольные приложения, юникод и кодировки
Часть 1. Python для анализа [больших] данных (5 модулей)
Часть 3.3. Паттерны проектирования, Web-сервис, мониторинг приложений
Часть 2.BD.1. HDFS, Map Reduce, Hive
Часть 2.BD.2. Spark: from zero
Часть 2.BD.3. RT, NoSQL, Data layout
Часть 2.ML.1. Классическое машинное обучение
Часть 2.ML.2. Нейронные сети и Deep learning
Критерии отбора
Прислать резюме и/или мотивационное письмо для разрешения спорных случаев (отбора на курс)
Сдать входное тестирование на умение решать аналитические задачи, знание основ Python
трек MLE (дополнительно): теории вероятностей, статистики
Для прохождения курса Big Data / Machine Learning Engineer необходимо владеть базой по работе с Python:
▶ https://www.coursera.org/learn/python
▶ https://www.coursera.org/learn/python-data
▶ иметь опыт работы с Jupyter notebooks
▶ уметь отлаживать программы с помощью "print"
▶ https://www.coursera.org/learn/python
▶ https://www.coursera.org/learn/python-data
▶ иметь опыт работы с Jupyter notebooks
▶ уметь отлаживать программы с помощью "print"
Отбор студентов производится на основе:
▶ Набранных баллов по тестированию (порог >70% правильных ответов за базовую часть)
▶ Решения внутренней комиссии на основе результатов тестирования (набранных баллов), опросника, релевантного профиля работы и/или обучения, мотивации/целей прохождения курса
▶ Набранных баллов по тестированию (порог >70% правильных ответов за базовую часть)
▶ Решения внутренней комиссии на основе результатов тестирования (набранных баллов), опросника, релевантного профиля работы и/или обучения, мотивации/целей прохождения курса
Пройти дополнительный опросник по темам: Unix CLI, алгоритмы и структур данных, Big Data и Machine Learning
Общие рекомендации по подготовке
Вы также можете
- Взять рассрочкуВы можете оплатить курс по частям: половину стоимости надо внести до начала курса, половину — в середине. Напишите нам или заполните форму, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
- Получить налоговый вычетУ нас есть образовательная лицензия - это значит, что вы сможете получить налоговый вычет за обучение на курсе. Что такое налоговый вычет и как его получить, читайте в нашей статье.
Вы также можете
Взять рассрочку
Вы можете оплатить курс по частям: половину стоимости надо внести до начала курса, половину — в середине. Напишите нам или заполните форму, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
Получить налоговый вычет
У нас есть образовательная лицензия - это значит, что вы сможете получить налоговый вычет за обучение на курсе. Что такое налоговый вычет и как его получить, читайте в нашей статье.
Наши ученики о нас
Спасибо! Всё доступно показали и разъяснили. Понимание Python росло в геометрической прогрессии во время выполнения домашнего задания, особенно последнего в этом блоке. Да и само задание оказалось не сухим академическим примером, а после небольшой доработки под себя, вполне практическим и полезным инструментом.
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
с которыми можно двигаться дальше.
Всё понравилось! Субъективно достаточно хорошо прокачался в Python, на мой взгляд) Думаю, интересные задания очень в этом помогли. На начало курса код на Python был как китайская грамота, а последние задания делал уже с пониманием: что, для чего, когда и куда нужно писать. Есть куда расти, но и получил от обучения немало. Спасибо за курс! В целом подход интересный, но возможно надо дробить курс (последнюю часть) на специализации - кому-то веб, кому-то data science или airflow
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Наши ученики о нас
Спасибо! Всё доступно показали и разъяснили. Понимание Python росло в геометрической прогрессии во время выполнения домашнего задания, особенно последнего в этом блоке. Да и само задание оказалось не сухим академическим примером, а после небольшой доработки под себя, вполне практическим и полезным инструментом.
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
с которыми можно двигаться дальше.
Всё понравилось! Субъективно достаточно хорошо прокачался в Python, на мой взгляд) Думаю, интересные задания очень в этом помогли. На начало курса код на Python был как китайская грамота, а последние задания делал уже с пониманием: что, для чего, когда и куда нужно писать. Есть куда расти, но и получил от обучения немало. Спасибо за курс! В целом подход интересный, но возможно надо дробить курс (последнюю часть) на специализации - кому-то веб, кому-то data science или airflow
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Наши ученики о нас
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.
Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.
Алексею и всей команде большое спасибо!
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.
P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.
Спасибо вам огромное!
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.
Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.
И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
с которыми можно двигаться дальше.
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Образовательная лицензия
У нас есть образовательная лицензия — это значит, что мы предоставляем Удостоверение о повышении квалификации государственного образца тем, кто успешно прошел курс.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
У нас есть образовательная лицензия — это значит, что мы предоставляем Удостоверение о повышении квалификации государственного образца тем, кто успешно прошел курс.
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
j
А еще это значит, что вы можете получить налоговый вычет за обучение на наших курсах.
j
F.A.Q.
Занятия проходят онлайн 1 раз в неделю. Если вы пропустили занятие - не переживайте, будет видеозапись. Мы рекомендуем выделять на обучение 8-12 часов в неделю.
Для успешного прохождения курса вам необходимо владеть базой по работе с Python. Напишите нам, и мы порекомендуем материалы для подготовки.
Мы постоянно обновляем и дополняем программу, чтобы дать вам максимум полезной и актуальной информации. Мы разрабатываем практические задания, чтобы вы быстрее прокачивали свои навыки.
Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
Мы развернули для вас кластер для работы. Мы держим высокий темп, чтобы вам было сложно, но интересно. Мы уверены, что наш курс стоит своих денег. На выбор мы предлагаем несколько пакетов под любые задачи и бюджет.
Онлайн (online) — это живые трансляции в Zoom с преподавателями. Преподаватели дают теоретический материал и практические задания, отвечают на вопросы слушателей. Занятие длится 3 часа.
МООК (MOOC) — это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5−10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем.
МООК формат имеет свои плюсы и минусы по сравнению с онлайн-обучением:
(+) гибкость: можно смотреть видео в любое удобное время. Например часть материала можно посмотреть в дороге или в перерыве между встречами днем;
(-) самоорганизация: вам нужно самостоятельно планировать время на изучение материала;
(+) стоимость: МООК дешевле онлайн, поскольку преподавателю не нужно выделять дополнительное время в графике для проведения занятия;
(-) интерактив: когда вы изучаете новый материал с преподавателем и другими слушателями, то в максимально-интерактивном режиме получаете обратную связь. Есть возможность один и тот же концепт обсудить с разных точек зрения, чтобы лучше в нем разобраться. В рамках МООК — вам нужно проявлять больше инициативы, чтобы задавать интересующие вас вопросы и вчитываться в комментарии других слушателей, менторов и преподавателей
В обоих форматах обучения предоставляются:
▶ доступ к чату и материалам курса;
▶ доступ к вычислительной инфраструктуре (кластеру) на курсе Big Data;
▶ задачи и автоматическая системы проверки для выдачи интерактивной обратной связи по решению;
▶ менторская поддержка по учебным материалам (наши менторы — обычно лучшие выпускники прошлых курсов, то есть лучшие 5%);
▶ комментарии по сложным вопросам от инструкторов / разработчиков курса;
Cмешанное обучение (blended learning) — возможность взять из обоих подходов лучшее. В рамках этого обучения часть учебных модулей даются в формате МООК, а часть в формате онлайн. Учитываются интересы максимально-интерактивного обучения и минимизируется риск недостаточной вовлеченности при обучении в формате МООК. После 2−4 МООК модулей проводится онлайн-занятие с преподавателем.
МООК (MOOC) — это формат обучения, где вы изучаете новый материал по предзаписанным видео длительностью 5−10 минут, а не в формате 3х-часовой интерактивной сессии с преподавателем.
МООК формат имеет свои плюсы и минусы по сравнению с онлайн-обучением:
(+) гибкость: можно смотреть видео в любое удобное время. Например часть материала можно посмотреть в дороге или в перерыве между встречами днем;
(-) самоорганизация: вам нужно самостоятельно планировать время на изучение материала;
(+) стоимость: МООК дешевле онлайн, поскольку преподавателю не нужно выделять дополнительное время в графике для проведения занятия;
(-) интерактив: когда вы изучаете новый материал с преподавателем и другими слушателями, то в максимально-интерактивном режиме получаете обратную связь. Есть возможность один и тот же концепт обсудить с разных точек зрения, чтобы лучше в нем разобраться. В рамках МООК — вам нужно проявлять больше инициативы, чтобы задавать интересующие вас вопросы и вчитываться в комментарии других слушателей, менторов и преподавателей
В обоих форматах обучения предоставляются:
▶ доступ к чату и материалам курса;
▶ доступ к вычислительной инфраструктуре (кластеру) на курсе Big Data;
▶ задачи и автоматическая системы проверки для выдачи интерактивной обратной связи по решению;
▶ менторская поддержка по учебным материалам (наши менторы — обычно лучшие выпускники прошлых курсов, то есть лучшие 5%);
▶ комментарии по сложным вопросам от инструкторов / разработчиков курса;
Cмешанное обучение (blended learning) — возможность взять из обоих подходов лучшее. В рамках этого обучения часть учебных модулей даются в формате МООК, а часть в формате онлайн. Учитываются интересы максимально-интерактивного обучения и минимизируется риск недостаточной вовлеченности при обучении в формате МООК. После 2−4 МООК модулей проводится онлайн-занятие с преподавателем.
Да, вы можете оплатить курс по частям. Напишите нам, чтобы оформить рассрочку или обсудить индивидуальные условия платежа.
Да. Образовательная лицензия номер 1 177 627 017 501.
Мы считаем, что обучение не гарантирует трудоустройства, поэтому не даем пустых обещаний.
Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше — дело за вами.
Работодателю важно, насколько хорошо вы разбираетесь в технологиях, с которыми работали, умеете ли самостоятельно решать сложные задачи и находить оптимальные решения. Мы дадим вам актуальные знания и навыки, которые востребованы работодателями, а дальше — дело за вами.
1. Мы любим практику и разбираем реальные кейсы из индустрии и бизнеса.
2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour. Space University, Coursera. За их плечами множество запущенных проектов.
3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ.
2. Наша команда — это эксперты с опытом работы в NVIDIA, Amazon AWS, Yandex, Rambler. Они преподают в МГУ, ВШЭ, МФТИ, Harbour. Space University, Coursera. За их плечами множество запущенных проектов.
3. Нам доверяют обучение ведущие компании и вузы: Сбербанк, Мегафон, X5 Retail Group, ВШЭ, МФТИ.
Оставьте заявку на обучение
study@bigdatateam.org
Порекомендуем материалы для подготовки к курсу
Поможем с оформлением рассрочки
Примем заявку на обучение для бизнеса
Поймем ваши цели и запрос
