Погружение в HDFS

Оставьте заявку, чтобы узнать дату следующего запуска
Научитесь работать с распределенными файловыми системами GFS и HDFS. Познакомитесь с их составляющими и сферами применения.
Проходит онлайн

Кому подойдет этот курс

  • Разработчики и системные администраторы
    Хотите переквалифицироваться и перейти в сферу работы с большими данными?
    Этот курс — отличная отправная точка.
  • Data Engineers
    Работа с распределенными файловыми системами — основа профессии Data Engineer. Если вы только начинаете свой путь или хотите освежить базовые знания, этот курс для вас.
  • Data Scientists & Data Analysts
    Все чаще приходится обрабатывать большие массивы информации, которые не помещаются
    в память одного (даже мощного) компьютера? Этот курс для вас.

Кому подойдет этот курс

  • Разработчики и системные администраторы
    Хотите переквалифицироваться и перейти в сферу работы с большими данными?
    Этот курс — отличная отправная точка.
  • Data Engineers
    Работа с распределенными файловыми системами — основа профессии Data Engineer. Если вы только начинаете свой путь или хотите освежить базовые знания, этот курс для вас.
  • Data Scientists & Data Analysts
    Все чаще приходится обрабатывать большие массивы информации, которые не помещаются
    в память одного (даже мощного) компьютера? Этот курс для вас.
Вы научитесь и узнаете
После завершения этого курса вы узнаете и сможете уверенно работать с распределенной файловой системой HDFS

  • Создавать, читать, обновлять и удалять файлы в HDFS
  • Как балансируется нагрузка на использование различных компонент вычислительного кластера
  • Изменять коэффициент репликации данных в HDFS
  • Как происходит запись данных в HDFS, какие состояния бывают у блоков на Namenode и реплик на Datanode
  • Авторизовывать запрос на изменение данных через WebHDFS
  • Почему Secondary Namenode не лучшее название и что означает Checkpoint Namenode

Создавать, читать, обновлять и удалять файлы в HDFS
Как балансируется нагрузка на использование различных компонент вычислительного кластера
Изменять коэффициент репликации данных в HDFS
Как происходит запись данных в HDFS, какие состояния бывают у блоков на Namenode и реплик на Datanode
Авторизовывать запрос на изменение данных через WebHDFS
Почему Secondary Namenode не лучшее название и что означает Checkpoint Namenode
Что входит в программу
58 минут видеолекций
Погружение в большие данные: 9 видеолекций,
на погружение теоретического материала рекомендуем планировать 3 часа.

1 практическое задание
Вас ждет 1 практическое задание для отработки новых знаний на практике. На практическую работу рекомендуем планировать 6 часов.

12 часов менторской поддержки
2 раза в неделю по вечерам вам будет помогать ментор.

58 минут видеолекций
Погружение в большие данные: 9 видеолекций,
на погружение теоретического материала рекомендуем планировать 3 часа.

1 практическое задание
Вас ждет 1 практическое задание для отработки новых знаний на практике. На практическую работу рекомендуем планировать 6 часов.

12 часов менторской поддержки
2 раза в неделю по вечерам вам будет помогать ментор.

Преподаватель курса

Основатель и CEO, BigData Team
Алексей Драль
Больше 10 лет Алексей работал в ведущих IT-компаниях: Amazon AWS, Yandex, Rambler. Возглавлял обучение Data-профессиям в Корпоративном Университете Сбербанка.

Алексей — автор учебных программ по Machine Learning, Big Data, CDO программ для Chief Data Officers. Он преподает в МГУ, ВШЭ, МФТИ, ШАД, Harbour. Space University, Университете НТИ 20.35.

В рамках совместного проекта с Яндексом, Алексей руководит международным онлайн-курсом
Big Data for Data Engineers на Coursera, у которого уже более 100 000 слушателей.

Стоимость курса

Обучение в Docker’e

Обучение с доступом на кластер
на две недели

4 200 руб.

6 000 руб.

В связи с открытием BigData Team KZ, для слушателей из Казахстана мы подготовили специальный бонус. Цены в тенге со скидкой для слушателей из Казахстана указаны ниже.

Обучение с доступом на кластер
на две недели

29 400 тенге

42 000 тенге

29 400 тенге

Обучение в Docker’e

Что надо знать для успешного прохождения курса

Курс не требует навыков программирования

Базовый Linux

Для выполнения практического домашнего задания надо будет работать с командной строкой (Linux / Unix CLI). Вы не должны бояться команд ssh, scp, cd, ls, cat, head, tail, find.
Наши ученики о нас

Евгений Кривоусов
Кокшетау, Казахстан
Промышленная разработка на Python, ч.1
Спасибо! Всё доступно показали и разъяснили. Понимание Python росло в геометрической прогрессии во время выполнения домашнего задания, особенно последнего в этом блоке. Да и само задание оказалось не сухим академическим примером, а после небольшой доработки под себя, вполне практическим и полезным инструментом.
Бекарыс Нуртай
Creative director in DD agency
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Александр Климов
ML Engineer в Альфа-Банк
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Евгений Мигаев
Data Science Team Lead
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.

Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.

Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.

Алексею и всей команде большое спасибо!
Юлия Королькова
Аналитик в Prime Source
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).

Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.

P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.

Спасибо вам огромное!
Яна Коваленко
Руководитель программы Центра цифрового развития, Агентство стратегических инициатив (АСИ)
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.

Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.

Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.

И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Александр Прохоров
Data Analyst в Skyeng
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
Евгений Кривоусов
Кокшетау, Казахстан
Промышленная разработка на Python,ч.3
Всё понравилось! Субъективно достаточно хорошо прокачался в Python, на мой взгляд) Думаю, интересные задания очень в этом помогли. На начало курса код на Python был как китайская грамота, а последние задания делал уже с пониманием: что, для чего, когда и куда нужно писать. Есть куда расти, но и получил от обучения немало. Спасибо за курс! В целом подход интересный, но возможно надо дробить курс (последнюю часть) на специализации - кому-то веб, кому-то data science или airflow
Anonymous
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Алия Джангабылова
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Жазира Амиргалиева
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Айгуль Шарип
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Anonymous
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Anonymous
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Денис Славиковский
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Ермухамет Медетов
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Назым Шакирхожа
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.
Наши ученики о нас

Евгений Кривоусов
Кокшетау, Казахстан
Промышленная разработка на Python, ч.1
Спасибо! Всё доступно показали и разъяснили. Понимание Python росло в геометрической прогрессии во время выполнения домашнего задания, особенно последнего в этом блоке. Да и само задание оказалось не сухим академическим примером, а после небольшой доработки под себя, вполне практическим и полезным инструментом.
Бекарыс Нуртай
Creative director in DD agency
Лекторы просто шикарные, объясняют на пальцах. Готовы ответить на самые тупые вопросы, что намного лучше лекций в университете.
Александр Климов
ML Engineer в Альфа-Банк
Очень понравилось большее количество полезной, актуальной практики. Уже применяю полученный опыт в работе и пропагандирую базовое концепции обработки больших данных среди коллег. Также зачёт за отзывчивость лекторов, которые отвечали на все вопросы и были готовы помочь даже с темой, которая напрямую не касается темы лекции. Удобное время лекций. Вкусные кексики :)
Евгений Мигаев
Data Science Team Lead
Курс - супер. Изначально у меня было лишь поверхностное представление по всем темам из программы. Сейчас есть четкая уверенность, что везде смогу разобраться и сразу начать делать что-то промышленное.

Очень порадовало, что все можно было потрогать руками и порешать реальные задания. Помимо практических навыков и теоретических знаний в дата инженерии в качестве бонуса практикуешь python, bash, regexp и т.д.

Домашки убивают почти все свободное время, но они при этом очень интересные и захватывающие. Подача материала отличная.

Алексею и всей команде большое спасибо!
Юлия Королькова
Аналитик в Prime Source
Все причастные к Big Data, Machine Learning (в общем для тех, кто в тренде 😉).

Кто развивается в этих направлениях и хочет новых знаний и ответов, хочет выучиться на самую актуальную нынче в мире специализацию Data scientist и кому нужны готовенькие специалисты в ML - BigData Team вам в помощь!
Команда - огонь, просто посмотрите их опыт работы и это о многом скажет.

P.S. А как один из слушателей курса хочу отметить преподавательский талант ребят. Тяжело подобрать правильные эпитеты, но они рядом в любое время с ответами на любые вопросы (даже самые глупые), помощью и поддержкой, советами и рекомендациями.

Спасибо вам огромное!
Яна Коваленко
Руководитель программы Центра цифрового развития, Агентство стратегических инициатив (АСИ)
Проходила обучение у Алексея в рамках образовательного интенсива «Остров 10-21» по треку CDO. Случилось очень быстрое глубокое погружение в технологии работы с данными, понимание инструментов работы с данными и вообще, что такое такое ML, AI и Big Data.

Изучали возможности технологий не только на готовых решениях, но и работали со своим проектом. Далее, при поддержке BigData Team уже изучала как анализировать и визуализировать данные и как визуализация Больших данных помогает наглядно понимать где собака зарыта.

Обязательно продолжу изучать технологии с Командой. Так же проходила и онлайн-модули по Big Data. И очень благодарна за то, что кажущиеся на первый взгляд такими сложными технологии так доступно и прикладно объясняются.

И да, после образовательного интенсива сменила место работы и сейчас работаю в области управления, основанного на данных.
Александр Прохоров
Data Analyst в Skyeng
Мне всё понравилось, курс даёт хорошее понимание концептов ML и DL,
с которыми можно двигаться дальше.
Евгений Кривоусов
Кокшетау, Казахстан
Промышленная разработка на Python,ч.3
Всё понравилось! Субъективно достаточно хорошо прокачался в Python, на мой взгляд) Думаю, интересные задания очень в этом помогли. На начало курса код на Python был как китайская грамота, а последние задания делал уже с пониманием: что, для чего, когда и куда нужно писать. Есть куда расти, но и получил от обучения немало. Спасибо за курс! В целом подход интересный, но возможно надо дробить курс (последнюю часть) на специализации - кому-то веб, кому-то data science или airflow
Anonymous
Вы подняли мою планку методов преподавания. Отличная организация и доходчивое объяснение. Великолепно спланированная практика. Понравились опросы в Телеграме для оценки понимания и прогресса учеников. Ежедневные куизы помогали выявить дыры, которые мы сами бы не заметили.
Алия Джангабылова
Буду рекомендовать всем, кому не лень! Настоящие профессионалы своего дела и очень классные, отзывчивые ребята😍
Жазира Амиргалиева
Курс очень познавательный. Представляет собой отличный обзор всех важных элементов DS. Но, к сожалению, очень интенсивный. Для совсем начинающих не рекомендуется. Подача материала очень интересная, различные кьюзы, соревнования мотивируют. Выражаю свою благодарность за полученные знания. Дальнейших успехов курсу! Продолжайте в том же духе.
Айгуль Шарип
Курс был очень интересным и полезным. Благодарю за старание! Каждый участник найдет нужный материал для себя. Понравилось, что вы постоянно работаете с обратной связью.
Anonymous
Очень качественное, глубокое обучение и объяснения.
Вдобавок, было очень весело, что делало обучение еще более интересным.
Anonymous
Курс был интересным и плодотворным и мне очень понравилось. Поддержка со стороны преподавателей и ассистентов действительно помогла. Мне было очень приятно видеть, как работники и менеджеры задают вопросы, которые направлены на применение полученных знаний к реальным задачам.
Денис Славиковский
Курс был очень интересный и насыщенный. Крайне интересно было слушать разных докладчиков по разным темам. Интересно было бы ещё послушать реальные кейсы, какие были цели, как шли к цели, какие препятствия, какие решения.
Ермухамет Медетов
Интенсив классный, больше практики больше хардкора!! Спасибо вам большое, много чего узнал!
Назым Шакирхожа
Больше всего понравилась подача материала в целом и тема про консольные приложения. Я много чему научилась. Спасибо за ваш труд.

F.A.Q.

Оставьте заявку на обучение
или задайте вопрос

Если у вас остались вопросы, возникла нестандартная ситуация, мы всегда готовы помочь. Заполните эту форму и мы вернемся с ответом в ближайшее время.
Порекомендуем материалы для подготовки к курсу
Поможем с оформлением рассрочки
Примем заявку на обучение для бизнеса
Поймем ваши цели и запрос
Обучение
Документы
© 2017 - 2023 BigData Team
Подписаться
Illustrations designed by Freepik