Data Engineer (инженер данных) – это смесь Data Analyst (аналитик данных) и Data Scientist (учёного по данным). Его задача заключается в том, чтобы достать полезные данные из огромного массива, преобразовать их в понятный удобочитаемый вид и отдать на обработку другим специалистам.
Чтобы понять разницу между профессиями, связанными с данными, нужно понять, что инженер данных – это больше о программировании, а аналитики и data scientist – это больше о статистике. Именно инженер данных пишет код, который получает от аналитиков, и приводит его в такой вид, который можно назвать продуктом.
Для тех, кому программирование нравится больше, чем статистика, я собрал 5 лучших курсов Data Engineer. Сравнивайте по программе, преподавателям и стоимости обучения. Выбирайте наиболее подходящий курс для вас и начинайте учиться.
Курс «Дата-инженер с нуля до PRO» от Нетологии
| Продолжительность | 1 год |
| Уровень | С нуля |
| Для кого подходит |
|
| Формат | Видеолекции + практические задания + обратная связь от эксперта |
| Гарантии | Собеседования в компаниях-партнёрах |
| Итоги | Диплом + 10 проектов в портфолио |
| Стоимость |
|
| Официальный сайт | Узнать подробности |
Содержание. Программа курса включает в себя следующие блоки:
Подробную программу вы можете посмотреть здесь.
Лектор:
Алексей Кузьмин – технический директор и Data Scientist в ДомКлик.ру, занимался распознаванием языков со сложной письменностью в ABBYY.
После окончания курса вы сможете:
- Понимать потребности и требования бизнеса разного уровня;
- Визуализировать отчёты в Tableau и Power BI;
- Управлять данными любого объёма;
- Правильно выбирать способ организации работы с Big Data;
- Создавать витрины данных;
- Масштабировать ML-модели;
- Работать с озёрами данных в облачных сервисах;
- Использовать Spark для обработки Big Data;
- Строить конвейеры обработки данных.
Мои впечатления: Максимально подробный курс для тех, кто хочет стать Data Engineer. Вы пройдёте путь от аналитика данных до ML-Engineer всего за год. Самостоятельное обучение заняло бы от 2 до 3 лет. После прохождения курса Нетология поможет составить резюме и подготовить портфолио, а лучшим студентам сразу предложат стажировку в собственных проектах и компаниях-партнёрах. Также по ссылке вы можете ознакомиться с отзывами других учеников Нетологии.
«Как эксперту выйти на стабильные 100 000 ₽/мес» На продаже своих услуг без всякого «наставничества»
Получить план
Курс «Big-Data для менеджеров» от SkillFactory
| Продолжительность | 6 месяцев |
| Уровень | С нуля |
| Для кого подходит |
|
| Формат | Видеолекции + практические задания + обратная связь от эксперта |
| Гарантии | Собеседования в компаниях-партнёрах |
| Итоги | Диплом + готовое портфолио |
| Стоимость |
|
| Официальный сайт | Узнать подробности |
Содержание. Программа курса включает в себя следующие блоки:
Подробную программу вы можете посмотреть здесь.
Лекторы:
Александр Хайтин – CEO Mechanica AI, работал CEO в Yandex Data Factory.
Антон Попов – советник по цифровой трансформации для компаний PayPal, Яндекс, Mail.ru Group и др.
Андрей Попов – эксперт ФРИИ, РВК Co-founder HumanVenture, RocketFounders и ZenMall.
Денис Бондаренко – Data Engineer, консультант Big Four и Росатом
и ещё 4 преподавателя. Полный список вы можете посмотреть здесь.
После окончания курса вы сможете:
- понимать возможности больших данных и машинного обучения для бизнеса;
- проверять гипотезы через MVP;
- выявлять кадровые потребности и находить нужных вашей компании кандидатов для работы с Big Data;
- выстраивать работу с командой, которая занимается большими данными;
- работать с датасетами и специализированными фреймворками;
- понимать юридические тонкости работы с большими данными.
Мои впечатления: Отличный курс для менеджеров и руководителей компаний, которые собирают данные. После обучения вы самостоятельно сможете оперировать большими объёмами информации и извлекать из неё пользу для бизнеса, либо найдёте хорошего подрядчика. Также подходит и для новичков в сфере Big Data. Вы сформируете портфолио, а специалисты помогут его грамотно оформить и составить резюме. Хотите узнать, что говорят выпускники школы? Читайте на странице отзывов о Skillfactory!
Курс «Data Engineering» от SkillFactory
| Продолжительность | 2,5 месяца |
| Уровень | С нуля |
| Для кого подходит |
|
| Формат | Видеолекции + практические задания + обратная связь от эксперта |
| Гарантии | Собеседования в компаниях-партнёрах |
| Итоги | Диплом + готовое портфолио |
| Стоимость |
|
| Официальный сайт | Узнать подробности |
Содержание. Программа курса включает в себя следующие блоки:
Подробную программу вы можете посмотреть здесь.
Лектор:
Михаил Королёв – ведущий Data Engineer в Альфастраховании, работает с данными с 1996 года.
После окончания курса вы сможете:
- работать с различными хранилищами данных;
- писать простые скрипты на Python;
- хранить, обрабатывать и анализировать данные;
- строить гипотезы и модели прогнозирования для бизнеса;
- строить пайплайны данных в реальном времени.
Мои впечатления: Интенсивный курс для получения специальности Data Engineer. Для начала обучение нужно иметь базовые знания языка Python, потому что именно на нём вы будете работать. За два месяца вы освоите все важные этапы инжиниринга данных, а специалисты SkillFactory помогут вам сделать грамотное портфолио и составить презентабельное резюме.
Курс «Data Engineer» от OTUS
| Длительность | 4 месяца |
| Уровень | опытным |
| Кому подойдёт | системным администраторам, сетевым инженерам, DevOps-инженерам |
| Чему научитесь | Python, Big Data, контейнеризация, SQL, NoSQL, CI/CD, BI, мониторинг, REST API, Bash, JSON, PySpark, Flask |
| Приложения и сервисы | MySQL, Docker, Hadoop, Apache Kafka, Apache Spark, ELK, ClickHouse, Google Cloud Platform, Apache Airflow, Jenkins, Zabbix, Redis, MongoDB, AWS, RabbitMQ, GitHub, Prometheus, Grafana |
| Формат | вебинары + домашние задания + обратная связь от преподавателя |
| Гарантии |
|
| Итоги | диплом + проекты в портфолио |
| Цена | 90 000 ₽ |
| Преимущества |
|
| Ссылка на курс | полная информация о курсе |
Мнение редакции
Курс для начинающих инженеров данных. Вы узнаете, как проектировать хранилища и обрабатывать данные, вы научитесь ускорять процесс обработки через подключение моделей машинного обучения. Вы сможете перемещать данные между хранилищами и управлять их качеством. Чтобы поступить на курс вам понадобятся знания операционных систем, опыт разработки на Python и Java, практического применения контейнеризации в Docker, компонентов проекта Hadoop и машинного обучения.
Факультет data engineering от GeekBrains
| Длительность | 2 года |
| Уровень | новичкам, опытным |
| Для кого подходит | веб-разработчикам, фулстек-разработчикам, тимлидам, DevOps-инженерам |
| Формат | онлайн-вебинары + домашние задания с проверкой |
| Гарантии | помощь с трудоустройством |
| Итоги | диплом + портфолио + курс английского для IT-специалистов в подарок |
| Цена |
|
| Ссылка на курс | полная информация о курсе |
Учебные блоки
- Основы реляционных баз данных. MySQL
- Основы Python
- Методы сбора и обработки данных из интернета
- Построение хранилища данных и основы ETL-процессов
- Технологии OLAP + BI
- Введение в NoSQL баз данных. Tarantool
Полную программу смотрите на сайте курса.
Преподаватели
Никита Варганов — старший дата-сайентист «Сбербанка».
Андрей Телюков — руководитель направления анализа данных и машинного обучения «Альфа-банка».
И ещё 14 преподавателей. Подробнее о них смотрите на сайте курса.
Чему вы научитесь
- создавать парсеры на языке Python,
- писать клиент-серверные SQL-запросы,
- проектировать базы данных,
- выбирать архитектуру БД под поставленную задачу,
- обрабатывать непрерывно поступающие неструктурированные и слабоструктурированные данные,
- развёртывать приложения с микросервисной архитектурой,
- автоматизировать развёртывание и координацию компонентов инфраструктуры,
- масштабировать инфраструктуру,
- настраивать непрерывное обновление кода в приложениях.
Мнение редакции
Курс для будущих инженеров данных. Вы узнаете, как выстраивать инфраструктуру для потокового сбора, обработки и хранения больших неструктурированных и слабоструктурированных массивов данных (ETL-пайплайн). Вы научитесь программировать на Python, проектировать базы данных и развёртывать приложения с микросервисной архитектурой. Вы разработаете ETL-пайплайн с парсером данных, хранилищем для BI-системы и инструментами машинного обучения для обработки больших данных. Вы получите дополнительные курсы по машинному обучению, ОС Linux и английскому, доступ к инструментам разработчика от JetBrains и 3 месяца премиум-подписки на сервис изучения английского LinguaLeo, а школа поможет с трудоустройством.
Курс «Data engineering» от robot_dreams
| Длительность | 9 месяцев |
| Уровень | опытным |
| Кому подойдёт | бизнес-аналитикам, дата-инженерам |
| Чему научитесь | Big Data, MapReduce, Python, SQL, OLAP, ETL, API |
| Приложения и сервисы | Hadoop, Apache Airflow, Apache Spark |
| Формат | вебинары |
| Гарантии | помощь с трудоустройством |
| Цена |
|
| Преимущества | практика на реальных кейсах |
| Ссылка на курс | полная информация о курсе |
Мнение редакции
Курс будет полезен аналитикам и дата-сайентистам, начинающим инженерам данных и разработчикам систем хранения данных. Вы узнаете, как проектировать системы для централизованного управления данными. Вы научитесь обеспечивать сбор больших данных из внешних источников, их подготовку к анализу, анализ и хранение и сможете реализовать распределённые вычислительные системы на кластере серверов. Вы реализуете курсовой проект и добавите его в портфолио, а школа поможет подготовиться к собеседованиям. Для обучения нужно базово знать Python и SQL.
Выводы о профессии
Специалисты говорят, что к 2025 году будет существовать в 10 раз больше данных, чем в 2017 году. Все эти данные нужно будет обрабатывать, хранить, анализировать и использовать в тех или иных областях. Именно поэтому спрос на профессии, которые связаны с Big Data, будет только расти. Одна из ключевых профессий – Data Engineer.
Уже сегодня у Data Engineer начального уровня зарплата начинается от 100 000 рублей. Опытным специалистам легко платят 300 000 рублей, а особо опытным (от 7 лет опыта) до 600 000 рублей в России. Все данные брал с hh.ru, можете проверить. Зарубежные зарплаты опытным специалистам начинаются от 200 000 долларов в год.
Чтобы быстро войти в профессию и не тратить время впустую, проще всего пойти на онлайн-курсы. Опытные Лекторы составляют сжатые программы обучения и учитывают все нюансы, которые вы сами можете и не узнать. Ещё вы будете сразу работать с реальными данными и ваше обучение будет иметь прикладной формат. По окончании онлайн-курсов, например, в Skillbox, вам помогут с трудоустройством – подготовят к собеседованию, помогут составить резюме и грамотно оформить портфолио. А лучших студентов трудоустроят прямо после сдачи дипломной работы в компании-партнёры.
Если вы учились на одном из этих курсов и есть чем поделиться – напишите честный отзыв в комментариях!