Обучение LightGBM внутри программ по машинному обучению

Что такое LightGBM и где он нужен

LightGBM это открытая библиотека градиентного бустинга над решающими деревьями, которую разрабатывает Microsoft. Её берут для классификации, регрессии и ранжирования на табличных данных: там, где важны скорость обучения и экономный расход памяти.

Главное техническое отличие от XGBoost в том, как растёт дерево. LightGBM наращивает его по листьям (leaf-wise), выбирая лист с наибольшим приростом качества, а не достраивая уровень целиком. На больших выборках это даёт выигрыш по времени, но сильнее склоняет модель к переобучению, поэтому глубину и число листьев приходится ограничивать вручную. Ещё библиотека умеет работать с категориальными признаками напрямую, без предварительного one-hot кодирования.

Порядок работы и полный список параметров есть в официальной документации LightGBM, исходный код и релизы — в репозитории Microsoft на GitHub.

Как LightGBM попадает в программы курсов

Отдельной профессии «специалист по LightGBM» не существует, и учебных программ под одну библиотеку рынок не предлагает. Инструмент проходят модулем внутри больших программ: в курсах по машинному обучению, на профессии Data Scientist и в курсах по Python для анализа данных.

Обычно бустинг идёт после базы: статистика, линейные модели, деревья решений и случайный лес. К этому моменту студент уже работал со scikit-learn, и LightGBM разбирают как следующий шаг для задач, где линейной модели не хватает. Если в программе есть блок по Big Data, библиотеку показывают ещё и на больших объёмах.

Поэтому выбирать стоит не курс «по LightGBM», а программу, где вообще сильный блок про ансамбли и табличные данные. Наличие конкретной библиотеки в описании модуля стоит уточнить у школы до оплаты: составы программ меняются чаще, чем страницы сайтов.

Чем LightGBM отличается от XGBoost и CatBoost

Три библиотеки решают одну задачу и на практике их сравнивают между собой. XGBoost появился раньше и дольше всех обкатан в продакшене. LightGBM выигрывает по скорости на больших табличных выборках. CatBoost от Яндекса аккуратнее прочих работает с категориальными признаками и обычно требует меньше ручной настройки, чтобы получить приличный результат из коробки.

На курсах их чаще всего показывают вместе, одним блоком: студент обучает модель каждой библиотекой на одном датасете и сравнивает качество со временем обучения. Ценность такого блока в умении выбрать библиотеку под конкретные данные и объяснить выбор.

Сколько стоит обучение

Цены в подборке начинаются от 35 000 ₽ и доходят до 250 000 ₽, медиана 74 964 ₽. Разброс объясняется форматом: короткие программы по машинному обучению дешевле, полные профессии с проверкой домашних заданий и помощью с трудоустройством стоят дороже.

Отдельно за модуль по бустингу никто не берёт денег: он входит в стоимость программы целиком. Поэтому считать цену имеет смысл за всю профессию, а не за конкретную библиотеку.

Как мы отбираем программы в эту подборку

В подборку попадают курсы, в программе которых есть блок по градиентному бустингу или ансамблевым моделям. Мы сверяем состав программ с сайтами школ и обновляем цены из партнёрских фидов, а не проставляем их вручную.

Данные о ценах и количестве курсов на странице подтягиваются автоматически, поэтому цифры выше совпадают с тем, что школа показывает на своём лендинге в день вашего визита.