CatBoost: как работает бустинг Яндекса и в каких курсах его разбирают

Чем CatBoost отличается от XGBoost и LightGBM

Все три библиотеки решают одну задачу: строят ансамбль решающих деревьев, где каждое следующее исправляет ошибки предыдущих. Разница в деталях, и на реальных данных она заметна.

CatBoost умеет работать с категориальными признаками напрямую: город, тип клиента, категорию товара можно отдать модели строкой, а библиотека сама посчитает целевые статистики по схеме упорядоченного кодирования. Этот приём авторы описали в статье «CatBoost: unbiased boosting with categorical features», представленной на NeurIPS 2018. Этот же приём защищает модель от утечки таргета, из-за которой наивное кодирование средним даёт переобучение.

XGBoost требует закодировать категории заранее, зато даёт больше контроля над регуляризацией. LightGBM выигрывает по скорости на очень широких датасетах за счёт роста дерева по листьям. На табличных данных с большим числом категорий CatBoost обычно стартует сильнее остальных без единой правки параметров, и это его главный практический аргумент.

Где библиотека нужна в работе

Табличные данные никуда не делись, и там, где нейросети избыточны, бустинг остаётся основным инструментом. Кредитный скоринг, прогноз оттока абонентов, оценка спроса в рознице, ранжирование в рекомендациях, антифрод. Во всех этих задачах на входе таблица с десятками разнородных колонок, и градиентный бустинг регулярно обходит и линейные модели, и глубокое обучение.

Сам Яндекс использует CatBoost в поиске, Погоде и Алисе, а библиотека остаётся открытой: исходники и документация лежат на catboost.ai и в разделе технологий Яндекса.

Что стоит знать до CatBoost

Библиотека ставится одной строкой pip install catboost, а первая модель обучается за пять строк кода. Сложность не в API.

Чтобы бустинг приносил пользу, нужен фундамент: Python на уровне уверенного использования, Pandas для подготовки данных, Scikit-learn для валидации и метрик, понимание, что такое переобучение и зачем нужна отложенная выборка. Без этого настройка depth и learning_rate превращается в перебор наугад.

Что из темы бустинга разбирают на курсах

На программах по машинному обучению ансамбли деревьев обычно идут отдельным блоком после линейных моделей: сначала решающее дерево и случайный лес, затем идея бустинга, потом практика на одной из трёх библиотек. Сколько внимания достанется именно CatBoost, зависит от школы: где-то это полноценный проект на соревновательном датасете, где-то одна лекция со сравнением трёх библиотек.

Смотрите на состав практики, а не на список упомянутых инструментов: работа с реальными табличными данными, кросс-валидация, подбор гиперпараметров и разбор ошибок модели дают больше, чем перечисление технологий в рекламном описании. Полный выбор программ — в разделах машинного обучения и профессии Data Scientist.

Как мы отбираем программы в этот раздел

Сюда попадают курсы, в программе которых CatBoost назван прямо, как инструмент, с которым студент работает руками. Мы сверяем учебные планы школ, смотрим, на каком этапе идёт блок про бустинг и есть ли практика на табличных данных, и обновляем цены по данным школ.

Раздел небольшой намеренно: курсов, посвящённых одной библиотеке, на рынке нет, и добавлять сюда любую программу со словом «нейросети» в описании смысла нет. Если школа заводит новый модуль по градиентному бустингу — программа появится в списке.