Как работает машинное обучение: простыми словами и с примером на Python

Программе показывают примеры, и правило она находит сама: так устроены спам-фильтры, прогноз времени поездки в такси и нейросети.

Разбираем на одной задаче, как работает машинное обучение, от таблицы данных до прогноза, с коротким кодом на Python.

Статья для тех, кто слышал о машинном обучении, но не понимает, почему модель угадывает на данных, которых никогда не видела, и когда она начинает ошибаться.

Статью написал:
Ваня Буявец, продюсер, основатель Checkroi
Ваня Буявец
Основатель Checkroi, продюсер, эксперт в выборе онлайн-курсов
Все 3380 статей автора Подписаться на Телеграм-канал
Одобрено экспертом:
Наташа Буявец, основатель Checkroi, эксперт по онлайн-курсам
Наташа Буявец
Основательница Checkroi, продюсер Youtube-каналов, эксперт по онлайн-курсам
Все 4033 экспертных мнения Подписаться на Телеграм-канал
Обложка: Как работает машинное обучение: простыми словами и с примером на Python

Обычную программу пишут правилами: если в письме есть слово «выигрыш» и ссылка на незнакомый сайт, отправь его в спам. Машинное обучение устроено наоборот. Программе показывают тысячи писем с пометкой «спам» или «не спам», и правила она находит сама.

В этой статье разберём, как работает машинное обучение изнутри: что происходит с данными, откуда у модели берутся знания и почему она угадывает правильно на письмах, которых никогда не видела. Покажем всё на одном примере, от первой строки данных до прогноза, и дадим код на Python, который можно запустить за минуту.

Если вы впервые слышите сам термин, начните с обзора машинного обучения для неспециалистов: там больше про задачи бизнеса, здесь больше про механику.

Статья написана для новичка. Математики будет немного, и каждую формулу мы переведём на обычный язык. А список популярных алгоритмов с плюсами и минусами собран отдельно в разборе моделей машинного обучения.

Захочется пройти путь системно, с наставником и проектами в портфолио, загляните в подборку курсов по машинному обучению: там программы от вводных до профессиональных.

Обычная программа и обученная: в чём разница

Рой сравнивает толстую книгу правил и стопку карточек с примерами

Классическая программа похожа на рецепт. Программист заранее продумал все шаги, и компьютер их выполняет. Это отлично работает, когда правила можно записать: посчитать налог, отсортировать список, найти слово в тексте.

Проблема начинается там, где правила записать нельзя. Попробуйте описать словами, чем кошка на фото отличается от собаки. Уши? Бывают собаки с острыми ушами. Размер? Бывают крошечные собаки. Через час у вас будет сотня правил и сотня исключений.

Машинное обучение меняет порядок работы. Человек даёт программе примеры с правильными ответами, а программа подбирает правило, которое эти ответы объясняет. Готовое правило называют моделью.

Профессор Университета Карнеги-Меллон Том Митчелл в эссе The Discipline of Machine Learning дал определение, которое легко запомнить: машина учится задаче T с метрикой качества P на опыте E, если её качество P на задаче T стабильно растёт с опытом E. Для спам-фильтра задача T означает сортировку писем, метрика P показывает долю правильно отсортированных, а опыт E складывается из писем, которые пользователи уже пометили.

Отсюда главное отличие: качество обученной программы зависит от данных. Покажите ей больше хороших примеров, и она станет лучше, хотя ни одной строки кода никто не менял.

Как работает машинное обучение по шагам

Рой спускается по склону холма к светлой долине

Любое обучение модели, от спам-фильтра до большой нейросети, проходит одни и те же пять шагов. Разберём их на задаче, понятной без всякой подготовки.

Пример на всю статью. Вы открыли службу доставки и хотите показывать клиенту, через сколько минут приедет курьер. У вас есть история заказов: сколько километров ехал курьер и сколько минут это заняло.

Шаг 1: данные и признаки

Всё начинается с таблицы примеров. Каждая строка таблицы описывает один заказ. Колонки, по которым модель будет делать вывод, называют признаками (в нашем случае это расстояние в километрах). Колонку, которую нужно научиться угадывать, называют целевой переменной или ответом (время доставки в минутах).

Набор таких примеров называется обучающей выборкой. Если правильные ответы в нём проставили люди (например, отметили на фото, где кошка, а где собака), говорят, что данные размечены. Как собирают и чистят такие таблицы, подробно расписано в материале о том, что такое датасет.

В реальной службе доставки признаков было бы больше: время суток, погода, район, пробки. Но для понимания механики хватит одного.

Шаг 2: модель как формула с ручками

Модель по сути обычная формула, в которой часть чисел пока неизвестна. Самая простая формула для нашей задачи выглядит так:

минуты = w × километры + b

Здесь w показывает, сколько минут добавляет каждый километр, а b отвечает за постоянное время на сборку заказа и поиск подъезда. Числа w и b называют параметрами или весами модели. Представьте их как две ручки на пульте: крутите, и прогноз меняется.

Обучить модель значит найти такое положение ручек, при котором прогнозы ближе всего к правде. Эта формула называется линейной регрессией, её устройство с методом наименьших квадратов разобрано в статье про линейную регрессию. У нейросети таких ручек миллионы, но смысл тот же.

Шаг 3: функция потерь, или как измерить ошибку

Чтобы крутить ручки осмысленно, нужно число, которое говорит, насколько модель ошибается. Его считает функция потерь.

Для нашей задачи подойдёт среднеквадратичная ошибка. Берём каждый заказ, вычитаем из прогноза настоящее время, разницу возводим в квадрат и усредняем по всем заказам. Квадрат нужен, чтобы ошибки «на 5 минут раньше» и «на 5 минут позже» не гасили друг друга, а крупные промахи штрафовались сильнее мелких.

Ноль означает идеальное совпадение. Чем больше число, тем хуже модель. Теперь обучение превратилось в понятную задачу: найти w и b, при которых функция потерь минимальна.

Шаг 4: градиентный спуск

Как найти лучшие w и b, если вариантов бесконечно много? Перебирать все подряд долго. Поэтому используют градиентный спуск.

Представьте, что вы стоите на склоне холма в густом тумане и хотите спуститься в самую низкую точку. Дороги не видно, но под ногами чувствуется, куда земля уходит вниз. Вы делаете маленький шаг в эту сторону, снова пробуете ногой, снова шагаете. Высота холма здесь и есть ошибка модели, а ваше положение задают w и b.

Градиентом называют математическое направление самого крутого подъёма. Модель смотрит, в какую сторону ошибка растёт, и сдвигает параметры в противоположную. Размер шага называется шагом обучения (по-английски learning rate). Слишком большой шаг перепрыгнет низину, слишком маленький будет спускаться вечно.

Один проход по всем данным с обновлением параметров называют эпохой. Модель повторяет этот цикл сотни или тысячи раз, пока ошибка не перестанет уменьшаться.

Шаг 5: проверка на новых данных

Последний шаг самый важный, и новички пропускают его чаще всего. Модель проверяют на примерах, которых она не видела во время обучения.

Для этого данные заранее делят на части. На обучающей выборке модель учится. На валидационной выборке подбирают настройки вроде шага обучения. На тестовой выборке в самом конце проверяют итоговое качество, причём один раз. Обычно на обучение отдают большую часть данных, а на проверку оставляют меньшую.

Теперь посмотрим, как эти шаги выглядят в коде.

CheckroiCheckroiПодборка курсов по Python587 курсов • 55 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→ Канал основателя Checkroi Вани Буявца3 800 человек читают мой Телеграм-канал про нейросетиСобрал промпты для Claude Code и ChatGPT, разборы ИИ-инструментов и лайфхаки по продвижению бизнеса в одном местеПрисоединиться

Пример: учим модель предсказывать время доставки на Python

Ниже программа, которая проходит шаги 2–4 своими руками, без библиотек. Данные выдуманы для наглядности: восемь заказов на расстояние от 1 до 8 километров. Запустить код можно в любом онлайн-редакторе Python, например в Jupyter прямо в браузере.

# Сколько минут займёт доставка, если известно расстояние в км
km   = [1, 2, 3, 4, 5, 6, 7, 8]
mins = [14, 15, 19, 23, 24, 27, 31, 35]

w, b = 0.0, 0.0      # модель: минуты = w * км + b, пока ничего не знает
lr = 0.01            # шаг обучения

for epoch in range(2001):
    # 1. считаем ошибку на всех примерах
    errors = [(w * x + b) - y for x, y in zip(km, mins)]
    loss = sum(e * e for e in errors) / len(errors)
    # 2. смотрим, куда двигать w и b, чтобы ошибка уменьшилась
    grad_w = 2 * sum(e * x for e, x in zip(errors, km)) / len(km)
    grad_b = 2 * sum(errors) / len(km)
    if epoch in (0, 10, 100, 500, 2000):
        print(f"шаг {epoch:4}: ошибка {loss:6.2f}, w = {w:.2f}, b = {b:.2f}")
    # 3. делаем маленький шаг в эту сторону
    w -= lr * grad_w
    b -= lr * grad_b

print(f"прогноз для 10 км: {w * 10 + b:.0f} мин")

Вот что программа печатает:

шаг    0: ошибка 600.25, w = 0.00, b = 0.00
шаг   10: ошибка  16.76, w = 4.57, b = 1.18
шаг  100: ошибка   8.54, w = 4.09, b = 3.85
шаг  500: ошибка   1.07, w = 3.22, b = 8.76
шаг 2000: ошибка   0.75, w = 3.00, b = 10.00
прогноз для 10 км: 40 мин

Прочитаем вывод построчно. На старте модель ничего не знает: w и b равны нулю, она предсказывает ноль минут для любого заказа, и средняя квадратичная ошибка огромная, 600,25. Уже через десять шагов ошибка падает до 16,76, хотя параметры ещё далеки от правильных. Дальше спуск идёт медленнее: склон становится пологим, и шаги получаются короче.

К двухтысячному шагу модель нашла w = 3,00 и b = 10,00. На человеческом языке это звучит так: курьеру нужно 10 минут на сборку заказа и ещё 3 минуты на каждый километр. Никто этого правила программе не сообщал. Она вывела его из восьми строк истории.

Ту же прямую можно найти и точной формулой метода наименьших квадратов, например функцией numpy.polyfit. Она даёт те же 3 и 10, то есть спуск пришёл ровно в низшую точку.

Что здесь важно. Прогноз для 10 километров (40 минут) модель сделала для расстояния, которого не было в данных. Это и есть обобщение, ради которого всё затевалось.

Если хочется пощупать соседние задачи, где ответ не число, а категория («купит» или «не купит»), посмотрите пример логистической регрессии в Python на библиотеке scikit-learn.

Почему машинное обучение работает

Посылка, секундомер и блокнот с точками и прямой линией

Модель видела восемь заказов и уверенно предсказывает девятый. Почему вообще можно верить такому прогнозу? Ответ опирается на четыре условия. Если хоть одно нарушено, прогнозы перестают сбываться.

Условие 1: в мире есть закономерность

Время доставки зависит от расстояния. Это свойство реального мира, алгоритм его только замечает. Модель находит и записывает в числа закономерность, которая уже существует.

Если связи нет, обучить ничего не получится. Предсказать результат броска монеты по цвету рубашки игрока не сможет ни одна нейросеть.

Условие 2: новые данные похожи на старые

Модель обучили на заказах в одном городе, летом, днём. Она будет хорошо работать на таких же заказах. Специалисты говорят, что обучающие и новые данные должны приходить из одного распределения, то есть из одних условий.

Поэтому модель для московских пробок плохо сработает в маленьком городе. А модель спроса, обученная на покупках обычного года, растеряется в год, когда привычки людей резко поменялись: изменился сам мир, который она описывала.

Условие 3: модель достаточно простая

Через восемь точек можно провести прямую, а можно извилистую кривую, которая пройдёт через каждую точку идеально. Обе модели относятся к регрессии, просто с разной гибкостью.

Кривая выглядит лучше на учебных данных, но на новых обычно проигрывает. Из моделей, которые одинаково хорошо объясняют данные, обычно стоит выбирать самую простую. Этот принцип старше компьютеров и известен как бритва Оккама.

Условие 4: данных хватает

Чем сложнее закономерность, тем больше примеров нужно, чтобы отличить её от случайного шума. Прямую можно найти по десятку точек. Чтобы научить нейросеть отличать тысячу видов объектов на фото, исследователи в 2012 году брали больше миллиона размеченных картинок (об этом ниже, в разделе про нейросети).

Коротко. Машинное обучение работает, когда закономерность существует, новые данные похожи на учебные, модель не сложнее, чем нужно, а примеров достаточно для её сложности.

CheckroiCheckroiПодборка курсов по машинному обучению153 курса • 29 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→

Переобучение: когда модель запоминает примеры наизусть

Главная ловушка машинного обучения называется переобучением. Так называют ситуацию, когда модель обучается слишком хорошо только на обучающей выборке: запоминает конкретные примеры вместо общего правила.

Это похоже на студента, который выучил ответы на билеты прошлого года наизусть. На старых билетах он отличник, на новых не может решить ни одной задачи.

В документации библиотеки scikit-learn этот случай описан прямо: учить модель и проверять её на тех же данных называется методологической ошибкой. Модель, которая просто повторяет увиденные ответы, получит идеальную оценку и не сможет предсказать ничего полезного на новых данных.

Замер: три модели на одних и тех же заказах

Мы проверили это на своём примере с доставкой. Сгенерировали 10 заказов для обучения и 1000 новых заказов для проверки по правилу «10 минут плюс 3 минуты на километр плюс случайные пробки до пары минут». Затем обучили три модели разной сложности: прямую (многочлен первой степени), плавную кривую (третьей степени) и очень гибкую кривую (девятой степени). Ошибку считали в минутах, как среднее отклонение прогноза от правды.

Модель Ошибка на 10 учебных заказах Ошибка на 1000 новых заказах Диагноз
Прямая (степень 1) 1,03 мин 1,87 мин обобщает
Кривая (степень 3) 0,80 мин 1,89 мин обобщает, лишняя сложность не помогла
Гибкая кривая (степень 9) 0,00 мин около 7300 мин переобучение

Самая сложная модель прошла через все 10 учебных точек без единой ошибки. А между точками и по краям её кривая улетела вверх и вниз так, что на новых заказах она промахивается в среднем на несколько тысяч минут. Простая прямая на учебных данных хуже, а в работе лучше всех.

Код замера, если захотите повторить (нужна библиотека NumPy):

import numpy as np

rng = np.random.default_rng(42)

def make_orders(n):
    km = rng.uniform(1, 9, n)
    minutes = 10 + 3 * km + rng.normal(0, 2, n)   # настоящее правило + случайные пробки
    return km, minutes

km_train, min_train = make_orders(10)    # на этих 10 заказах учим
km_test, min_test = make_orders(1000)    # на этих 1000 новых проверяем

for degree in (1, 3, 9):
    model = np.poly1d(np.polyfit(km_train, min_train, degree))
    err_train = np.mean(np.abs(model(km_train) - min_train))
    err_test = np.mean(np.abs(model(km_test) - min_test))
    print(f"степень {degree}: ошибка на учебных {err_train:5.2f} мин, на новых {err_test:8.2f} мин")

Вывод:

степень 1: ошибка на учебных  1.03 мин, на новых     1.87 мин
степень 3: ошибка на учебных  0.80 мин, на новых     1.89 мин
степень 9: ошибка на учебных  0.00 мин, на новых  7300.20 мин

Похожую картинку с тремя кривыми разработчики scikit-learn показывают в официальном примере про недообучение и переобучение. Там видно и обратную беду.

Недообучение как обратная проблема

Недообучение случается, когда модель слишком простая для задачи. Если бы время доставки сильно зависело от времени суток, а мы оставили один признак «километры», модель не смогла бы поймать эту зависимость и ошибалась бы и на учебных, и на новых данных.

Признак, по которому их различают, простой. Плохо и там и там значит недообучение. Отлично на учебных и плохо на новых значит переобучение.

Как с переобучением борются

  • Больше данных. Девятую степень трудно обмануть тысячей точек: ей придётся найти общее правило.
  • Проще модель. Меньше параметров, меньше возможностей запомнить шум.
  • Регуляризация. К функции потерь добавляют штраф за слишком большие веса, и модель сама тянется к простым решениям.
  • Ранняя остановка. Следят за ошибкой на валидационной выборке и прекращают обучение, когда она начинает расти.
  • Ансамбли. Объединяют прогнозы многих моделей, ошибки которых частично гасят друг друга. Так устроен, например, случайный лес.

Когда модели перестают работать

Модель опирается только на статистику из своих данных. Поэтому у неё есть предсказуемые слабые места, о которых полезно знать даже тем, кто никогда не будет писать код.

Мир изменился. Открылся новый мост, поменялись тарифы, пришёл другой сезон. Модель продолжает работать по старым закономерностям, и ошибки растут незаметно. Поэтому промышленные модели регулярно переобучают на свежих данных и следят за их качеством. Этим, среди прочего, занимается ML-инженер.

В данных была ошибка или перекос. Если в истории заказов курьеры отмечали доставку не в момент вручения, а когда вспоминали, модель выучит именно это. Если в данных для найма сотрудников исторически почти не было женщин на технических должностях, модель может перенести этот перекос в свои прогнозы. Модель воспроизводит то, что ей показали, включая чужие предубеждения.

Совпадение приняли за причину. Модель может заметить, что продажи мороженого растут вместе с числом солнечных ожогов. Для прогноза это полезно, но запрет мороженого ожогов не убавит: оба числа растут из-за жары.

Редкие события. Если чего-то не было в обучающих данных, модель не знает, как реагировать. Беспилотник, который никогда не видел человека в костюме динозавра, может повести себя странно.

Практическое следствие. Прогноз модели стоит воспринимать как подсказку опытного помощника, которую иногда нужно перепроверить. Чем дороже ошибка (медицина, кредиты, транспорт), тем важнее человек, который проверяет результат.

Ваня БуявецКанал основателя Checkroi Вани БуявцаЗабирайте промпты и обучение по нейросетям в моём Телеграм-каналеБольше 3 800 человек уже применяют Claude Code, ChatGPT и другие нейросети в работе, учёбе, бизнесе и жизниПерейти в канал

Три способа учить модель

Всё, что мы разобрали выше, называется обучением с учителем: у каждого примера был правильный ответ. Но бывают задачи, где ответов нет или их нельзя дать заранее. Поэтому выделяют три основных способа обучения.

Способ Что есть в данных Чему учится модель Пример из жизни
Обучение с учителем Примеры и правильные ответы Угадывать ответ: число (регрессия) или категорию (классификация) Время доставки, спам-фильтр, распознавание лиц
Обучение без учителя Только примеры, ответов нет Находить группы и необычные объекты (кластеризация, поиск аномалий) Сегменты покупателей, подозрительные операции по карте
Обучение с подкреплением Среда, действия и награда за результат Выбирать действия, которые приносят больше награды Игровые программы, роботы, управление складом

Механика у всех трёх общая. Есть параметры, есть число, которое надо улучшить, и есть способ двигать параметры в нужную сторону. Меняется только то, откуда берётся оценка: из правильных ответов, из структуры самих данных или из награды за действие.

Если непонятно, с чего начинать, начинайте с обучения с учителем. На нём построено большинство прикладных задач, а проверить его легко: прогноз сравнивают с известным правильным ответом. Подробнее о том, какие алгоритмы бывают и как их различают по назначению, есть отдельный материал.

Нейросети: та же механика в большом масштабе

Рой с восторгом смотрит на светящиеся слои нейросети

Нейросеть устроена как та же модель с параметрами, только очень большая. Она состоит из слоёв простых вычислительных блоков, искусственных нейронов. Каждый нейрон берёт несколько чисел на входе, умножает их на свои веса, складывает и передаёт результат дальше.

Одна такая формула умеет немногое. Но когда слоёв много, первые учатся замечать простые вещи (края и пятна на картинке), следующие собирают из них формы, а последние узнают целые объекты. Обучение нейросетей с большим числом слоёв называют глубоким обучением.

Как обучается нейросеть

Учится нейросеть тем же градиентным спуском, что и наша модель доставки. Сложность в том, чтобы понять, какой вклад в общую ошибку внёс каждый из миллионов весов. Для этого используют метод обратного распространения ошибки: ошибку на выходе раскладывают по слоям в обратном порядке, от последнего к первому.

Метод описали Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс в статье 1986 года в журнале Nature. По словам авторов, процедура раз за разом подстраивает веса связей в сети, чтобы уменьшить разницу между фактическим и желаемым ответом. Почти все современные нейросети обучаются по этой схеме.

Почему нейросети стали так сильны в 2010-х

Идеям было несколько десятилетий, но не хватало двух вещей: данных и вычислительной мощности. Поворотной точкой стала работа 2012 года, в которой нейросеть научили распознавать изображения из набора ImageNet. Авторы обучали её на 1,3 миллиона картинок с высоким разрешением, разложенных по 1000 классов, а у самой сети было 60 миллионов параметров. Чтобы обучение шло быстрее, его перенесли на видеокарты.

Подробнее о том, как такие сети смотрят на картинки, рассказано в разборе свёрточных нейронных сетей с примером кода.

Языковые модели вроде ChatGPT устроены по тому же принципу. На огромном количестве текстов их учат угадывать следующее слово, а функция потерь штрафует за неверную догадку. Умение поддерживать разговор вырастает из миллиардов таких маленьких поправок.

Короткая история: от шашек до нейросетей

Термин «машинное обучение» связывают с инженером IBM Артуром Сэмюэлом. В статье 1959 года Some Studies in Machine Learning Using the Game of Checkers он описал программу для игры в шашки и показал, что компьютер можно запрограммировать так, чтобы он научился играть в шашки лучше, чем человек, написавший программу.

Год Событие Что изменилось
1959 Артур Сэмюэл публикует работу о самообучающейся программе для шашек Появилась идея, что программа может превзойти автора за счёт опыта
1986 Румельхарт, Хинтон и Уильямс описывают обратное распространение ошибки Многослойные нейросети стало можно обучать
2012 Глубокая нейросеть распознаёт изображения ImageNet Начался бум глубокого обучения на видеокартах

Больше имён и поворотов этой истории собрано в статье о том, кто создал искусственный интеллект.

Как машинное обучение меняет наш мир

Скорее всего, вы пользовались машинным обучением сегодня несколько раз и не заметили этого. Вот где оно работает по той же схеме «данные, модель, проверка», которую мы разобрали:

  • Почта. Спам-фильтр учится на письмах, которые пользователи помечают как нежелательные.
  • Карты и такси. Время в пути и подачи машины считаются моделями, похожими на наш пример с доставкой, только с сотнями признаков.
  • Рекомендации. Музыкальные сервисы, маркетплейсы и видеоплатформы предлагают то, что выбирали люди с похожими вкусами.
  • Банки. Модели оценивают вероятность возврата кредита и замечают подозрительные операции по карте.
  • Медицина. Системы помогают врачам находить подозрительные участки на снимках, а окончательное решение остаётся за врачом.
  • Перевод и речь. Онлайн-переводчики и голосовые помощники обучены на огромных массивах текстов и записей.

Общий сдвиг в том, что компьютеры начали решать задачи, где правила невозможно записать вручную. Отсюда и спрос на людей, которые понимают, как модели устроены, где они ошибаются и как их проверять. Этому посвящён разбор ИИ-грамотности, которую всё чаще ждут даже от не-разработчиков.

CheckroiCheckroiПодборка курсов для ML-инженеров89 курсов • 19 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→

Сколько нужно знать, чтобы разобраться самому

Понять принцип, как вы уже убедились, можно без высшей математики. А чтобы обучать модели самостоятельно, понадобятся четыре вещи.

Python. Основной язык машинного обучения: на нём написаны библиотеки NumPy, pandas, scikit-learn и большинство инструментов для нейросетей. Для старта хватит базового синтаксиса, списков и функций. С массивами чисел поможет разобраться статья про массивы в Python и NumPy.

Математика в объёме первых курсов вуза. Линейная алгебра (векторы и матрицы), основы производных (это и есть градиент) и теория вероятностей. Глубина нужна разная: аналитику данных достаточно понимать смысл, исследователю нужен полноценный аппарат.

Работа с данными. На практике большую часть времени занимает подготовка таблиц: найти пропуски, убрать дубли, придумать полезные признаки.

Привычка проверять. Отложенная выборка, метрики на новых данных и здоровое недоверие к слишком хорошему результату. Замер с девятой степенью показывает цену пропущенной проверки: идеальный результат на учебных данных и ошибка в тысячи минут на новых.

Пошаговый маршрут в профессию с такими знаниями описан в плане того, как стать Data Scientist. Программы под эту цель собраны в каталоге курсов для ML-инженеров.

Где научиться машинному обучению

Самостоятельно можно дойти до понимания принципов, как в этой статье. Дальше обычно начинаются вопросы, на которые нужен ответ опытного человека: почему модель не учится, какую метрику выбрать, как довести проект до работающего сервиса. Курс с наставником и проверкой домашних заданий заметно сокращает этот путь.

Ниже подборка онлайн-курсов по машинному обучению с нуля и для тех, кто уже пишет на Python. Сравнивайте длительность, количество практики и проекты, которые останутся в портфолио.

КурсШколаСтоимость со скидкойВ рассрочкуДлитель­ностьОбзор курса от Checkroi
Machine Learning с нуля до Junior
Перейти на сайт курса
SkillboxSkillbox123 543 ₽4384 ₽/мес.9 месяцевОбзор курса
Бакалавриат «Data Science & Machine Learning»
Перейти на сайт курса
SkillboxSkillbox75 000 ₽ - 48 месяцевОбзор курса
Машинное обучение
Перейти на сайт курса
НетологияНетология43 600 ₽2598 ₽/мес.10 месяцевОбзор курса
Machine Learning. Продвинутый уровень
Перейти на сайт курса
OTUSOTUS65 000 ₽8000 ₽/мес.5 месяцевОбзор курса
Machine Learning Engineer с нуля
Перейти на сайт курса
SkillboxSkillbox69 000 ₽ - 9 месяцевОбзор курса
Инженер машинного обучения: курс для IT-специалистов
Перейти на сайт курса
НетологияНетология100 000 ₽3960 ₽/мес.11 месяцевОбзор курса
Machine Learning. Basic
Перейти на сайт курса
OTUSOTUS60 000 ₽8613 ₽/мес.6 месяцевОбзор курса
Machine learning. Углублённый уровень
Перейти на сайт курса
OTUSOTUS70 000 ₽8500 ₽/мес.5 месяцевОбзор курса
Онлайн-магистратура МИФИ "Машинное обучение"
Перейти на сайт курса
SkillFactorySkillFactory230 000 ₽ - 24 месяцаОбзор курса
Искусственный интеллект и машинное обучение (Бакалавриат)
Перейти на сайт курса
Университет СинергияУниверситет Синергия73 333 ₽ - 3 годаОбзор курса

Больше программ — в полном каталоге курсов по машинному обучению

Если интересует более широкое поле, от генеративных нейросетей до автоматизации работы с ИИ, загляните в каталог курсов по нейросетям и искусственному интеллекту.

Часто задаваемые вопросы

Чем машинное обучение отличается от искусственного интеллекта?

Искусственный интеллект — общее название для программ, которые решают задачи, требующие человеческого мышления. Машинное обучение — один из способов создавать такие программы: правила они получают из данных, а не от программиста. Почти все заметные системы ИИ последних лет построены на машинном обучении. Подробнее о разновидностях ИИ — в статье про виды искусственного интеллекта.

Чем машинное обучение отличается от глубокого обучения?

Глубокое обучение входит в машинное обучение. Так называют обучение нейросетей с большим числом слоёв: каждый следующий слой находит в данных всё более сложные закономерности. Простые задачи вроде прогноза времени доставки решают классическими моделями, а для распознавания изображений, речи и текста чаще берут глубокие нейросети.

Как называется процесс, при котором модель обучается слишком хорошо только на обучающей выборке?

Это переобучение. Модель запоминает конкретные примеры вместе со случайным шумом и плохо работает на новых данных. Распознают его по разрыву: ошибка на обучающих данных маленькая, а на отложенных большая. Лечат больше данными, более простой моделью, регуляризацией и ранней остановкой обучения.

Нужна ли математика, чтобы разобраться в машинном обучении?

Чтобы понять принцип, хватит школьной математики: модель — это формула, ошибка — число, обучение — подбор параметров, при которых ошибка меньше. Чтобы обучать модели самостоятельно, понадобятся основы линейной алгебры, производных и теории вероятностей. Исследователю нужен полноценный вузовский аппарат, аналитику данных достаточно понимать смысл формул.

Какие языки программирования используют в машинном обучении?

Основной язык — Python: на нём написаны NumPy, pandas, scikit-learn и большинство инструментов для нейросетей. Для работы с базами данных пригодится SQL. Быстрые вычислительные части библиотек часто написаны на C++, но новичку для старта достаточно Python.

Можно ли изучить машинное обучение с нуля?

Да. Обычный путь такой: базовый Python, затем математика в нужном объёме, работа с таблицами данных и первые модели на scikit-learn. Самостоятельно легко дойти до понимания принципов, а чтобы довести навык до уровня работы, удобнее учиться с наставником. Программы под разный уровень собраны в подборке курсов по машинному обучению.

Сколько данных нужно, чтобы обучить модель?

Зависит от сложности закономерности. Прямую зависимость времени доставки от расстояния модель нашла по восьми заказам. Нейросети, которая в 2012 году училась различать 1000 классов объектов на фотографиях, понадобилось 1,3 миллиона размеченных изображений. Чем больше у модели параметров, тем больше нужно примеров, чтобы она не переобучилась.

Учится ли модель сама после запуска?

Чаще всего нет. Обычно модель обучают, проверяют и запускают в работу с зафиксированными параметрами. Когда мир меняется и качество падает, её переобучают на свежих данных. Есть и системы, которые дообучаются постоянно, но за ними внимательно следят, чтобы случайные или испорченные данные не ухудшили прогнозы.

Читайте Checkroi первым в Google
Добавьте Checkroi в избранные источники — и наши разборы курсов и обзоры школ будут показываться выше в вашей выдаче Google.
Оставить комментарий
0 комментариев
Форма комментария

Оставьте комментарий

Напишите, что думаете. Нам важно ваше мнение!