Машинное обучение для неспециалистов: как научить программу решать бизнес-задачи вместо себя

Последнее время о машинном обучении много говорят, пишут обзорные статьи, публикуют новости, освещают для широкой публики исследования и проводят конференции. У гигантов рынка вроде Google, IBM и Amazon свои есть платформы для исследований, небольшие стартапы тоже заявляют о применении решений на базе искусственного интеллекта. Технологии машинного обучения применяют в маркетинге, медицине, аналитике и менеджменте. Но несмотря на это немногие кроме специалистов действительно понимают, что это на самом деле, зачем и как его применять. Давайте разбираться вместе.

Что такое машинное обучение

Машинное обучение — это раздел искусственного интеллекта. В дискуссиях об искусственном интеллекте вообще и о машинном обучении в частности обычно смешиваются нейросети, машинное и глубокое обучение. Зачастую возникает путаница с терминами, поэтому давайте остановимся на них подробнее.

Иерархия самых распространённых терминов из области искусственного интеллекта

Машинное обучение предполагает самообучение и развитие компьютерной системы по подготовленным заранее данным. Машина получает набор данных и учится распознавать их по определённым признакам и выполнять с ними определённые операции. В итоге исследователи стремятся добиться от искусственного интеллекта способности находить ответы на вопросы и выполнять задачи.

К счастью, совсем не обязательно становиться учёным, чтобы использовать машинное обучение. Мы уже используем машинное обучение в повседневной жизни — при обработке фотографий, подборе кино на вечер, поиске лучшего маршрута в навигаторе и др.

Просим программу выделить на фотографии области с красным цветом

Программа послушно подсвечивает красные яблоки и скрывает синие сливы

Возможно, фотография — совсем не ваша область. Но уж готовить еду вам точно приходилось. Создание уникального рецепта также можно поручить компьютеру, нужно только раздобыть исходные данные: найти большую кулинарную книгу в цифровом варианте или собрать сайты с рецептами.

Сначала был создан внешний облик бренд-шефа, а потом уже — её «мозг». Источник: she.wrf.su

При этом надо понимать, что машинное обучение и программирование — не одно и то же. Программисту нужно продумать логику программы и прописать все варианты условий задачи и решений к ним. В машинном обучении мы приносим входные данные и соответствующий им результат, а компьютер выстраивает между ними логику. В случае успеха мы сможем давать машине похожие задания, а она будет за нас решать их быстрее и тем самым сэкономит силы, время и моральные ресурсы.

Чем охотнее вы ставите оценки фильмам, тем точнее алгоритм подберёт фильмы для вашего раздела с рекомендациями

Как происходит машинное обучение

Компьютер не понимает, чему его пытаются обучить. Для вычислительной системы мир состоит из нулей и единиц. И прежде чем решать задачу, системе нужно научиться понимать её условие.

То есть на основе входных данных вычислительная система вырабатывает некое подобие аналитического мышления. Она считывает данные, как-то их классифицирует, видит закономерности и запоминает.

Искусственному интеллекту не так важно, придётся ли в итоге управлять транспортным средством или оценивать степень зрелости овощей и фруктов. Компьютер учится, но если что-то идёт не так, приходится его переучивать и тогда машина пытается избежать ошибок.

Так, шаг за шагом, машины прогрессируют. Иногда присутствие наблюдателя-человека необходимо, как в примере выше с рецептами. Однако в отличие от человека, компьютер лишён эмоций, усталости и когнитивных искажений, поэтому зачастую справляется с задачами лучше.

Какие есть виды машинного обучения

Методов обучения компьютера различным действиям достаточно много, но среди них можно выделить 4 основных вида:

• классическое обучение,
• ансамблевые методы,
• обучение с подкреплением,
• нейросети и глубокое обучение.

При выборе метода обучения стоит учитывать тип входных данных и сложность задачи

Классическое обучение

Самые старые и простые методы машинного обучения с середины XX века, которые изначально применяли для поиска закономерностей в цифрах и расчёта близости точек в пространстве. Специалисты делят такие методы на две категории.

С учителем. Программа-учитель, совсем как в школе, рассказывает машине, какие перед ней данные, как отличить одни от других и чем они похожи. При этом данные уже поделены по признакам, поэтому обучение происходит быстрее.

Для этой категории характерны два типа задач:

• Классификация — разделение данных по определённому признаку или категории. Круг отличается от квадрата, а слон от жирафа, но по определённым признакам можно сгруппировать круг и квадрат в геометрические фигуры, а слона с жирафом — в животных.

• Регрессия — та же классификация, только по числовым признакам. Машина находит зависимость одних числовых данных от других и затем может предсказывать: если на входе одно число, значит на выходе будет другое.

Алгоритмы Яндекс.Пробок учитывают статистику, чтобы помочь вам рассчитать время и не опоздать

Без учителя. Второй способ медленнее: компьютеру не сообщают признаки и он ищет закономерности в данных самостоятельно. Это как если бы Золушка не знала, чем отличаются ячмень и просо и прежде чем отделять их друг от друга по заданию злой мачехи, ей пришлось бы разобраться в характерных особенностях двух злаков.

Здесь на сцену выходят:

• Кластеризация — разделение данных по признакам, которые показались похожими машине.

• Уменьшение размерности или обобщение — объединение нескольких признаков в более общие или абстрактные классы.

• Поиск правил — машина анализирует поток данных и находит комплементарные — те, что часто встречаются вместе.

К выбранному каркасу кровати каталог «Икеи» предлагает запасные рейки и матрас

Ансамблевые методы

Ансамбли — способ, при котором несколько нестабильных методов машинного обучения объединяют для исправления ошибок друг друга.

В зависимости от входных данных результат может быть непредсказуем. Тем не менее, качество такого подхода на голову выше любого из упомянутых ранее методов, если собирать ансамбли одним из трёх способов.

Бустинг. Метод последовательного обучения алгоритмов. После обработки одного набора данных, машине дают следующий. В него специально добавляют данные, результат которых отличается от нужного и алгоритм пытается подобрать решение. Точность метода специалисты называют крайне высокой, но есть и минус — отсутствие параллельного выполнения операций, что существенно замедляет скорость обработки данных.

Беггинг. Один и тот же алгоритм обучают на случайных выборках данных, возможно, повторных. Алгоритм оценивает данные и результатом выдаёт набравшие наибольшее количество баллов. Преимущество такого метода перед бустингом в параллельных операциях — скорость обработки возрастает колоссально.

Система распознавания лиц в камере мобильного определяет даже лица персонажей комиксов

Стекинг. Данные пропускают через несколько слабых алгоритмов, после чего результаты прогоняют через ещё один, решающий. Часто последний в цепочке метод — регрессия. Цель метода — обучить слабых учеников, однако на практике точность всё равно низкая и подход используют редко.

Обучение с подкреплением

Метод предполагает обучение машины путём проб и ошибок. За «правильные» действия компьютер награждают, за «неправильные» — штрафуют. Да, вам не показалось: всё это очень похоже на дрессировку собак, а компьютер в данном случае — буквально собака Павлова.

Первоначально ситуации моделируют в виртуальной среде, после чего искусственный интеллект продолжает учиться в реальном мире.

Чем больше проб и ошибок, тем больше вознаграждений в ситуациях, которые компьютер примеряет на вновь происходящие события. И поступает он в итоге согласно сценарию, который принесёт максимальное вознаграждение.

Нейросети и глубокое обучение

Как происходит обучение нейросетей, объясним на котиках. Кот Карасик заказал в интернет-магазине «Забава» набор игрушек: мячик с кошачьей мятой внутри, удочку-дразнилку и верёвочную мышь. И теперь он лежит и с нетерпением ждёт свои игрушки, чтобы вдоволь порезвиться.

Карасик ждёт курьера прямо в подъезде, чтобы быть ближе к своим новым игрушкам

Через несколько минут в одном из пунктов выдачи заказов курьер забирает очередную коробку и отправляется в путь. Он спускается в специальное курьерское метро, у которого любопытная схема — на ней мы остановимся подробнее.

Входы в метро расположены вдоль одной улицы, на которой есть только пункты выдачи заказов магазина «Забава» — по одному у каждого входа в подземку. Выходы в метро расположены вдоль единственной улицы с жилыми домами, в одном из которых живёт Карасик. Между входами и выходами есть ещё несколько выстроенных в линию станций, с которых нельзя подняться наружу — лишь продолжить движение до конечной точки.

В метро нет веток — на каждой станции дежурит регулировщик, который должен знать список заказов на сегодня, соответствующие им пункты назначения и кратчайшие маршруты от своей станции к выходам. По содержимому коробки регулировщик подскажет курьеру, на какую станцию следующего слоя ему лучше направиться, чтобы добраться до нужного выхода.

И вот курьер доезжает до конечной станции и передаёт Карасику коробку. Кот хватает её, бежит распаковывать и обнаруживает, что там вовсе не его игрушки. В коробке вместо заветной мышки и удочки с перьями — пирамидки и погремушки для младенца Кеши, который живёт через 3 дома, возле другого выхода из метро.

Карасику не нравятся игрушки — они напоминают, как хозяин мальчишкой таскал его за хвост

Задача доставить заказы по верным адресам не выполнена. Это случилось потому, что система курьерской службы новая и только настраивается. Теперь курьеру нужно вернуться обратно через все станции, которые он проехал и сказать регулировщикам, что они направили его не туда. И курьеру с заказом Карасика придётся сделать то же самое. И бедные курьеры будут кататься так до момента, пока регулировщики не обучатся и не доведут их до нужных выходов.

Пока курьеры пытаются доехать до нужного выхода, где-то грустит один Карасик

В этом примере станции — это нейроны, улицы, вдоль которых они расположены — слои, а наборы игрушек — данные. А способ, которым система сама себя корректирует — это метод обратного распространения ошибки. Чем чаще данные проходят через нейроны, тем точнее результат, который выдаст на выходе нейросеть.

Ещё 10 лет назад развитие нейросетей застопорилось из-за недостаточной вычислительной мощности компьютеров. Однако как только преграда исчезла, появилось глубокое обучение, которое вывело работу с данными на новый уровень.

Глубокое обучение — подвид машинного обучения. Оно отличается от классических видов типами обрабатываемых данных и методами их обработки. Дело в том, что классические алгоритмы требовали обозначений, добавленных в данные специалистом перед обучением. С приходом глубокого обучения необходимость в специалисте пропала: машина самостоятельно разбирается, что к чему относится во входных данных.

Архитектур нейронных сетей довольно много, а мы рассмотрим наиболее популярные: свёрточные и рекуррентные.

Свёрточные. Не так давно элементы объектов прописывали вручную. В примере с котом и курьером это означало бы, что у курьера всякий раз была с собой подробная спецификация на игрушки: какого они размера и цвета, есть ли на них перья и умеют ли они пищать и издавать другие звуки. Однако даже при минимальном изменении элементов объектов нейросеть переставала их определять. Вскоре исследователи поняли, что достаточно дать нейросети большое количество данных и она сама найдёт закономерности.

Рекуррентные. На момент появления такие сети каждый раз запускали как первый: память в нейронах отсутствовала. Нейронам рекуррентных сетей добавили память, поэтому на каждом новом цикле обучения они не допускали предыдущих ошибок. Но в таком случае получался переизбыток данных. Поэтому нейроны научили определять ненужную для обучения информацию и забывать её.

Яндекс.Алиса помогает пользователям в управлении делами, бытом и досугом

Как неспециалисту получить доступ к машинному обучению

Гиганты IT-индустрии предоставляют частным и корпоративным пользователям облачные платформы с готовой инфраструктурой и технологиями машинного обучения: Yandex.Cloud, Google Cloud, SberCloud и др.

Кроме того, существуют интернет-ресурсы с открытыми данными для обучения:

• Портал открытых данных РФ — доступные данные для всех желающих из разных сфер.
• Open data science — международное сообщество открытых данных для машинного обучения.
• Kaggle — платформа для проведения соревнований и одновременно соцсеть для дата-сайентистов и специалистов по машинному обучению. С 2017 года принадлежит Google.

Люди из разных сфер могут использовать предоставляемые ресурсы в своих целях. И вот мы добрались до самого интересного — посмотрим, на что в действительности способно машинное обучение.

Какие прикладные задачи реально решить машинным обучением

Машинное обучение используют в решении широкого круга задач в самых разных областях — порой неожиданных: от сельского хозяйства и медицины до видеопродакшена и бизнеса. Мы расскажем о некоторых из областей применения этих технологий.

Сельское хозяйство. В России появилась действительно умная сельхозтехника, которая сокращает время работы и нагрузку на операторов.

Медицина. В медицине машинному обучению нашли широкое применение: в диагностике, консультировании, хирургических операциях, разработке новых препаратов, мониторинге эпидемиологической обстановки и др.

Экология. Машинное обучение приходит на помощь и в борьбе за экологию.

Фото и видео. Обработка фото и видео с машинным обучением занимает на порядок меньше времени. Также можно научить нейросеть увеличивать изображение и прорисовывать детали без потери качества.

Бизнес. Бизнесу тоже выгодны доступные ресурсы машинного обучения: для анализа действий пользователей сайта, их предыдущих покупок и подбора товаров, предсказания вероятных финансовых результатов бизнес-решений, поиска целевой аудитории проекта и автоматизации процессов.

За машинным обучением стоит будущее. Уже сейчас появляются компании, которые разрабатывают протезы для парализованных людей, управляемые через нейроинтерфейс. Постановка диагноза на ранних стадиях болезней, организация движения в городах, проверка работоспособности систем дронами вместо людей — всё это делает жизнь удобнее и проще.

Как научиться обучать компьютеры

Чтобы обучать компьютеры решению важных для вас задач, можно перечитать тонну книг, а можно пройти онлайн-курсы. Преимущество курсов в том, что вы не утонете в море сложных технических деталей, а на кейсах и практике освоите проверенные методы решения своих профессиональных задач. Мы подобрали курсы по некоторым направлениям применения машинного обучения для разных сфер.

Если вы работаете в сфере здравоохранения или стремитесь в неё попасть, советуем поступить на факультет дата-сайенса в медицине от GeekBrains.

Есть и отдельный курс для специалистов сферы маркетинга.

Ну а если вы бизнесмен — смело приходите на курс по аналитике с применением машинного обучения.

Больше курсов по машинному обучению — в нашем каталоге. И помните: не так страшно машинное обучение, как его малюют.