Курсы A/B-тестирования — обучение с нуля и для профи

Что такое A/B-тестирование и кому стоит этому учиться

A/B-тестирование — способ принять решение по продукту не на ощущениях, а на цифрах. Берёте две версии страницы, кнопки, письма, флоу регистрации. Делите трафик пополам. Смотрите, у какой версии метрика выросла, и проверяете, что разница не случайная. Если разница статистически значима — выкатываете победителя на 100% аудитории. Если нет — гипотеза не сработала, идём к следующей.

Звучит просто. На практике 80% A/B-тестов в компаниях интерпретируют неправильно: запускают на маленькой выборке, останавливают раньше срока, путают значимость с величиной эффекта, тестируют десять метрик одновременно и считают победой первое же случайное «p < 0.05». Из-за этого роадмапы пухнут от фичей, которые «по тесту дали +5% к конверсии», а в проде на годовом горизонте никакого роста нет. Курсы по A/B-тестированию закрывают именно этот зазор между формальной механикой и честной аналитикой эксперимента. Кому это пригодится:

• Продакт-менеджерам и продакт-аналитикам — чтобы валидировать фичи до полного раскатывания и защищать роадмап перед руководством цифрами, а не презентациями.
• Маркетологам и CRO-специалистам — для тестирования лендингов, рассылок, креативов, ценовых офферов и онбординга.
• Аналитикам данных и BI-специалистам — чтобы перейти от описательной аналитики к причинно-следственной и стать тем, кого зовут на дизайн больших экспериментов.
• ML-инженерам — для оценки моделей рекомендаций, ранжирования и персонализации в проде, где офлайн-метрики уже не работают.
• Тем, кто готовится к собесу в продуктовую команду Яндекса, Авито, Wildberries, Озон, X5, Самоката, Тинькофф, Сбера — там A/B-секция стандартная часть интервью.

A/B-тесты — это не отдельная профессия в чистом виде, а навык, который усиливает три другие: продуктовую аналитику, продакт-менеджмент и performance-маркетинг. На рынке вакансия «специалист по A/B-тестированию» встречается редко, но в описании 6 из 10 вакансий продуктового аналитика на hh.ru сегодня стоит требование «уметь дизайнить и читать эксперименты».

Что входит в программу курсов A/B-тестирования

Хорошая программа делится на три блока: математическая база, инженерия эксперимента, продвинутые методы повышения чувствительности. Без последнего блока курс — это половина курса, потому что в реальных продуктах с миллионами пользователей классические t-тесты упираются в потолок очень быстро.

Математическая статистика и проверка гипотез. Доверительные интервалы, p-value, статистическая мощность, ошибки первого и второго рода, центральная предельная теорема. На этом уровне разбирают, чем отличается значимость от силы эффекта и почему «p = 0.04» не значит «фича точно сработала». Сюда же — t-тест Стьюдента, z-тест, тест Манна–Уитни для неровных распределений, χ²-тест для конверсий, ANOVA для трёх и более вариантов.

Дизайн эксперимента. Здесь учат считать MDE — минимальный обнаруживаемый эффект. Это критично: если у вас сегодняшняя конверсия 2% и поток 5 000 пользователей в день, то эффект меньше 0.4 процентных пункта вы не поймаете за разумный срок. На курсе студент сам считает калькулятор размера выборки, формулирует первичные и вторичные метрики, задаёт guardrails (метрики-сторожа, которые не должны деградировать), решает, как делить трафик — по user_id или по сессии, и какие правила остановки применять.

Повышение чувствительности. Это блок, отличающий курс на 2 470 ₽ от программы за 80 000 ₽. Сюда входят:

• CUPED (Controlled-experiment Using Pre-Existing Data) — метод от Microsoft, который снижает дисперсию метрики за счёт предэкспериментальных данных. На реальных продуктах сокращает требуемый трафик в 2–3 раза.
• Стратификация — разбиение пользователей на страты до сплита, чтобы шум по сегментам не съедал эффект.
• Бутстреп и доверительные интервалы для ratio-метрик (типа ARPU, CR с разными знаменателями), где обычный t-тест ломается.
• Анализ ratio-метрик — линеаризация, дельта-метод. Без них неверно считают почти любую продуктовую метрику.
• Множественное тестирование — поправки Бонферрони, Холма, Бенджамини–Хохберга. Иначе при 20 метриках случайно «выстрелит» любая.
• Последовательное тестирование (always-valid) — методы Optimizely и mSPRT, которые позволяют подглядывать в результаты теста и не врать себе.
• Bayesian A/B — альтернатива частотному подходу, удобная для бизнеса формулировкой «вероятность того, что вариант B лучше — 92%».

Инструментальная часть. Python с библиотеками pandas, numpy, scipy, statsmodels — стандарт для расчётов. SQL для выгрузки данных и подготовки выборок. Метрические системы (Amplitude, Mixpanel, ClickHouse, BigQuery) — чтобы не считать руками. На сильных курсах студент пишет сплитилку с нуля, проверяет её A/A-тестом, разбирает реальные кейсы X5 Tech, Авито, Яндекса.

Финальный проект. На нормальных программах в конце студент получает сырые данные эксперимента и проходит весь путь: формулировка гипотезы → расчёт MDE → выбор метрик → проверка корректности сплита → анализ результатов → оформление выводов в формате, который не стыдно показать stakeholders.

Инструменты, которые изучают на курсах

A/B-платформы делятся на три семьи: SaaS-сервисы для маркетинга и фронтенда, инструменты внутри систем продуктовой аналитики и self-hosted/in-house решения для крупных продуктов. На курсах разбирают все три, но акцент зависит от целевой аудитории программы.

Что важно знать про Google Optimize: сервис закрылся 30 сентября 2023 года. Если в программе курса вы видите «изучаем Google Optimize» — это сигнал, что материал не обновляли с 2022 года. Современные курсы дают замену: Яндекс.Варио для российского рынка, VWO/Optimizely/Statsig — для международных проектов.

В крупных IT-компаниях A/B-эксперименты гоняют через собственные платформы. У Яндекса это Varioqub и внутренний Эксперт, у Авито — собственный Trisigma, у X5 Tech — внутренний движок поверх ClickHouse. Поэтому в финтехе и e-commerce от аналитика на месте чаще требуют не знания конкретного SaaS, а понимания, как спроектировать эксперимент в любой системе и выловить артефакты сплита.

Сколько зарабатывает специалист по A/B-тестированию

Чистая позиция «специалист по A/B-тестам» в вакансиях встречается редко — обычно навык упакован в роли продуктового аналитика, аналитика экспериментов или senior-продакта с экспертизой в экспериментах. Цифры ниже — медианные по hh.ru на апрель 2026 года для аналитиков данных, скорректированные на навык A/B (с ним вилка обычно выше на 15–25%).

Кто нанимает чаще всего в России: Яндекс, Авито, Wildberries, Озон, X5 Tech, Сбер, Тинькофф (Т-Банк), Самокат, Lamoda, Ozon Tech, Альфа-Банк, ВКонтакте. В фин­техе и крупном e-commerce уже несколько лет идёт гонка за грамотных аналитиков экспериментов — потому что один правильно остановленный плохой тест экономит компании десятки миллионов рублей в проде.

Дополнительный навык A/B-тестирования делает обычного аналитика данных дороже на 30–50 тыс. ₽ в Москве. По данным hh.ru, спрос на аналитиков с опытом экспериментов растёт быстрее, чем на средних SQL-аналитиков, и практически не реагирует на колебания рынка — бизнес всё равно хочет проверять гипотезы дешевле.

Сколько стоит обучение и как долго оно длится

Цены на курсы по A/B-тестированию в каталоге Checkroi разбегаются от 790 ₽ до 700 000 ₽ — медианная цена сейчас 90 200 ₽. Такой разброс не случайность: за этими цифрами три разных формата обучения с разной глубиной.

Короткие курсы и интенсивы (2 недели – 1 месяц, 2 000 – 15 000 ₽). Это формат «врываемся в основы»: симуляторы, лекции по статистике без долгих практик, разбор 2–3 кейсов. Подходит, чтобы быстро прокачать навык под ближайший проект или собес. Примеры — короткие тренажёры в Stepik, бесплатный курс «A/B testing» от Сколтеха и X5 Tech на Лекториуме, бесплатные «Основы статистики и A/B-тестирования» от Яндекс Практикума.

Профильные программы (1,5 – 4 месяца, 30 000 – 80 000 ₽). Самый ходовой формат. Сюда попадают «Симулятор A/B-тестов» от Karpov.Courses, «Навыки A/B-тестирования» от Productstar, «А/Б-тестирование» от Нетологии. Программа закрывает математическую базу + дизайн эксперимента + 2–3 продвинутых метода + финальный проект. Студент выходит со способностью самостоятельно дизайнить и интерпретировать тест в проде.

Полные курсы продуктовой аналитики с блоком A/B (4 – 12 месяцев, 80 000 – 250 000 ₽). Это уже не курс по тестам, а полная переподготовка в аналитика. A/B — один из 8–10 модулей, рядом — SQL, Python, BI-системы, дашборды, юнит-экономика. Подходит, если меняете профессию полностью и нужен сертификат для трудоустройства.

Что выбрать. Если вы уже работаете в продукте/маркетинге и нужен только навык — берите профильную программу на 1,5–3 месяца. Если уходите в аналитику с нуля — нужен полный курс с трудоустройством. Если бюджет ноль — Лекториум + Практикум + Stepik закрывают теорию, а практику набираете на pet-проекте или в волонтёрском задании.

Как выбрать курс по A/B-тестированию

Каталог из 152 курса может пугать. Чтобы не утонуть, прогоните каждый курс по шести критериям ниже. Если по трём из них курс проседает — листайте дальше.

1. Симулятор и реальные данные, а не только лекции. A/B-тестирование — навык руками, а не теорией. На курсе должен быть тренажёр, где вы сами загружаете данные эксперимента, считаете MDE, выбираете тест, защищаете вывод. Без этого студент после курса знает, что такое CUPED, но не понимает, когда его применять.

2. Программа покрывает не только t-test. Минимум: t-test, χ², Манн–Уитни, бутстреп, ratio-метрики, MDE, мощность, множественное тестирование. Бонус: CUPED, стратификация, последовательные тесты, Bayesian. Если в программе только «p-value и доверительный интервал» — это курс уровня вводной лекции в университете, а не профессиональный.

3. Менторы — практикующие аналитики из продуктовых компаний. Не «сертифицированные тренеры», а люди, которые реально гоняют тысячи экспериментов в Яндексе, X5, Авито, Озон, Тинькофф. Имена ищите на странице программы — если их прячут или указывают только должность без места работы, это сигнал.

4. Финальный проект защищается перед ментором. Просто «сдать ноутбук на проверку» не работает: разговор с ментором по защите проекта в 4–5 раз увеличивает то, что навык остаётся в голове через полгода. Спросите перед покупкой, есть ли живой разбор проекта, или это автоматическая проверка.

5. Свежесть программы. Уточните, когда последний раз обновляли материалы. Если в программе фигурирует Google Optimize как живой инструмент — материал старый, его не апдейтили после октября 2023. Современные курсы обязательно упоминают always-valid тестирование, CUPED и работу с feature flags через GrowthBook или Statsig.

6. Поддержка после курса и выпускной чат. Хороший курс — это не два месяца, а сообщество выпускников, которое решает задачи и подсказывает потом. Спросите, есть ли закрытый чат с менторами и сколько там активных обсуждений в неделю.

Антипризнаки курса, который не стоит брать: «60 уроков за 3 990 ₽», «гарантия трудоустройства за 2 недели», «без знания математики», «фокус на интерфейсе Google Optimize», лекторы с непонятным бэкграундом, нет бесплатного пробного урока.

Карьерный путь и куда устроиться после курсов

Чистая роль «A/B-тест-аналитик» — редкая, типичные позиции выглядят так. Продуктовый аналитик — самая массовая, у него A/B-эксперименты занимают 30–50% рабочего времени, остальное — дашборды, ad-hoc анализ и встречи с продактами. Аналитик экспериментов / Experimentation Analyst — уже узкая роль, есть в Авито, Яндексе, Wildberries, X5 Tech, отвечает только за дизайн и качество тестов в продукте. Senior Product Analyst / Lead Analyst — ведёт команду аналитиков и отвечает за платформу экспериментов, владеет CUPED, последовательными тестами и custom-методами. Head of Experimentation — позиция последних трёх лет, появляется в крупных продуктах, отвечает за культуру тестирования в компании, ROI портфеля экспериментов и обучение продактов.

Альтернативный путь — внутри собственной роли. Продакт-менеджер с экспертизой в A/B ценится сильно выше обычного: умение защитить решение цифрами поднимает шансы на promo и грейд. CRO-специалист в e-commerce зарабатывает на конверсии лендингов и чек­аутов, типичные работодатели — Lamoda, Wildberries, Ozon, Самокат. Аналитик данных в финтехе — гоняет тесты на пайплайнах одобрения кредитов и UX в банковских приложениях, грейды в Сбере и Т-Банке начинаются от 200 тыс. для middle.

После сильного курса джун обычно выходит с такими навыками: сам поднимает Jupyter, грузит данные из ClickHouse через SQL, считает MDE и размер выборки, валидирует сплит A/A-тестом, строит доверительный интервал через бутстреп, защищает результат перед продактом и пишет постмортем по завершённому эксперименту. С таким набором первый оффер находится за 1,5–3 месяца поиска. Через год работы middle-уровня уже спокойно ведёт 5–8 параллельных экспериментов и подключается к улучшению самой платформы.

Как проходит обучение и сколько времени нужно закладывать

Курсы по A/B-тестированию идут в одном из трёх форматов, и выбор формата важнее, чем выбор школы. От него зависит, останетесь ли вы с реальным навыком через полгода или просто получите сертификат.

Самостоятельный темп с дедлайнами. Самый ходовой формат у крупных школ — Karpov.Courses, Productstar, Нетология. Видео-лекции открываются по расписанию (раз в неделю), к каждой идёт практическое задание и автопроверка, плюс раз в 2 недели созвон с ментором или вебинар с разбором ошибок. Закладывать нужно 8–12 часов в неделю: 3–4 часа на лекции, 5–7 часов на практику. Полный курс на 2 месяца — это 80–100 часов работы, и это нижняя граница для серьёзной программы.

Тренажёр без расписания. Симуляторы и интерактивные курсы (Stepik, Лекториум, бесплатный Практикум) работают как игра-задачник: открыли — решили — закрыли. Проходить можно по 30 минут в день в метро, но дисциплина падает: статистика по бесплатным курсам показывает, что до конца доходит 5–10% записавшихся. Если сами по себе мотивированы и нужен только материал — формат рабочий. Если нет — переплатите за платный курс с дедлайнами и получите больше пользы.

Корпоративные интенсивы и буткемпы. 2–3 недели полного погружения, занятия каждый день по 4–6 часов, групповая работа над общим проектом, сильные менторы. Стоят 60 000 – 150 000 ₽, проводятся редко, но по эффективности — самый плотный формат. Подходит, если можете на 3 недели уйти в обучение полностью и не отвлекаться.

В среднем студент тратит на полный курс A/B-тестирования 60–120 часов реальной работы, не считая просмотра видео в фоне. Это эквивалент 2–3 месяцев в обычном темпе или 3 недель в режиме интенсива. Сертификат школы вы получите, но реальный навык появляется ровно тогда, когда защитите свой первый эксперимент перед ментором, а потом — перед продактом или руководителем уже на работе. Тысячи часов можно потратить впустую, если не довести курс до финального проекта.

Распространённые ошибки в A/B-тестах, от которых отучают курсы

A/B-тестирование выглядит как механика, в которой сложно ошибиться: разделил трафик, посчитал конверсию, увидел число. На деле почти каждая команда без сильного аналитика регулярно наступает на одни и те же грабли. Разбор этих ошибок — отдельный сильный блок в любом приличном курсе, потому что без него студент уйдёт уверенный, что всё умеет, и сольёт первый же тест в проде.

Подглядывание (peeking) и ранний стоп. Команда запускает тест, через сутки видит «p = 0.04» и победно его выкатывает. Через неделю эффект исчезает. Это самая частая ошибка: классические t-тесты не позволяют проверять результат каждый день — у вас множественное тестирование, при котором ложноположительный результат «выстрелит» рано или поздно. Лечится либо строгим правилом «смотрим только по достижении заранее рассчитанной выборки», либо переходом на always-valid методы (mSPRT, Bayesian с правильными приорами).

Тест без расчёта MDE. Запустили эксперимент, он шёл месяц, разница оказалась 0.3 процентных пункта, p-value 0.18 — «значит, не работает». А по-хорошему, при текущем трафике вы и не могли бы поймать эффект меньше 0.5 п.п. Получается, что тест ничего не доказал. На курсе учат сначала считать, какой минимальный эффект вы реалистично можете заметить за разумный срок, и только потом принимать решение, есть ли смысл вообще запускать сплит.

Сравнение средних в ratio-метриках. Метрики типа CR (конверсия), ARPU, CTR — это отношения. Если считать стандартный t-тест на средних по таким метрикам напрямую, доверительный интервал будет занижен в 2–3 раза, и любые результаты — недостоверны. Решение — линеаризация (метод Тейлора, дельта-метод) или бутстреп. До этого блока курса доходят примерно 30% программ — поэтому он отдельный маркер качества.

Загрязнение сплита. Один пользователь попадает в обе группы — например, вошёл с разных устройств, или по ошибке в логике. Эффект размазывается, разница между группами падает, тест занижает реальный импакт. Учат ловить это через A/A-тест перед запуском и регулярные sanity check метрик во время эксперимента.

Сезонность и недельный цикл. Тест на 5 дней с понедельника по пятницу — пропустили выходные, а у продукта совершенно другой паттерн поведения в субботу. Курс учит планировать длительность кратной целому числу недель и проверять, что в обеих группах сезонные эффекты уравновешены.

Симпсоновский парадокс. На общей выборке вариант A лучше, а в каждом отдельном сегменте лучше B. Если не разбивать результат по ключевым сегментам (новые/старые, мобайл/десктоп, география), можно принять глобально неверное решение. Этот разбор — обязательный для middle-уровня и выше.

Тестирование на сильно скоррелированных метриках. Запускают тест на 15 метриках, ожидают, что хоть одна выстрелит. По теории случайных совпадений — выстрелит обязательно, но это шум. Учат сразу формулировать одну primary-метрику, а остальные считать только как guardrails и для контекста.

Игнорирование long-term-эффекта. Краткосрочно фича подняла конверсию, но через месяц пользователи отвалились — например, агрессивный пуш-механ работает 2 недели, а потом аудитория перегорает. На сильных программах учат обязательно делать holdout-группы для долгосрочных метрик и не катить раньше срока.

Как мы отбираем и ранжируем курсы в каталоге

В каталоге Checkroi сейчас 152 курса от 20 школ. Чтобы они не лежали хаотичной кучей, мы прогоняем каждую программу через несколько фильтров и взвешиваем результат.

Что мы смотрим в каждой программе:

• Глубина статистики. Закрывает ли курс не только t-test, но и MDE, ratio-метрики, методы повышения чувствительности. Это ключевой признак отличия профильного курса от поверхностного.
• Наличие симулятора. Есть ли практика на реальных данных, тренажёр с проверкой ответов, разбор кейсов или просто видео-лекции. Симулятор — обязательное условие для попадания в верх рейтинга.
• Экспертиза менторов. Кто ведёт практику: преподаватели-сертификаторы или практикующие аналитики из X5, Авито, Яндекса, Озон. Имя и место работы должны быть открыты.
• Актуальность стека. Упоминаются ли современные методы (CUPED, always-valid, Bayesian) или программа застряла во временах Google Optimize.
• Живая обратная связь. Менторы разбирают финальные проекты лично или это автоматическая проверка. В первом случае навык закрепляется в разы лучше.
• Реальные кейсы. Есть ли в программе разбор настоящих экспериментов из продуктовых компаний — а не учебных датасетов из Kaggle десятилетней давности.

Цены, длительность, скидки и количество отзывов мы тянем из живых данных школ — поэтому числа в каталоге обновляются ежедневно, а не раз в полгода. На странице каждого курса есть собранные отзывы выпускников и встроенный механизм сравнения, который помогает выбрать между двумя похожими программами по деталям. Если у курса меняется программа или преподаватели — мы это фиксируем и пересматриваем позицию в рейтинге.