Пирамида тестирования: что это, уровни и как применять на проекте

Пирамида тестирования объясняет, каких автотестов в проекте писать много, а каких мало, и почему сотня сценариев в браузере может идти целый час.

Разбираем три уровня на примере интернет-магазина, показываем рабочий юнит-тест на Python и пять шагов, которые превращают перевёрнутую пирамиду в нормальную.

Пригодится тем, кто только начинает обучение тестированию и хочет понимать, о чём спрашивают на собеседовании в QA.

Статью написал:
Ваня Буявец, продюсер, основатель Checkroi
Ваня Буявец
Основатель Checkroi, продюсер, эксперт в выборе онлайн-курсов
Все 3392 статьи автора Подписаться на Телеграм-канал
Одобрено экспертом:
Наташа Буявец, основатель Checkroi, эксперт по онлайн-курсам
Наташа Буявец
Основательница Checkroi, продюсер Youtube-каналов, эксперт по онлайн-курсам
Все 4045 экспертных мнений Подписаться на Телеграм-канал
Обложка: Пирамида тестирования: что это, уровни и как применять на проекте

Пирамида тестирования отвечает на простой вопрос: каких автотестов в проекте должно быть много, а каких мало. Внизу быстрые и дешёвые проверки отдельных функций, наверху медленные сценарии, которые прокликивают приложение как живой пользователь.

Ниже разберём уровни пирамиды на одном примере с интернет-магазином, покажем настоящий юнит-тест на Python, расскажем, откуда взялась пропорция 70/20/10 и почему её не стоит считать законом. Отдельно поговорим о перевёрнутой пирамиде и о формах, которые придумали ей на смену: трофее, сотах и крабе.

Если вы выбираете, какой инструмент автоматизации учить первым, загляните в наш разбор инструментов автоматизации тестирования: там пирамида объясняет, почему одного Selenium мало.

Статья написана для тех, кто только входит в профессию. Чем отличаются QA-тестировщик и QA-инженер, мы подробно описали в материале о профессии QA.

А если тема зацепила и хочется учиться системно, загляните в подборку курсов по тестированию ПО: там есть программы для полного нуля и для тех, кто уже пишет автотесты.

Что такое пирамида тестирования простыми словами

Рой-тестировщик собирает пирамиду из кубиков с галочками

Представим интернет-магазин. Покупатель кладёт товар в корзину, вводит промокод на скидку 15 % и оформляет заказ. Проверить, что всё это работает, можно тремя способами.

Первый: взять одну функцию, которая считает цену со скидкой, и проверить её отдельно от всего магазина. Такая проверка занимает доли секунды. Второй: проверить, что корзина правильно передаёт сумму в платёжный сервис и в базу заказов. Третий: запустить браузер и пройти путь покупателя целиком, от главной страницы до письма «Заказ оформлен».

Третий способ похож на реальность больше всего, но он самый медленный и капризный. Если такой тест упал, непонятно, где искать причину: в коде скидки, в базе, в платёжке или в том, что страница загрузилась на секунду дольше обычного.

Пирамида предлагает писать много маленьких проверок внизу и мало больших наверху. Чем ниже уровень, тем тестов больше, тем быстрее они работают и тем точнее показывают место поломки.

Главная идея. Ошибку стоит ловить на том уровне, где сразу видно её место. Тест на одну функцию сразу показывает строку с багом, а упавший сценарий в браузере даёт только сигнал «где-то что-то сломалось».

Разработчику важна скорость обратной связи. Если после каждой правки нужно ждать час, пока пройдут сценарии в браузере, тесты перестают запускать. Если основная часть проверок отрабатывает за минуту, их гоняют постоянно, и баг ловится в тот же день, когда появился. Как устроен поиск ошибки в самом коде, мы разбирали в статье про отладку.

Кто придумал пирамиду и откуда взялись цифры

Модель придумал американский консультант по Agile Майк Кон. По словам Мартина Фаулера, Кон нарисовал пирамиду в разговоре с Лизой Криспин в 2003–2004 годах, а широкая аудитория узнала о ней из его книги «Succeeding with Agile» 2009 года. Agile здесь означает гибкую разработку короткими циклами, подробнее о подходе есть в нашем материале про методологию Agile.

У Кона пирамида называлась пирамидой автоматизации тестирования, и слоёв в ней было три: юнит-тесты в основании, сервисный слой в середине и тесты через пользовательский интерфейс на вершине. В своём блоге Кон отдельно пишет о «забытом слое»: многие компании ошибались, игнорируя средний уровень сервисных тестов целиком.

В 2012 году Фаулер описал модель в статье Test Pyramid, и английское название закрепилось. Про тесты через интерфейс он пишет, что они хрупкие, дорогие в написании и долго выполняются.

В 2018 году там же вышла большая статья Хэма Фокке «The Practical Test Pyramid» с примерами кода на Java для каждого слоя.

Цифры появились позже. В 2015 году в блоге Google Testing Blog вышла заметка «Just Say No to More End-to-End Tests». В ней сказано, что для первой прикидки Google часто предлагает соотношение 70/20/10, а к цифрам приложена оговорка, о которой ниже.

Канал основателя Checkroi Вани Буявца3 800 человек читают мой Телеграм-канал про нейросетиСобрал промпты для Claude Code и ChatGPT, разборы ИИ-инструментов и лайфхаки по продвижению бизнеса в одном местеПрисоединиться

Уровни пирамиды тестирования

Классическая пирамида состоит из трёх уровней, поэтому её иногда называют пирамидой уровней тестирования. Названия в командах плавают, поэтому даём основные варианты сразу.

Юнит-тесты в основании

Юнит-тест (от unit, единица; по-русски модульный тест) проверяет один маленький кусок кода: функцию, метод, класс. В примере с магазином это функция, которая получает цену и процент скидки и возвращает итог.

Всё, от чего функция зависит, в юнит-тесте подменяют заглушками. Заглушка, или мок (от mock, имитация), изображает базу данных или внешний сервис и отвечает заранее заданными данными. Поэтому юнит-тест не ходит в сеть и не ждёт базу.

Такие тесты обычно пишут сами разработчики, и счёт идёт на сотни и тысячи. Прогон всего набора занимает секунды, так что его запускают после каждой правки.

Интеграционные и API-тесты в середине

Интеграционный тест проверяет, что части системы правильно работают вместе: корзина передаёт сумму в модуль заказов, модуль заказов записывает строку в базу, платёжный шлюз возвращает ответ в понятном виде.

Сюда же относят тесты API. API — это способ, которым программы обмениваются данными напрямую, без кнопок и экранов. Тест отправляет запрос на адрес сервера и смотрит, что вернулось. Как выглядят такие запросы, показано в статье про REST API.

Ещё один вид среднего слоя называют контрактными тестами. Они проверяют договорённость между двумя сервисами: какие поля один отправляет и какие другой ожидает получить. Это спасает, когда сервисы делают разные команды.

Интеграционные тесты медленнее юнит-тестов, им нужна настоящая или тестовая база, иногда отдельное окружение. Курсы, где этот слой разбирают отдельно, собраны в подборке по навыку интеграционное тестирование.

E2E- и UI-тесты на вершине

E2E-тест (end-to-end, от начала до конца; по-русски сквозной) проходит путь пользователя целиком. Программа открывает браузер, ищет товар, жмёт «В корзину», вводит промокод и ждёт страницу благодарности. Для этого используют Selenium, Playwright, Cypress, для мобильных приложений Appium.

CheckroiCheckroiПодборка курсов по Playwright7 курсов • 5 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→

Это самые убедительные тесты: если сценарий прошёл, покупатель тоже сможет купить. Но у них три слабых места.

  • Медленные. Один сценарий идёт десятки секунд, набор из сотни таких тестов может занять час.
  • Нестабильные. Тест падает из-за медленной сети, анимации или чужого сервиса, хотя в коде ошибки нет. Такие тесты называют flaky, «мигающими».
  • Дорогие в поддержке. Дизайнер передвинул кнопку, и десяток тестов надо переписывать.

Поэтому наверху пирамиды оставляют только самые важные сценарии: регистрацию, оплату, оформление заказа.

Сравним уровни в одной таблице.

Уровень Что проверяет Кто обычно пишет Скорость Сколько тестов Инструменты
Юнит одну функцию или класс разработчик миллисекунды сотни и тысячи pytest, JUnit, Jest
Интеграционный и API связку модулей, базу, ответы сервера разработчик или QA-инженер секунды десятки и сотни requests, Postman, REST Assured
E2E и UI путь пользователя целиком QA-инженер, автоматизатор десятки секунд и минуты единицы и десятки Selenium, Playwright, Cypress, Appium

Если инструменты из таблицы пока звучат как набор незнакомых слов, начните с одного языка и одного фреймворка для юнит-тестов. Для Python, Java и JavaScript это три фреймворка из первой строки таблицы. Остальное легче ляжет поверх.

Пример: юнит-тест для скидки в корзине

Рой запускает юнит-тесты, на экране три зелёные галочки

Вернёмся к магазину. Допустим, функция считает цену со скидкой по промокоду, а скидка больше 50 % запрещена правилами акции.

def final_price(price, promo_percent):
    if not 0 <= promo_percent <= 50:
        raise ValueError("скидка от 0 до 50 %")
    return round(price * (100 - promo_percent) / 100, 2)

Юнит-тесты на неё в pytest выглядят так: три коротких проверки на обычную скидку, отсутствие скидки и запрещённое значение.

from pytest import raises
from cart import final_price

def test_discount_applied():
    assert final_price(1000, 15) == 850

def test_no_discount():
    assert final_price(999.99, 0) == 999.99

def test_too_big_discount():
    with raises(ValueError):
        final_price(1000, 80)

Запускаются тесты командой python -m pytest -q, последняя строка вывода:

3 passed in 0.00s

Время прогона округлилось до нуля: все три проверки уложились в тысячные доли секунды. Если кто-то случайно поменяет формулу, тест упадёт и покажет, какое значение ожидалось и какое вышло.

На среднем этаже та же скидка проверяется иначе: тест отправляет запрос «положить товар за 1000 ₽ и применить промокод» на сервер магазина и смотрит, что в ответе сумма 850, а в базе появилась строка заказа. На вершине робот в браузере вводит промокод в поле и проверяет цифру на экране оформления.

Обратите внимание. Граничные случаи вроде скидки 80 % удобнее всего проверять внизу. Гонять ради них браузер долго, а юнит-тест закрывает десяток таких вариантов за долю секунды.

CheckroiCheckroiПодборка курсов по тестированию ПО117 курсов • 31 школаСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→

Соотношение тестов: 70/20/10 и почему это не закон

Самая цитируемая пропорция звучит так: 70 % юнит-тестов, 20 % интеграционных и 10 % сквозных. Взялась она из той самой заметки Google 2015 года, и подана там как первая прикидка, а не правило. Сразу после цифр в тексте Google сказано, что точная пропорция у каждой команды своя, но в целом форма пирамиды должна сохраняться.

Считают проценты по числу тестов, а не по времени, которое на них уходит. Сотня сквозных тестов может занимать больше машинного времени, чем десять тысяч юнит-тестов.

На практике пропорция зависит от продукта. В библиотеке для расчётов почти всё проверяется юнит-тестами. В приложении, которое в основном склеивает чужие сервисы, своей логики мало, и центр тяжести уезжает в интеграционные тесты. Об этом ниже, в разделе про соты.

Пирамида тестирования и уровни ISTQB

Новички часто путают пирамиду с уровнями тестирования из программы ISTQB. ISTQB — международная организация, которая выдаёт самые известные сертификаты тестировщиков; как их получить в России, описано в статье о сертификации тестировщиков.

В действующей программе Foundation Level 4.0.1 описано пять уровней тестирования программного обеспечения:

  1. компонентное (его же называют модульным или юнит-тестированием);
  2. компонентное интеграционное, когда проверяют связи между компонентами;
  3. системное тестирование, когда смотрят на поведение всей системы;
  4. системное интеграционное, когда проверяют связи с внешними системами и сервисами;
  5. приёмочное, когда система доказывает, что готова к запуску и закрывает задачи бизнеса.

Уровни ISTQB описывают все проверки, включая ручные и приёмку пользователями. Пирамида уже: она говорит, как распределить автоматические тесты, чтобы набор работал быстро и не разваливался. Её нижний слой примерно совпадает с компонентным уровнем, средний с интеграционными, а верхний захватывает часть системного.

Ваня БуявецКанал основателя Checkroi Вани БуявцаЗабирайте промпты и обучение по нейросетям в моём Телеграм-каналеБольше 3 800 человек уже применяют Claude Code, ChatGPT и другие нейросети в работе, учёбе, бизнесе и жизниПерейти в канал

Перевёрнутая пирамида и другие антипаттерны

Антипаттерном называют типичную ошибку в устройстве, которую повторяют разные команды. У пирамиды их два самых известных.

Рожок мороженого

Перевёрнутая пирамида тестирования, она же рожок мороженого (ice cream cone): почти все проверки идут через браузер, интеграционных мало, юнит-тестов ещё меньше. Google в том же посте 2015 года так и описывает этот антипаттерн, а Фаулер пишет, что такой подход быстро приводит к неприятностям и превращается в рожок.

Обычно рожок вырастает сам. Команда, где автоматизацией занимается только отдел тестирования, пишет то, что умеет: сценарии в браузере. Хотя стек тестировщика-автоматизатора давно шире Selenium. Разработчики юнит-тесты не пишут, середину не трогает никто. Через год набор идёт несколько часов и падает через раз.

Иногда сверху рожка лежит ещё и шапка ручных проверок. На странице web.dev о стратегиях тестирования автор, Рамона Шверинг, описывает эту форму как ту, где больше всего внимания ручным и UI-тестам и меньше всего юнит-тестам.

Песочные часы

В песочных часах много юнит-тестов, много сквозных и почти ничего посередине. Этот случай Google разбирает в посте «Fixing a Test Hourglass» 2020 года: часы получаются, когда систему трудно проверить по частям. Лечится это изменениями архитектуры приложения и тестовой инфраструктуры, чтобы связку компонентов можно было проверить без запуска всего приложения.

Как узнать свою форму. Посчитайте тесты каждого уровня в репозитории и нарисуйте три полоски. Если верхняя шире нижней, у вас рожок, даже если в документации написано «пирамида».

Другие формы: трофей, соты и краб

Фигурки разных форм тестирования на столе: пирамида, кубок, соты и краб

За двадцать лет у пирамиды появились альтернативы. Идея у них та же, меняется акцент: каждая форма подогнана под свой тип проекта.

Форма Кто предложил Где самый широкий слой Кому подходит
Пирамида Майк Кон юнит-тесты проекты с большим количеством своей логики
Трофей (testing trophy) Кент Си Доддс интеграционные тесты, в основании статический анализ фронтенд на JavaScript
Соты (testing honeycomb) инженеры Spotify интеграционные тесты сервиса микросервисы
Краб описан на web.dev визуальные тесты интерфейса продукты, где важна картинка

Трофей. Фронтенд-разработчик Кент Си Доддс построил его вокруг фразы Гильермо Рауча 2016 года «Write tests. Not too many. Mostly integration.»: пишите тесты, не слишком много, в основном интеграционные. Статья Доддса «Write tests» вышла в 2019 году. В основании трофея лежат статические проверки вроде линтера ESLint, который ловит ошибки ещё до запуска кода. Разница фронтенда и бэкенда объяснена в нашей статье про фронтенд и бэкенд.

Соты. В 2018 году инженеры Spotify в блоге компании предложили соты для микросервисов. Микросервисы — это когда приложение собрано из многих маленьких программ, каждая со своей задачей. Совет звучит так: сосредоточиться на интеграционных тестах, писать немного тестов на детали реализации и ещё меньше тестов, результат которых зависит от правильности другой системы.

Краб. Эта форма подчёркивает роль визуального тестирования, когда программа сравнивает скриншоты страниц до и после правки. Она подходит интернет-магазинам и лендингам, где съехавшая кнопка стоит денег.

CheckroiCheckroiПодборка курсов по автоматизированному тестированию52 курса • 19 школСравните цены, школы, программу и найдите выгодные предложения по обучениюСравнить→

Как внедрить пирамиду на проекте: пять шагов

Чаще всего пирамиду собирают из уже выросшего рожка. Вот порядок, который работает и в старом проекте без тестов (его называют legacy, унаследованным кодом).

Шаг 1: посчитать, что есть

Разложите существующие тесты по уровням и замерьте, сколько идёт полный прогон и как часто тесты падают без реальной ошибки. Эти цифры понадобятся, чтобы через пару месяцев увидеть результат.

Шаг 2: новый код только с юнит-тестами

Переписывать старое разом не нужно. Договоритесь, что каждая новая функция и каждый исправленный баг приходят с юнит-тестом. Основание начнёт расти само.

Шаг 3: опустить проверки на этаж ниже

Пройдитесь по сквозным тестам и найдите те, что на самом деле проверяют расчёт или правило. Проверку скидки, валидацию полей, формат дат переносят в юнит- или API-тесты, а в браузере оставляют один сценарий на весь путь.

Шаг 4: собрать средний слой

Добавьте тесты API для главных операций: создание пользователя, заказ, оплата. Они ловят поломки на стыке модулей, а браузер им не нужен, поэтому прогон идёт секунды.

Шаг 5: встроить прогон в CI/CD

CI/CD называют конвейер, который сам собирает и проверяет код после каждого изменения. Юнит-тесты запускают на каждый коммит (сохранённую правку в системе контроля версий Git), интеграционные перед слиянием веток, сквозные перед выкладкой. Как устроен такой конвейер, мы показали в статье про CI/CD простыми словами.

Регрессионное тестирование, то есть повторная проверка старых функций после новых правок, после этого становится почти бесплатным: его делает конвейер, а не человек в пятницу вечером.

Что пирамида значит для ручного тестировщика и новичка в QA

Рой радуется первому зелёному прогону автотестов

Частый страх новичка: если всё автоматизируют, ручной тестировщик не нужен. Пирамида говорит обратное. Она описывает только автотесты, а над ней остаётся исследовательское тестирование, проверка удобства, вёрстки и сценариев, которые никто не догадался автоматизировать.

Для QA-инженера пирамида полезна как карта. Она подсказывает, где тестировщику договориться с разработчиками о юнит-тестах, где самому писать проверки API и почему не надо автоматизировать каждый клик. Вопрос «что такое пирамида тестирования и как вы распределите автотесты» часто задают на интервью, мы включили его в разбор собеседования на тестировщика.

Путь обычно такой: сначала ручное тестирование и тест-дизайн, потом язык программирования, затем API-тесты и только после них сквозные. Пошаговый план есть в статье как стать тестировщиком с нуля.

Где научиться тестированию

Пирамиду легко понять за вечер, а применять её учатся на живом коде: писать юнит-тесты, поднимать тестовую базу, разбираться, почему сквозной тест упал в третий раз за день. На курсе с практикой и ревью кода ошибки в ваших тестах находит преподаватель, пока они ничего не сломали.

В подборке ниже собраны программы по тестированию ПО от разных школ, от ручного тестирования до автоматизации на Python и Java.

КурсШколаСтоимость со скидкойВ рассрочкуДлитель­ностьОбзор курса от Checkroi
Автоматизированное тестирование на Python
Перейти на сайт курса
SkillboxSkillbox118 754 ₽4108 ₽/мес.9 месяцевОбзор курса
Профессия Инженер по тестированию + ИИ
Перейти на сайт курса
SkillboxSkillbox135 007 ₽4346 ₽/мес.10 месяцевОбзор курса
Профессия Инженер по автоматизации тестирования
Перейти на сайт курса
GeekBrainsGeekBrains119 574 ₽3205 ₽/мес.6 месяцевОбзор курса
Инженер по тестированию: расширенный курс
Перейти на сайт курса
НетологияНетология101 700 ₽4030 ₽/мес.15 месяцевОбзор курса
Инженер по ручному тестированию с нуля
Перейти на сайт курса
SkillboxSkillbox98 044 ₽7337 ₽/мес.4 месяцаОбзор курса
Ручное тестирование (Manual QA)
Перейти на сайт курса
SkillboxSkillbox98 044 ₽7337 ₽/мес.4 месяцаОбзор курса
Инженер по ручному тестированию
Перейти на сайт курса
НетологияНетология45 000 ₽2822 ₽/мес.4 месяцаОбзор курса
Ручное тестирование ПО
Перейти на сайт курса
Академия ЭдюсонЭдюсон85 130 ₽3547 ₽/мес.3 месяцаОбзор курса
Автоматизированное тестирование на Java
Перейти на сайт курса
SkillboxSkillbox42 395 ₽2567 ₽/мес.2 месяцаОбзор курса
Профессия Инженер по автоматизации тестирования
Перейти на сайт курса
SkillboxSkillbox138 676 ₽ - 9 месяцевОбзор курса

Больше программ — в полном каталоге курсов по тестированию ПО

Если ручное тестирование вы уже знаете и хотите сразу в автотесты, смотрите отдельную подборку курсов по автоматизированному тестированию.

Часто задаваемые вопросы

Сколько уровней в пирамиде тестирования?

В классической пирамиде Майка Кона три уровня: юнит-тесты в основании, сервисные (интеграционные и API) тесты в середине и тесты через интерфейс на вершине. Некоторые команды делят средний слой на интеграционные и контрактные тесты, но идея та же: чем выше уровень, тем тестов меньше.

Кто придумал пирамиду тестирования?

Американский консультант по Agile Майк Кон. По словам Мартина Фаулера, он нарисовал её в 2003–2004 годах, а известной она стала после книги Кона «Succeeding with Agile» 2009 года.

Правда ли, что тестов должно быть 70/20/10?

Это ориентир из заметки Google Testing Blog 2015 года: 70 % юнит-тестов, 20 % интеграционных и 10 % сквозных. Сам Google называет его первой прикидкой и оговаривает, что точная пропорция у каждой команды своя. Важнее сохранить форму: внизу тестов больше, чем наверху.

Нужно ли стремиться к 100 % покрытия кода тестами?

Обычно нет. Покрытие показывает, какие строки кода выполнялись во время тестов, но не говорит, проверили ли тесты правильный результат. Полезнее закрыть тестами расчёты, правила и сценарии, на которых продукт зарабатывает деньги, и не тратить время на тривиальный код.

Что такое перевёрнутая пирамида тестирования?

Это антипаттерн, который ещё называют рожком мороженого: основная часть проверок идёт через браузер, а юнит-тестов почти нет. Такой набор медленно работает и часто падает без реальной ошибки. Лечат его, опуская проверки расчётов и правил на нижние уровни.

Нужна ли пирамида тестирования ручному тестировщику?

Да, хотя бы для понимания. Пирамида описывает автотесты, а над ней остаётся ручная и исследовательская проверка. Вопрос про пирамиду часто задают на собеседовании, разбор есть в статье о собеседовании на тестировщика.

Чем пирамида тестирования отличается от уровней ISTQB?

Уровни ISTQB описывают все виды проверок, включая ручные и приёмку пользователями: в программе Foundation Level 4.0.1 их пять. Пирамида говорит только о том, как распределить автоматические тесты по скорости и количеству.

Подходит ли пирамида для микросервисов и фронтенда?

Для микросервисов инженеры Spotify предложили форму сот, где основной упор на интеграционные тесты сервиса. Для фронтенда на JavaScript популярен трофей Кента Си Доддса, у которого самая широкая часть тоже интеграционные тесты. Принцип пирамиды при этом сохраняется: медленных сквозных тестов должно быть меньше всего.

Читайте Checkroi первым в Google
Добавьте Checkroi в избранные источники — и наши разборы курсов и обзоры школ будут показываться выше в вашей выдаче Google.
Оставить комментарий
0 комментариев
Форма комментария

Оставьте комментарий

Напишите, что думаете. Нам важно ваше мнение!