A/B-тест: как провести эксперимент и понять результат

Команда поменяла кнопку. Конверсия выросла с 5% до 5,5%. Победа?

Может быть. А может, в новую версию случайно попало больше постоянных клиентов. Или тест посмотрели на второй день, понравилась цифра и сразу остановили.

A/B-тест нужен именно затем, чтобы отделить эффект изменения от обычного шума. Но для этого эксперимент надо подготовить до запуска, а не объяснять после.

A/B-тест: что это простыми словами

A/B-тест — эксперимент, в котором похожих пользователей случайно делят на две группы. Контрольная группа A видит текущий вариант. Тестовая группа B получает одно изменение. Затем результаты сравнивают по заранее выбранной метрике.

Главное слово здесь — случайно. Если вариант B показать только новым пользователям, а A — постоянным, мы сравним не интерфейсы, а аудитории.

Microsoft описывает A/B-тест как статистический эксперимент с контрольной и тестовой группами. При корректной рандомизации разница между ними помогает оценить причинный эффект изменения.

Когда A/B-тест подходит, а когда нет

Эксперимент полезен, когда:

• есть достаточно повторяющегося трафика или операций;
• можно одновременно показать два варианта сопоставимым группам;
• результат измеряется понятным событием;
• изменение безопасно и этично;
• команда готова оставить тест в покое до заранее заданной точки анализа.

Если компания получает пять крупных сделок в квартал, классический тест лендинга будет идти очень долго. Здесь полезнее интервью, анализ звонков или последовательный пилот. Не каждый вопрос обязан превращаться в A/B-тест (и это нормально).

Как провести AB-тест: что зафиксировать до запуска

1. Гипотезу. Какое изменение, для кого и почему должно повлиять на поведение.
2. Единицу рандомизации. Пользователь, компания, магазин, заявка или другой объект.
3. Основную метрику. Одну, по которой принимается решение.
4. Защитные метрики. Например, возвраты, ошибки, маржа или обращения в поддержку.
5. Минимальный полезный эффект. Самая маленькая разница, ради которой изменение имеет смысл внедрять.
6. Выборку и срок. Их считают до старта с учётом базовой конверсии и желаемой чувствительности.
7. Правило решения. Что делаем при росте, отсутствии эффекта и противоречивых метриках.

Чем больше решений принято заранее, тем меньше соблазн договориться с результатом постфактум.

Размер выборки для AB-теста

Размер выборки зависит от базовой конверсии, минимального эффекта, уровня значимости и статистической мощности. Поэтому ответа «всем нужно по тысяче пользователей» нет.

Допустим, текущая конверсия — 5%. Бизнесу интересно изменение хотя бы на 0,5 процентного пункта, то есть до 5,5%. Для такой небольшой разницы понадобится намного больше наблюдений, чем для роста до 8%.

Я сначала обсуждаю с собственником минимальный полезный эффект. Если дополнительные продажи принесут меньше, чем разработка и поддержка варианта, обнаруживать микроскопическую разницу незачем.

Калькулятор выборки — инструмент, а не оракул. После расчёта проверьте сезонность, недельный цикл и скорость накопления событий. Тест на четыре часа может собрать много кликов и совсем не увидеть повторные покупки.

Подробный пример с числами

Интернет-сервис тестирует новый экран оплаты. В каждой группе по 20 000 пользователей.

• Вариант A: 1 000 покупок, конверсия 5,0%.
• Вариант B: 1 100 покупок, конверсия 5,5%.

Абсолютный рост: 5,5% − 5,0% = 0,5 процентного пункта.

Относительный рост: 0,5 ÷ 5,0 × 100% = 10%.

Это два корректных описания одной разницы, но звучат они по-разному. Поэтому в отчёте показываем оба.

Для этих чисел приближённый 95%-й доверительный интервал разницы составляет примерно от 0,06 до 0,94 процентного пункта. Ноль в интервал не попадает, а двусторонний p-value получается около 0,025. Разница статистически заметна при уровне 0,05.

Теперь бизнес-часть. Вариант B дал 100 дополнительных покупок на 20 000 пользователей. Если маржа с покупки — 800 рублей, дополнительная маржа составила 80 000 рублей на таком объёме. Реализация и поддержка стоят 25 000 рублей. Выглядит интересно.

Но защитная метрика показывает: возвраты выросли с 3% до 5%. Значит, выкатывать вариант на всех рано. Нужно понять, почему люди чаще отменяют покупку.

P-value в AB-тесте и доверительный интервал AB-теста

P-value отвечает на узкий вопрос: насколько необычна наблюдаемая разница, если в реальности эффекта нет. Он не показывает вероятность того, что вариант B «точно лучший».

Доверительный интервал полезнее для решения. Он показывает диапазон правдоподобных значений эффекта. Если диапазон от +0,06 до +0,94 пункта, бизнес должен быть готов и к маленькому эффекту у нижней границы.

Статистическая значимость говорит, что разницу трудно объяснить одним случайным шумом при выбранной модели. Практическая значимость отвечает: достаточно ли эта разница велика, чтобы менять продукт, процесс или рекламу.

Когда заканчивать AB-тест

Не тогда, когда график впервые стал зелёным. До запуска задайте минимальную выборку и минимальный срок, который покрывает рабочий цикл.

Если поведение понедельника отличается от выходных, тест должен увидеть полную неделю. Для подписки важен более длинный горизонт: быстрая активация может сочетаться с худшим удержанием через две недели.

Firebase для типичного Remote Config-эксперимента рекомендует учитывать достаточный объём данных и репрезентативность периода; в документации указан ориентир минимум две недели. Это не универсальный закон для любого бизнеса, а напоминание, что скорость накопления событий и поведенческий цикл важнее желания закрыть задачу к пятнице.

После достижения плана не растягивайте эксперимент бесконечно в надежде получить приятную цифру. Если доверительный интервал показывает, что полезный эффект маловероятен, это тоже результат. Команда сэкономила время на слабой идее.

Что делать с несколькими метриками

У эксперимента может быть много показателей, но основную метрику выбирают одну. Иначе после теста легко найти случайную победу хотя бы где-нибудь.

Остальные метрики делятся на диагностические и защитные. Диагностические объясняют путь: увидел, нажал, начал, закончил. Защитные не дают улучшить основную цель ценой качества, маржи или стабильности.

Например, тест нового оформления заказа оценивается по завершённым покупкам. Рядом смотрим средний чек, возвраты, ошибки оплаты и обращения. Если покупок стало больше, а маржа снизилась из-за скидки, бизнес-решение не помещается в одну конверсию.

Сегменты тоже планируют заранее. Мобильные и десктопные пользователи могут реагировать по-разному, но разбирать сотню случайных срезов после теста — прямой путь к красивым совпадениям.

Что проверить до чтения результата

Sample Ratio Mismatch

Если планировали разделить пользователей 50/50, а получили 60/40, сначала ищем ошибку распределения или сбора данных. Microsoft рекомендует проверять SRM статистическим тестом, а не просто смотреть на проценты.

Однозначность варианта

Один пользователь не должен прыгать между A и B. Иначе его поведение смешает результаты.

Полнота событий

Проверьте пропуски, дубли, задержки и время события. Идеальная статистика на сломанном событии всё равно остаётся статистикой сломанного события.

Изменения во время теста

Если посередине переделали вариант, начался большой промо-период или изменилось таргетирование, это фиксируют и учитывают в решении.

Как интерпретировать AB-тест: мой рабочий подход

Сначала спрашиваю: какое решение примем при каждом исходе? Если при любом результате команда всё равно хочет внедрить вариант, эксперимент пока не нужен.

Потом связываем продуктовую метрику с деньгами. Для формы заявки это не только отправка формы. Я добавляю квалификацию лида, продажу, маржу и скорость обработки. Маркетолог получает основную метрику, продажи — ограничение по качеству, собственник — понятный денежный сценарий.

Во время теста команда следит за техническим здоровьем, но не объявляет победителя каждое утро. В конце сверяем план анализа, интервал эффекта и защитные показатели. После внедрения оставляем контрольный мониторинг: реальная жизнь любит продолжения.

Типичные ошибки AB-тестирования

• тестировать сразу несколько крупных изменений и не понимать причину эффекта;
• останавливать эксперимент в первый удачный день;
• выбирать главную метрику после просмотра результата;
• искать победу среди десятков сегментов без поправки на множественные проверки;
• игнорировать SRM и качество событий;
• путать статистическую заметность с прибылью;
• обобщать результат на аудиторию, которая в тест не попадала.

Что сделать прямо сейчас

Запишите одну гипотезу в формате: «Если изменить X для аудитории Y, метрика Z изменится минимум на M, потому что…». Рядом укажите защитную метрику и срок решения.

Если хотите проверить эксперимент на данных продукта, рекламы или продаж, напишите. Я помогу собрать схему событий, расчёт эффекта и правило решения так, чтобы тест отвечал на бизнес-вопрос.

Первичные источники

• Firebase: About A/B tests — выборка, p-value, доверительные интервалы и продолжительность эксперимента.
• Microsoft Experimentation Platform: Experimentation and the North Star Metric — контроль, вариант и причинная логика эксперимента.
• Microsoft Research: Diagnosing Sample Ratio Mismatch — проверка корректности распределения групп.