«Кажется, если перекрасить кнопку в зелёный, продажи вырастут».
Это пока не аналитическая гипотеза. Это мысль, которая бодро вошла в переговорку без документов.
Как формулировать гипотезы по данным
У рабочей гипотезы есть пять частей:
- что именно меняем;
- для какой аудитории;
- какой результат ждём;
- какой показатель это покажет;
- когда подводим итог.
Например: «Если новым клиентам после оплаты отправить короткий план запуска, то доля активировавшихся за семь дней вырастет». Уже понятно, что делать и что смотреть.
Одна главная метрика лучше десяти удобных
До запуска выберите основной показатель. Дополнительные метрики нужны, чтобы не улучшить одно ценой другого.
Например, новая форма может дать больше заявок, но хуже по качеству. Значит, рядом с конверсией смотрим хотя бы квалификацию или продажи.
Проверка бизнес-гипотез — это не только «да» и «нет»
Результат бывает трёх видов: гипотеза подтверждена, не подтверждена или данных пока недостаточно.
Последний вариант — нормальный. Ненормально менять объяснение после результата: «Вообще-то мы имели в виду другую аудиторию». Поэтому условия фиксируются заранее.
Что такое аналитическая гипотеза простыми словами
Аналитическая гипотеза — это проверяемое предположение о том, какое изменение даст бизнесу измеримый результат. Не «давайте улучшим продажи», а «если сократим срок подготовки предложения с трёх дней до одного, то конверсия из расчёта в договор вырастет».
В хорошей формулировке уже видны действие, аудитория, показатель и срок. Команда понимает, какие данные собрать и что будет считаться результатом. Если после запуска можно объяснить любой исход, гипотеза пока слишком удобная (а значит, бесполезная).
Сделайте короткую карточку гипотезы
Для работы достаточно одной карточки из девяти полей:
- проблема или наблюдение;
- что именно меняем;
- для какого сегмента;
- главная метрика;
- показатель-предохранитель;
- текущее значение;
- ожидаемый эффект;
- срок проверки;
- решение после результата.
Текущее значение особенно важно. Если мы не знаем базовую конверсию, фраза «вырастет на 20%» висит в воздухе. Сначала измеряем обычный уровень, затем обещаем изменение.
Как выбрать, что проверять первым
Я сравниваю гипотезы по трём параметрам: возможный денежный эффект, уверенность в причине и стоимость проверки. Можно поставить каждому параметру оценку от 1 до 5 и разделить сумму эффекта и уверенности на сложность.
Это не научная формула и не конкурс красоты для идей. Она нужна, чтобы команда не тратила месяц на дорогую доработку, когда рядом есть вопрос, который проверяется за неделю на готовых данных.
Например, изменение формы сайта может затронуть тысячи посетителей, но потребовать разработки. Новый порядок ответа на заявки запускается завтра, зато влияет только на один этап. Оценки помогают спокойно сравнить варианты и записать, почему выбран именно этот.
Как построить проверку
Лучший вариант — одновременно сравнить две сопоставимые группы: одна получает изменение, другая работает как обычно. Распределение должно происходить по понятному правилу, а не так, что опытным менеджерам досталась новая схема, а новичкам — старая.
Если параллельный тест невозможен, используйте сравнение до и после, но проверьте сезонность, каналы, цены и состав клиентов. Рост в декабре после ноябрьского запуска может быть заслугой подарочного сезона, а не кнопки.
До старта зафиксируйте длительность. Не останавливайте эксперимент в первый хороший день. Короткие колебания умеют очень убедительно изображать закономерность.
Подробный пример с числами
Возьмём условный сервис. Из 1 000 новых клиентов за семь дней запускаются 400. Базовая активация — 40%. Команда предполагает, что короткий план после оплаты поможет клиенту быстрее начать работу.
Половина клиентов получает новый план, половина — обычное письмо. В первой группе активировались 225 из 500, во второй — 200 из 500.
Активация теста = 225 ÷ 500 × 100% = 45%.
Активация контроля = 200 ÷ 500 × 100% = 40%.
Разница — 5 процентных пунктов, или 25 дополнительных активаций на 500 клиентов. Если одна активация в среднем даёт 3 000 рублей маржи за выбранный горизонт, возможный вклад — 75 000 рублей до стоимости подготовки и отправки материалов.
Вывод пока звучит так: в этой выборке новая схема связана с лучшим результатом. Перед полным запуском нужно проверить, достаточно ли наблюдений, не различались ли группы и не ухудшились ли возвраты или обращения в поддержку.
Типичные ошибки проверки
- менять сразу форму, цену и рекламный канал, а эффект приписывать одному изменению;
- выбирать метрику после того, как увидели данные;
- сравнивать новых клиентов с постоянными;
- не учитывать задержку между действием и покупкой;
- объявлять отсутствие результата провалом, хотя данных просто мало;
- смотреть только среднее и не проверять сегменты.
Ещё одна ловушка — проверять красивую метрику вместо бизнес-результата. Клики могут вырасти, а оплаченные заказы — нет. Поэтому у гипотезы должна быть цепочка от раннего сигнала до денег.
Зачем хранить журнал решений
После теста сохраните исходную формулировку, период, данные, результат и решение. Через полгода команда увидит, что уже проверяли и при каких условиях. Это защищает от бесконечного возвращения идеи «а давайте всё-таки сделаем кнопку зелёной».
Результат не обязан быть положительным. Неподтверждённая гипотеза может сэкономить бюджет и подсказать новую причину. Важно записать, что именно узнали и какой следующий вопрос появился.
Порядок работы на одну неделю
- Выбрать одну заметную проблему и измерить базовый уровень.
- Записать изменение, аудиторию и ожидаемый эффект.
- Определить главную метрику и предохранитель.
- Собрать сопоставимые группы или честный период сравнения.
- Запустить проверку без дополнительных изменений.
- Посчитать эффект и стоимость.
- Принять одно решение: внедрить, остановить или собрать ещё данные.
Когда данных достаточно
Универсального числа участников нет. Оно зависит от обычной конверсии, ожидаемого изменения и разброса. Разница 40% против 41% требует намного больше наблюдений, чем 40% против 55%.
До запуска полезно оценить необходимый объём с аналитиком или калькулятором статистической мощности. Если поток маленький, не обещайте вывод за три дня. Можно увеличить срок, проверить более ранний сигнал или выбрать изменение с крупным ожидаемым эффектом.
И не путайте «разницы не обнаружили» с «варианты одинаковые». Возможно, выборка мала или показатель слишком шумный. Честная формулировка — данных недостаточно, чтобы подтвердить выбранный эффект.
Сегменты проверяйте после общего результата
Иногда общий эффект близок к нулю, потому что одним клиентам изменение помогло, другим помешало. Посмотрите заранее выбранные сегменты: новый или повторный клиент, устройство, продукт, источник.
Не режьте данные на двадцать групп после теста в поисках красивой цифры. Чем больше случайных сравнений, тем выше шанс найти победителя просто по удаче. Важный сегмент лучше превратить в следующую отдельную гипотезу.
Как перевести результат в деньги
После изменения метрики посчитайте масштаб. Дополнительная конверсия умножается на реальный поток, средний результат и маржу. Затем вычитаются разработка, скидки, коммуникация и поддержка.
Условно рост конверсии на 2 процентных пункта при 5 000 клиентах даёт около 100 дополнительных действий. Если маржа одного результата 800 рублей, потенциальный вклад — 80 000. Доработка за 200 000 окупится не за одну такую группу. Это не отменяет идею, но меняет решение о сроке и масштабе.
Практический подход Павла
Я не начинаю с большого списка экспериментов. Сначала беру один заметный разрыв в деньгах, проверяю качество исходных данных и вместе с владельцем процесса формулирую причину.
Маркетолог получает аудиторию и метрику, продажи — изменение процесса, собственник — возможный денежный эффект и срок. После теста мы не спорим, «понравился» ли результат, а выбираем следующее действие по заранее записанному правилу.
Перед масштабированием я повторно проверяю исходные данные и цену внедрения. Иногда тест выигрывает по метрике, но требует столько ручной работы, что экономика не сходится. Тогда мы упрощаем решение или оставляем его только для дорогого сегмента. Гипотеза считается полезной, когда помогает принять такое решение, а не просто выдаёт зелёную стрелку.
Как мы ведём гипотезы
Я собираю идеи от собственника и команды в один список. Для каждой считаем возможный эффект, сложность и качество данных. Сначала берём те, где можно быстро получить полезный ответ.
После проверки сохраняем вывод: что изменили, что произошло и что делаем дальше. Даже отрицательный результат полезен — он экономит следующий бюджет.
Если идей много, а проверяются они «на глаз», можно собрать лёгкий процесс без научной кафедры. Кнопка ниже — чтобы обсудить его со мной.