Рекламный кабинет показывает сто покупок. Отлично. Но сколько из них произошло именно из-за рекламы? Часть людей уже знала бренд, собиралась купить или пришла бы по другому каналу.
Инкрементальность отвечает на более строгий вопрос: что реклама добавила сверх того, что случилось бы без неё. Для этого нужен не ещё один способ распределить заслугу, а контрольная группа.
Что это такое простыми словами
Тестовая группа видит рекламу или изменение. Контрольная группа живёт без него. Если группы сопоставимы, разницу в результате можно связать с воздействием — с учётом статистической неопределённости.
Это отличается от атрибуции. Атрибуция может приписать покупку последнему клику. Инкрементальный тест спрашивает, появилась ли дополнительная покупка вообще.
Идеального «параллельного мира» нет, поэтому качество дизайна решает всё. Случайное распределение пользователей или аккуратный геоэксперимент помогают построить разумную замену.
Зачем это бизнесу
Инкрементальность полезна там, где брендовый спрос, повторные покупки и несколько каналов пересекаются. Канал может красиво собирать уже готовых клиентов и выглядеть эффективнее, чем есть.
Результат теста помогает оценить дополнительную стоимость продажи, а не только атрибутированную. На этой основе легче решать, увеличивать бюджет, оставлять его или переносить.
Но тест имеет цену: часть аудитории не получает воздействие, а бизнес ждёт накопления данных. Поэтому тестируют решения, которые способны изменить бюджет, а не цвет маленькой кнопки ради спортивного интереса.
Как сделать: пошаговый порядок
- Сформулируйте гипотезу одним изменением и выберите основную бизнес-метрику до запуска.
- Определите единицу эксперимента: пользователь, регион, магазин или период. Проверьте, что группы не влияют друг на друга.
- Оцените необходимый объём и длительность с учётом базовой конверсии и задержки покупки.
- Случайно разделите аудиторию или подберите сопоставимые регионы. Сверьте показатели до теста.
- Во время теста не меняйте одновременно креатив, ставки, посадочную и правила учёта.
- После завершения посчитайте абсолютный прирост, относительный lift, доверительный интервал и экономику.
Формула или логика расчёта
Упрощённо: абсолютный lift = конверсия теста − конверсия контроля. Относительный lift = (конверсия теста − конверсия контроля) ÷ конверсия контроля × 100%. Дополнительные конверсии получают, применяя разницу к размеру сопоставимой аудитории. Для решения обязательно учитывают неопределённость оценки.
Подробный пример с числами
В тестовой группе 50 000 пользователей увидели рекламу, 1 500 купили: конверсия 3%. В контрольной группе из 50 000 пользователей купили 1 250: конверсия 2,5%.
Абсолютный lift равен 0,5 процентного пункта. Относительный — 20%. Разница составляет 250 дополнительных покупок на тестовую группу. Если реклама стоила 500 000 рублей, инкрементальная стоимость покупки — 2 000 рублей.
В кабинете при этом могло быть 1 400 атрибутированных покупок и CPA 357 рублей. Это не значит, что кабинет ошибается: он отвечает на другой вопрос. Для бюджета важнее понять, выдерживают ли 2 000 рублей маржу и будущую ценность клиента.
Если доверительный интервал широкий и включает нулевой эффект, честный вывод — данных пока недостаточно. «Почти получилось» не отдельный статистический метод (жаль, иногда был бы удобен).
Как интерпретировать результат без поспешных выводов
Сначала посмотрите не на относительный lift, а на абсолютную разницу и объём. Рост с 0,1% до 0,2% — это плюс 100%, но при тысяче наблюдений речь идёт об одной дополнительной конверсии. Бизнес-решение требует и эффекта, и уверенности, и экономики.
Затем проверьте баланс групп до запуска: размер, базовую конверсию, средний чек, регионы и прошлую активность. Случайное распределение обычно помогает, но при малом объёме различия всё равно могут возникнуть. Их нужно увидеть до того, как результат понравился.
Учитывайте задержку. Если от рекламы до оплаты проходит 20 дней, завершение показа не означает завершение измерения. Дайте поздним конверсиям приехать и применяйте одно окно к обеим группам. Иначе быстрая группа окажется «победителем» только потому, что мы раньше закрыли таблицу.
Посчитайте дополнительную маржу: инкрементальные покупки × маржа на покупку − расходы на рекламу и эксперимент. Если 250 покупок дали по 3 500 рублей маржи, дополнительная маржа до рекламы — 875 тысяч. При расходах 500 тысяч остаётся 375 тысяч до прочих затрат.
Не переносите lift автоматически на двойной бюджет. Новые показы могут попасть в менее готовую аудиторию, частота вырастет, а аукцион подорожает. Масштабирование лучше делать ступенями и повторно смотреть предельный эффект.
Если тест не дал определённого ответа, сохраните результат. Он помогает оценить шум и спроектировать следующий эксперимент. Отсутствие доказанного эффекта — не доказательство отсутствия эффекта, но и не разрешение объявить победу.
Короткий чек-лист
- гипотеза до запуска
- одна основная метрика
- сопоставимость групп
- окно задержки конверсии
- доверительный интервал
- инкрементальная маржа и решение
Как превратить расчёт в решение
Выбор единицы эксперимента влияет на вывод. Пользовательский тест точнее разделяет аудиторию, но требует идентификации. Геотест проще для офлайн-продаж, зато регионы труднее сделать сопоставимыми. Временной тест уязвим к сезонности. Запишите компромисс заранее.
До запуска проверьте минимально полезный эффект. Если бизнес готов менять бюджет только при снижении инкрементальной стоимости на 15%, тест должен иметь шанс различить именно такой эффект. Иначе можно получить статистически интересный, но управленчески бесполезный результат.
Следите за исполнением воздействия. Не все участники тестовой группы увидят рекламу, а часть контроля может встретить бренд в другом канале. Зафиксируйте эти пересечения и не называйте эксперимент идеальным.
После теста храните карточку: гипотеза, даты, группы, изменения, результат и решение. Через полгода она защитит команду от повторения того же опыта и поможет выбрать следующий бюджетный вопрос.
Что должно быть зафиксировано
- единица рандомизации
- минимально полезный эффект
- фактическое воздействие
- пересечения каналов
- карточка решения после теста
Рабочий план на четыре недели
Пилот нужен не ради ещё одного файла. За месяц команда должна получить воспроизводимый расчёт, увидеть ограничение и принять хотя бы одно решение. Объём специально небольшой: один сегмент, один процесс и один ответственный. Так результат можно проверить, а не объяснять масштабом.
- Неделя 1: выберите бюджетное решение, одну гипотезу, основную метрику и минимально полезный эффект.
- Неделя 2: подготовьте группы, проверьте их базовые характеристики, окно конверсии и чистоту воздействия.
- Недели 3–6: ведите тест без параллельных изменений, записывая отклонения от дизайна.
- После окна наблюдения: посчитайте lift, неопределённость, инкрементальную маржу и заранее обещанное решение.
Перед стартом сохраните исходные значения, правила и дату. После каждого этапа записывайте не только итог, но и время команды, ручные действия и найденные ошибки. В конце сравните результат с исходной точкой и решите: расширяем подход, дорабатываем конкретное место или спокойно закрываем гипотезу. Любой из трёх ответов полезен, если он подтверждён данными.
Назначьте короткую встречу через неделю после пилота. На ней нужен один экран: что изменили, что получилось, где ограничение и какое действие приняли. Если ответ нельзя уместить на одном экране, скорее всего, пилот пытался решить слишком много задач одновременно.
Хороший пилот оставляет после себя рабочий артефакт: проверенную формулу, карту данных, правило процесса или прототип. Назначьте владельца и дату следующей проверки. Без этого даже удачный результат быстро становится презентацией, которую все помнят примерно, а повторить уже не могут (так себе наследство).
Сразу договоритесь о границе масштабирования. Запишите, какой результат считается достаточным, сколько ручной работы допустимо и что должно произойти, чтобы подключить следующий источник, отдел или сегмент. Это защищает от двух крайностей: бесконечного пилота без внедрения и слишком быстрого развёртывания сырого решения на всю компанию. Перед расширением повторите контрольный расчёт на новом участке и убедитесь, что правила не потеряли смысл.
И ещё: сохраните один неудачный пример. Он лучше общей инструкции показывает команде, где метод перестаёт работать, какое ограничение нужно проверить и почему автоматический вывод нельзя принимать без контекста.
Рядом с неудачным примером запишите способ ручной сверки и человека, который принимает решение в спорной ситуации. Тогда исключение не остановит весь процесс и не превратится в новую тайную формулу, известную одному сотруднику.
Ограничения и типичные ошибки
- Группы могут пересекаться: человек увидит рекламу на другом устройстве или в другом регионе.
- Сезонность и параллельные акции искажают сравнение, если затрагивают группы по-разному.
- Редкие покупки требуют большого объёма и длинного наблюдения.
- Не останавливайте тест в удачный день. Правила длительности и анализа фиксируют заранее.
- Один тест измеряет эффект в конкретных условиях. При сильном изменении бюджета результат может не масштабироваться линейно.
Как мы используем это в работе
Я начинаю с решения: какой бюджет изменится, если эффект подтвердится? Затем вместе с маркетологом выбираем одну гипотезу, а с собственником — допустимую инкрементальную стоимость результата.
До запуска сверяем CRM, оплаты и окно конверсии. После теста отдаём маркетингу не только lift, но и границу бюджета. Собственник видит дополнительную маржу, а не соревнование двух отчётов.
Если реклама выглядит эффективной, но непонятно, что она реально добавляет, можно собрать дизайн теста на ваших данных. Кнопка ниже — чтобы обсудить его со мной.
Что сделать прямо сейчас
Выберите один канал с заметным бюджетом и запишите: гипотеза, контроль, основная метрика, минимально полезный эффект, длительность и решение после результата. Если эти шесть строк не сходятся, тест пока рано запускать.
