Холдаут и гео-эксперименты: как проверить рекламу экспериментом, а не атрибуцией

Почти каждый отчёт по рекламе построен на молчаливом допущении: если после клика была продажа, значит, реклама её и принесла. Но клиент, который уже собирался купить, всё равно кликнет по вашему объявлению — и вы запишете эту продажу себе, хотя она случилась бы и без единого рубля бюджета. Атрибуция отвечает на вопрос «кому засчитать заявку». Совсем другой вопрос — «сколько продаж не случилось бы без этой рекламы» — она не решает в принципе. На него отвечает только эксперимент: контрольная группа, которой рекламу не показывают, и честное сравнение с ней.

Эта статья — практическое руководство. Она про то, как устроен контроль, как выбрать регионы-близнецы, какой длины должен быть тест, что такое минимальный обнаружимый эффект и почему для маленькой компании честный эксперимент — роскошь. И отдельно, без прикрас, про то, что делать, когда денег на эксперимент нет.

Почему без контрольной группы цифры врут

Представьте, что вы запустили новую рекламную кампанию и через месяц выручка выросла. Логичный вывод — реклама сработала. Но у этого вывода нет фундамента: вы сравниваете «после» с «до», то есть себя сегодняшнего с собой прошлым. А между этими двумя точками изменилось не только наличие рекламы. Сменился сезон, конкурент поднял цены, вышла статья в отраслевом канале, закончились новогодние праздники. Всё это тоже двигает выручку — и вы не знаете, какая часть роста ваша.

Контрольная группа снимает эту неопределённость. Это часть аудитории или часть регионов, которые живут в тех же условиях, что и остальные — тот же сезон, те же цены, тот же рынок, — но рекламу вашей кампании не видят. Разница между тестовой группой (реклама есть) и контрольной (рекламы нет) и есть чистый вклад рекламы. Всё, что повлияло на обе группы одинаково, вычитается автоматически. Это и называется приростом, или инкрементальностью.

Без контрольной группы вы измеряете не эффект рекламы, а совпадение рекламы с хорошим месяцем.

Ключевое слово — «одинаковые условия». Контроль работает ровно настолько, насколько тестовая и контрольная группы похожи во всём, кроме наличия рекламы. Если тестовые регионы богаче или контрольные — это курортная зона в разгар сезона, сравнение сломано ещё до старта. Поэтому половина успеха эксперимента решается ещё до всякой математики — на этапе, где вы честно подбираете, что с чем сравнивать.

Два способа построить контроль: холдаут и гео

Разделить аудиторию на тест и контроль можно по-разному. Два рабочих подхода — холдаут по людям и эксперимент по регионам. Они решают одну задачу, но применимы в разных ситуациях.

Холдаут: контрольная группа из людей

Холдаут (от англ. holdout — «придержанные») — это когда рекламная система показывает объявления всем, кроме заранее выделенной случайной доли пользователей. Эти люди — ваша контрольная группа: они в той же базе, того же профиля, но рекламу не видят. Через какое-то время вы сравниваете, сколько купили в группе с рекламой и сколько — в придержанной. Разница на человека, умноженная на всю аудиторию, и есть прирост.

Холдаут точен, потому что деление случайное на уровне отдельных людей — группы получаются максимально похожими. Но у него есть жёсткое условие: платформа должна уметь надёжно узнавать пользователя и последовательно не показывать ему рекламу. В мире, где cookie отмирают, а один человек ходит с телефона, ноутбука и рабочего компьютера, это узнавание сбоит. Часть контрольной группы всё равно увидит рекламу с другого устройства — и граница между тестом и контролем размывается.

Гео-эксперимент: контроль из регионов

Гео-эксперимент (geo-lift) решает эту проблему радикально: делит он по географии, а не по людям. Одни регионы получают рекламу (тестовые), другие — нет (контрольные). Вам не нужно узнавать конкретного пользователя: вы просто не откручиваете кампанию в контрольных областях. Поэтому гео-подход не зависит от cookie и идентификаторов и работает там, где до отдельного человека вы вообще не дотягиваетесь — например, для наружной рекламы, ТВ, радио или охватных кампаний.

Плата за это — грубость. Регионы никогда не бывают идеальными близнецами: в одном выше доходы, в другом — свой локальный конкурент. И единиц сравнения мало: десятки областей вместо миллионов пользователей. Поэтому гео-эксперимент требует аккуратного подбора пар и, как правило, более заметного эффекта, чтобы его вообще можно было различить на фоне естественного разброса между регионами.

Как выбрать регионы-близнецы

Качество гео-эксперимента закладывается в момент, когда вы решаете, какие регионы тестовые, а какие контрольные. Цель — чтобы до старта обе группы вели себя одинаково. И речь тут не про «примерно похожи по населению». Нужно, чтобы в прошлом они синхронно двигались по вашей ключевой метрике.

• Сравнивайте историю, а не паспорта регионов. Смотрите на динамику продаж или заявок за прошлые месяцы, а численность населения оставьте в стороне. Хорошая пара — регионы, чьи графики шли параллельно, даже если сами по себе они разного размера.
• Ищите синхронность, а не равенство. Регион вдвое крупнее подойдёт в пару, если его продажи растут и падают в те же недели. Масштаб можно нормировать, а вот разный характер спроса — нет.
• Отсекайте аномальные территории. Столица, единственный город с офлайн-точкой, курорт с сезонным всплеском — такие регионы искажают сравнение. Либо исключайте их, либо ставьте только в пару с себе подобным.
• Проверяйте, что каналы не пересекаются географически. Если ТВ или блогер бьют на всю страну, «чистого» контрольного региона не будет — реклама дотянется и туда.
• Закладывайте несколько регионов в каждую группу. Один тестовый против одного контрольного — это ставка на то, что именно в этой паре ничего не случится. Несколько регионов усредняют локальные случайности.

Хорошая практика — проверить пары на «плацебо-периоде»: взять прошлый отрезок, когда реклама шла одинаково везде, и убедиться, что выбранные тест и контроль тогда действительно двигались вместе. Если и без всякого вмешательства между ними была большая разница, эта пара не годится — она добавит шум, который вы примете за эффект.

Сколько длится тест и почему нельзя останавливать раньше

Самый частый способ испортить хороший эксперимент — прекратить его в тот момент, когда цифры стали приятными. Это называется проблемой подглядывания, и она коварнее, чем кажется.

Любые данные шумят. В первые дни теста разница между группами скачет случайно: сегодня тест впереди, завтра контроль. Если смотреть на результат каждый день и остановиться, как только увидели красивую цифру, вы почти гарантированно поймаете случайный всплеск и объявите его победой. Тест, который «показал эффект» на третий день, чаще показывает лишь то, что вы дождались удачного дня. Правило простое: длину и момент подведения итогов определяют до старта, и до этой точки промежуточные цифры не трогают.

Эксперимент, который можно остановить в любой удобный момент, доказывает только удобство момента.

От чего зависит длина? Прежде всего — от цикла сделки. Если между первым касанием и покупкой у вас проходит два-три месяца, четырёхнедельный тест физически не успеет увидеть продажи, которые эта реклама породила: они случатся уже после его окончания. Для короткого цикла (импульсная покупка, e-commerce) неделя-две могут быть достаточны; для длинного B2B-цикла честный тест идёт кварталами. Второй фактор — накопление данных: нужно дождаться, пока в каждой группе наберётся достаточно наблюдений, чтобы разница перестала быть случайной. Поэтому универсального «тест длится четыре недели» не существует — это всегда производная от вашего цикла и вашего объёма.

Минимальный обнаружимый эффект: доступен ли вам тест вообще

Прежде чем ставить эксперимент, стоит ответить на неудобный вопрос: а хватит ли у вас данных, чтобы вообще что-то увидеть? Здесь появляется минимальный обнаружимый эффект (MDE, minimum detectable effect) — наименьший прирост, который ваш тест способен отличить от случайного шума при вашем объёме продаж.

Логика такая. Чем меньше наблюдений, тем сильнее естественный разброс, и тем крупнее должен быть эффект, чтобы его было видно на фоне этого разброса. Если у вас десять продаж в неделю, разница в одну-две продажи между группами — это обычные колебания, а не сигнал: чтобы такой тест что-то доказал, реклама должна поднимать продажи в разы, чего почти не бывает. Это и есть ловушка малого бизнеса: MDE оказывается выше реалистичного эффекта рекламы, а значит, тест не сможет его подтвердить, даже если эффект есть.

Практический вывод — считать MDE до запуска, а не после. Если оценка показывает, что уловить можно только неправдоподобно большой прирост, честный эксперимент вам сейчас не по карману: вы потратите бюджет на контрольную группу (недополученные продажи — тоже цена) и получите неопределённый результат. Лучше признать это заранее и выбрать другой инструмент, чем провести тест, который в принципе не мог дать ответа.

• Мало данных → высокий MDE → нужен крупный эффект, чтобы его заметить → тест часто бессмыслен.
• Много данных → низкий MDE → видны даже скромные приросты → тест информативен.
• Слишком большой холдаут экономит статистику, но дороже стоит: вы дольше и шире не показываете рекламу платящей аудитории. Размер контроля — это баланс между точностью и упущенной выручкой, а не фиксированный процент.

Пошаговый план эксперимента

Порядок важен: половина шагов делается до того, как открутится хоть один показ. Именно эта подготовка отличает доказательство от самообмана.

1. 01
   Потребуйте сформулировать гипотезу и метрику заранее

   Один канал, один вопрос: «даёт ли эта реклама прирост продаж». Проследите, чтобы команда заранее зафиксировала главную метрику — продажи, а не клики — и договорилась, какой результат считается успехом. Критерий успеха, придуманный уже после просмотра данных, обесценивает весь тест.

2. 02
   Спросите у подрядчика оценку MDE и посильность теста

   Пусть по историческому объёму прикинут, какой минимальный прирост вы вообще способны различить. Если он больше реалистичного эффекта — остановитесь здесь и переходите к разделу про альтернативы. Лучше не начинать, чем слить бюджет на заведомо неопределённый результат.

3. 03
   Добейтесь подбора групп и проверки их на прошлом

   Для гео — регионы-близнецы по синхронности динамики; для холдаута — случайная доля аудитории. Обязательно потребуйте проверку на плацебо-периоде: до вмешательства группы должны были вести себя одинаково.

4. 04
   Утвердите длительность по циклу сделки

   Тест должен покрыть хотя бы один полный цикл от касания до покупки плюс запас. Дату подведения итогов вы назначаете сейчас — и до неё промежуточные цифры не трогает никто.

5. 05
   Добейтесь, чтобы всё остальное заморозили

   На время теста другие каналы, цены, акции и посадочные страницы не меняют — по возможности одинаково в обеих группах. Любое изменение, задевшее только одну группу, подмешается к эффекту рекламы и сделает вывод недостоверным.

6. 06
   Проследите, чтобы запустили и не подглядывали

   Реклама идёт в тестовой группе, в контрольной — нет. Смотреть надо за технической исправностью (открутка, расходы), а не за промежуточным «кто побеждает»: соблазн остановиться на удачном дне и есть главный враг честного теста.

7. 07
   Потребуйте итог в назначенную дату и решение по нему

   Пусть сравнят метрику между группами, оценят, отличается ли разница от обычного шума, и переведут прирост в деньги: сколько дополнительных продаж на вложенный рубль. Это и есть ответ, которого не даст ни один дашборд атрибуции.

Типичные ошибки, которые обнуляют результат

Эксперимент хрупок: одна незамеченная деталь превращает доказательство в красивую, но пустую цифру. Вот что ломает тесты чаще всего.

• Утечка между группами. Контрольный пользователь увидел рекламу с другого устройства; сарафанное радио перенесло эффект из тестового региона в соседний контрольный. Граница размывается, прирост занижается. Гео-подход снижает риск, но не отменяет его для каналов с широким охватом.
• Изменение других каналов во время теста. Параллельно запустили акцию, обновили сайт, усилили email — и теперь непонятно, что именно сработало. Во время эксперимента остальную систему держат неподвижной.
• Слишком короткий период при длинном цикле. Тест закрыли через две недели, а сделки в этой нише зреют два месяца. Вы измерили только быстрых покупателей и записали хороший канал в неэффективные.
• Подглядывание и досрочная остановка. Прекратили тест на первом приятном числе — зафиксировали случайный всплеск, а не эффект.
• Плохая пара регионов. Тест и контроль изначально жили по-разному: один рос, другой падал. Их расхождение вы примете за работу рекламы, хотя оно было бы и без неё.
• Метрика-обманка. Считаете клики или показы вместо продаж. Прирост кликов почти всегда есть — вопрос в том, добавились ли деньги.

Что делать, когда эксперимент не по карману

Честный ответ: для многих компаний среднего и особенно малого размера полноценный эксперимент недоступен — не хватает объёма, чтобы MDE опустился ниже реального эффекта, или цена контрольной группы (недополученные продажи) слишком велика. Притворяться, что тест возможен, — значит слить бюджет на неопределённость. Разумнее взять более слабые, но посильные инструменты и честно проговорить их ограничения.

Первый вариант — сравнение по регионам постфактум. Вы не назначали группы заранее, но можете посмотреть: там, где рекламы было больше, продажи росли иначе, чем там, где её было мало? Это не доказательство — группы не случайны, и на них влияет масса скрытых различий, — но это осмысленная гипотеза, которую честнее назвать наблюдением, а не экспериментом.

Второй вариант — аккуратная атрибуция с оговорками. Ею по-прежнему удобно управлять кампаниями день ото дня, если помнить главное: она показывает, кому засчитана заявка, а не сколько заявок реклама создала сверх того, что случилось бы само. Пользуйтесь ею для оперативных решений, но не выдавайте её цифры за инкрементальность и не защищайте бюджет фразой «атрибуция показывает окупаемость» — она показывает распределение, а не прирост.

И третий, стратегический ход: копить объём и наводить порядок в учёте, чтобы эксперимент стал возможен позже. Инкрементальные тесты — инструмент зрелого маркетинга. Пока не сведены расходы и продажи, пока метрики в кабинете и в CRM расходятся, эксперимент ставить не на что. Сначала честный учёт — потом честная проверка.

Красивый дашборд не превращает рекламу из веры в знание. Это делает одна процедура: вы хоть раз проверили канал контрольной группой и увидели, сколько продаж он добавляет сверх того, что случилось бы само. Процедура неудобная — она требует терпения, дисциплины и готовности узнать, что любимый канал работает слабее, чем показывал отчёт. Зато после неё бюджет распределяется по вкладу в прибыль, а не по последнему клику, и маркетинг становится управляемым.