Холдаут
Контрольная группа, которой намеренно не показывают рекламу, чтобы измерить её добавочный эффект.
Холдаут — это способ увидеть инкрементальность на практике. Часть аудитории случайным образом выводят из-под рекламы и сравнивают её поведение с теми, кто рекламу видел. Разница в продажах между группами и есть тот результат, который канал реально добавил.
Размер контрольной группы — не универсальная цифра. Он зависит от того, сколько у вас данных и какой эффект вы хотите различить: чтобы поймать небольшую прибавку, нужна группа побольше и время подольше, для грубой проверки хватит меньшего. Поэтому «отключим десять процентов» — это не правило, а произвольное допущение.
Брать долю холдаута «на глаз». Слишком маленькая контрольная группа не покажет эффект, даже если он есть, — тест закончится выводом «разницы нет» просто из-за нехватки данных.
Разберём вашу систему на языке цифр
На бесплатном звонке переведём эти метрики в конкретный план роста для вашего бизнеса.
Забронировать звонок