MDE
Минимальный эффект, который тест в принципе способен различить на имеющихся данных.
MDE — это порог чувствительности эксперимента. Если реальная прибавка от рекламы меньше этого порога, тест её не заметит и честно скажет «разницы нет», хотя эффект есть. Величина MDE задаётся ещё до запуска и определяется объёмом данных: чем больше продаж и участников, тем меньший эффект можно уловить.
Отсюда неприятная, но важная правда: маленькой выборке доступен только крупный эффект. Если продаж немного, тест сможет подтвердить лишь заметный рост в разы, а тонкую прибавку в несколько процентов не различит никогда. Поэтому по-настоящему честный замер эффективности не всем по карману — он требует достаточного объёма данных или готовности ждать.
«Тест не показал эффекта» и «эффекта нет» — разные вещи. Если искомая прибавка была меньше MDE, отрицательный результат не значит, что канал не работает, — он значит, что тест не мог это увидеть.
Разберём вашу систему на языке цифр
На бесплатном звонке переведём эти метрики в конкретный план роста для вашего бизнеса.
Забронировать звонок