A/B-тест
Сравнение двух вариантов на случайно разделённой аудитории, чтобы понять, какой из них работает лучше.
В A/B-тесте аудиторию случайно делят на две части: одной показывают вариант А (обычно текущий), другой — вариант Б. Случайность деления и есть суть метода: она уравнивает группы, поэтому разницу в результате можно отнести на счёт самого варианта, а не на то, что в одну группу случайно попали более тёплые клиенты.
Тест отвечает ровно на один вопрос: «работает ли Б лучше, чем А». И даёт ответ только при достаточной выборке — если данных мало, вы увидите разницу там, где это просто случайное колебание. Поэтому размер выборки и длительность считаются заранее, до запуска.
A/B-тест сравнивает варианты, но не объясняет причину. Он скажет, что Б лучше, но не почему — за «почему» отвечают гипотеза до теста и качественные наблюдения, а не сами цифры.
Разберём вашу систему на языке цифр
На бесплатном звонке переведём эти метрики в конкретный план роста для вашего бизнеса.
Забронировать звонок