MMM: когда бизнесу пора считать медиамикс эконометрикой

Пока маркетологи считали клики и вели пользователя по цепочке cookie, у эконометрики медиамикса (MMM) была репутация тяжёлого наследия из эпохи телевидения. Потом трекинг начал сыпаться: браузеры режут идентификаторы, приложения спрашивают разрешение на слежку, офлайн-каналы никогда и не отслеживались поштучно, а сделки в дорогих нишах вызревают месяцами. И оказалось, что метод, который вообще не смотрит на отдельного человека, а работает с агрегированными данными, внезапно снова актуален. MMM переживает второе рождение — и вместе с ним волну статей, продающих его как универсальный ответ. Ответ он даёт не всем и не на всё, и цена входа в него — годы данных и честность про то, чего он не умеет.

Разберём по порядку: как MMM устроен и почему обходится без cookie; что должно быть в ваших данных, чтобы модель не выдумывала; чего она принципиально не умеет; почему без калибровки экспериментами её результат произволен; и по каким признакам понять, что вам до MMM ещё рано.

Что такое MMM и почему интерес вернулся

MMM (marketing mix modeling, эконометрика медиамикса) — это статистическая модель, которая по истории оценивает, какая часть продаж объясняется каждым фактором. На вход идут агрегированные ряды: сколько тратили по каждому каналу неделя за неделей, сколько было продаж, что происходило с ценой, сезоном, промоакциями, действиями конкурентов, погодой. Модель раскладывает продажи на слагаемые — вот столько дал контекст, столько наружка, столько сезон, столько базовый спрос, который был бы и без рекламы, — подбирая коэффициенты так, чтобы объяснить наблюдаемую историю.

Ключевая особенность: модель не следит за пользователем. Ей не нужно знать, что конкретный человек увидел баннер, а потом купил. Она смотрит на уровень целого рынка: выросли расходы на канал — как на это в среднем откликнулись продажи, с поправкой на всё остальное. Поэтому MMM безразличны cookie, блокировщики, ограничения браузеров и отказ приложений от слежки. Именно это и вернуло к нему интерес.

• Ограничения трекинга. Чем хуже работает пользовательская аналитика — отмирают cookie, режутся идентификаторы, — тем ценнее метод, которому отдельный пользователь вообще не нужен.
• Офлайн- и охватные каналы. Наружка, ТВ, радио, спонсорство, посевы никогда не отслеживались поштучно. Для них MMM — один из немногих способов оценить вклад, потому что клик к человеку тут не привяжешь.
• Длинный цикл и множество факторов. Когда на продажи одновременно влияют цена, сезон, промо и десяток каналов, MMM разводит эти влияния по местам — там, где пользовательская атрибуция видит только последнее касание.

Атрибуция смотрит на путь одного человека и делит его покупку. MMM не видит людей вовсе — он смотрит на рынок сверху и спрашивает, как двигались продажи, когда двигались бюджеты. Это разные оптики, и вторая работает там, где первая ослепла.

Что нужно, чтобы MMM работал

Независимость от cookie MMM отыгрывает требовательностью к другому — к самим данным. Это не тот инструмент, который включают на трёхмесячной истории небольшого бизнеса. У модели есть условия, без которых её коэффициенты — просто числа, подогнанные под шум.

• Годы истории по неделям. Чтобы отделить вклад канала от сезона и тренда, модели нужно увидеть много циклов — как продажи вели себя в разные сезоны, при разных бюджетах, при разных ценах. Обычно речь идёт о нескольких годах недельных данных, а не о паре кварталов. На короткой истории модель не сможет отличить эффект рекламы от годовой сезонности.
• Вариативность расходов. Это условие упускают чаще всего. Модель узнаёт эффект канала только из того, как менялись продажи, когда менялся его бюджет. Если канал два года получал одну и ту же сумму, у модели нет контраста, из которого вычислить его вклад, — она либо припишет ему случайное число, либо растворит его эффект в фоне. Ровный бюджет = невидимый для MMM канал.
• Честный учёт внешних факторов. Продажи двигают не только реклама: цена, промоакции, сезон, праздники, действия конкурентов, макроэкономика. Если эти факторы не заведены в модель, она припишет их влияние рекламе — и переоценит каналы, которые случайно работали в удачные периоды. Качество MMM во многом определяется полнотой того, что вы честно учли помимо рекламы.

Чего MMM не даёт

Даже на хороших данных MMM — это оптика уровня рынка, а не микроскоп. Из того, что он смотрит сверху и в прошлое, следуют жёсткие ограничения, которые важно понимать до того, как строить на его выводах бюджет.

• Никакой оперативности. MMM пересчитывают не каждую неделю: он работает на длинной агрегированной истории и обновляется редко — раз в квартал, реже. Это инструмент стратегического распределения бюджета между каналами, а не пульт ежедневного управления кампаниями.
• Никаких рекомендаций по ключевым словам. Модель работает на уровне «канал целиком». Отдельное объявление, аудиторию или конкретный запрос она не различает. Она скажет, стоит ли в принципе больше вкладывать в контекст, но не подскажет, какую ставку выставить и какие минус-слова добавить. Тактику она не заменяет.
• Никакой уверенности без калибровки. MMM выдаёт корреляцию в исторических данных: продажи и бюджет двигались вместе. Но корреляция — не причина. Без внешней проверки экспериментом модель уверенно перепутает «канал сработал» с «канал просто совпал с удачным периодом».

Почему MMM без калибровки — красивая выдумка

Это центральный тезис, ради которого стоит держать в голове всю остальную статью. MMM подбирает коэффициенты так, чтобы объяснить прошлые продажи, — но объяснить одну и ту же историю можно многими наборами коэффициентов. Модель может решить, что рост дал контекст, а могла бы — что сезон плюс наружка. Обе версии одинаково хорошо ложатся на исторические данные. Чистая математика не выбирает между ними единственно верный вариант: она выдаёт правдоподобный, но не обязательно правдивый.

Отсюда и риск: MMM без внешних опорных точек — красивая модель с произвольным результатом. Она объяснит вам продажи, разложит их по каналам, нарисует убедительный график — и вы не будете знать, насколько эта конкретная раскладка соответствует реальности, а не просто одна из многих, которые подошли бы к тем же данным. Уверенность интерфейса и произвольность вывода — опасное сочетание, потому что решение о перераспределении бюджета принимается по числу, которое могло быть другим.

Лекарство — калибровка экспериментами. Холдаут и гео-эксперименты дают то, чего у MMM нет: причинную опорную точку. Эксперимент отключает канал на части аудитории или регионов и прямо измеряет, сколько продаж без него не случилось бы, — это инкрементальность, реальный прирост, а не корреляция в истории. Получив такую точку хотя бы по нескольким каналам, модель «привязывают» к ней: из множества правдоподобных раскладок выбирают ту, что согласуется с экспериментально измеренным вкладом. Без этих гвоздей MMM болтается, с ними — держит форму.

MMM объясняет прошлое, эксперимент измеряет причину. Модель без эксперимента — правдоподобная история, которую некому проверить. Модель, прибитая к нескольким честным экспериментам, — уже инструмент для решений.

Практический перевод результата — инкрементальная окупаемость (iROAS): сколько дополнительной выручки канал дал сверх базового спроса на вложенный рубль. Именно её, а не отчётную окупаемость из кабинета, MMM и пытается оценить на уровне всего медиамикса. Но доверять этой оценке можно ровно настолько, насколько она сверена с экспериментом. Некалиброванный iROAS из MMM — это цифра с той же уверенностью и той же необоснованностью, что и весь некалиброванный вывод модели.

Три метода не конкурируют, а закрывают разные задачи и складываются в систему. Атрибуцией вы управляете кампаниями каждый день. Экспериментом раз в период проверяете, не врёт ли атрибуция на дорогих каналах, и получаете причинные опорные точки. MMM поверх всего распределяет стратегический бюджет между каналами — включая офлайн, который не видят первые два, — и держится честным ровно за счёт того, что откалиброван экспериментами. Выньте калибровку — и верхний этаж повиснет в воздухе.

Кому MMM пока рано

MMM — инструмент зрелого маркетинга, и попытка перепрыгнуть к нему через ступени стоит дорого: вы получите красивую модель, чьим числам нельзя верить, и примете по ним решение о бюджете. Честнее заранее свериться с признаками, что время эконометрики ещё не пришло.

• Нет длинной истории. Если у вас нет хотя бы нескольких лет недельных данных по расходам и продажам, модели не на чем учиться: она не отделит рекламу от сезона. Сначала копите и упорядочивайте историю.
• Расходы в каналах не менялись. Если бюджеты годами стоят ровно, у модели нет вариации, из которой считать вклад. Пока вы не создали изменчивость (в том числе намеренными экспериментами), MMM просто не увидит эффект каналов.
• Не сведён базовый учёт. Расходы и продажи разбросаны по разным кабинетам, а цены, промо и сезон вообще нигде не зафиксированы. Кормить MMM в такой ситуации нечем: на неполных и противоречивых данных он и ответ соберёт такой же — только оформит его убедительно.
• Нет возможности калибровать. Если вы не можете поставить ни одного честного эксперимента для опорной точки, MMM останется некалиброванным — а значит, произвольным. Лучше начать с одного гео-эксперимента, чем с эконометрики без опоры.
• Мало каналов и понятная экономика. Если у вас два-три канала и юнит-экономика сходится, дорогая модель избыточна. Аккуратного эксперимента по паре подозрительных каналов будет и дешевле, и полезнее.

MMM вернулся не оттого, что стал точнее. Он вернулся, потому что пользовательская аналитика ослепла — и метод, которому не нужен ни один cookie, снова понадобился. Но его сила прямо связана с его требовательностью: годы истории, изменчивость бюджетов, честный учёт факторов и, главное, калибровка экспериментами. Отнимите последнее — и останется красивая модель с произвольным ответом. Пока нет ни истории, ни вариации, эконометрику затевать рано: начните с эксперимента, который сам создаёт причинную опорную точку. MMM стоит поверх зрелой системы измерения и держится ровно настолько, насколько прочно всё, что под ним.