Data-driven атрибуция: когда работает, а когда это чёрный ящик

Data-driven атрибуцию (DDA) продают как взрослую версию учёта. Грубое правило «всё последнему клику» отправляют на пенсию, а его место занимает умная модель, которая сама разберётся, какой канал чего стоит. Звучит как переход от суеверия к науке — и доля правды тут есть. Но «умная» ещё не значит «проверяемая». И «на основе данных» ещё не значит «на основе ваших данных, да в достаточном объёме». Одна и та же DDA бывает лучшей из атрибуционных моделей — а бывает генератором убедительных чисел, за которыми не стоит ничего. Решают тут не столько метод, сколько три условия, которые почти никто не проверяет, прежде чем распределять по этим числам бюджет.

Эта статья — не про то, как устроены семь моделей атрибуции; это разобрано отдельно. Здесь один фокус: где у data-driven проходит граница доверия. В каких условиях её выводам можно опереться на решение о бюджете, а в каких перед вами дорогой чёрный ящик, который выдаёт точность там, где её нет.

Чем DDA отличается от моделей-правил

Простые модели атрибуции — это фиксированные правила дележа, придуманные заранее и одинаковые для всех. Last-click отдаёт всё последнему касанию. Линейная делит поровну. Позиционная — по 40% краям. Эти правила не смотрят на ваши данные: они применяют одну и ту же формулу к любому бизнесу, будь у вас импульсные покупки или полугодовые сделки.

Data-driven работает иначе. Готового правила у неё нет — она выводит его из ваших данных. Модель смотрит на массу путей — тех, что закончились покупкой, и тех, что не закончились, — и оценивает, насколько каждое касание сдвигает вероятность конверсии. Если добавление некоторого канала в путь систематически повышает шанс покупки, модель начисляет ему больше; если наличие канала ничего не меняет, доля падает. Правило не задано снаружи — оно проступает из поведения именно ваших клиентов.

Правило-модель отвечает, как принято делить заслугу. Data-driven пытается ответить, как её делят сами ваши данные. Но «пытается» здесь — ключевое слово: у попытки есть условия, без которых она проваливается молча.

Именно поэтому DDA потенциально честнее фиксированных моделей: она не навязывает заранее, что важен последний клик или первый. Но у этой честности есть цена — модель полностью зависит от того, на чём она обучена. Правило-модель хотя бы предсказуема в своей однобокости: вы точно знаете, что last-click обделяет верх воронки. Data-driven непредсказуема ровно настолько, насколько непредсказуемы и неполны данные, которые вы ей скормили. Плохая модель на плохих данных ошибается хаотично, без всякой системы, — и выглядит при этом ровно так же уверенно, как хорошая.

Что нужно, чтобы модель имела смысл

DDA — не кнопка «включить умную атрибуцию». Это статистическая модель, а у любой статистики есть условия применимости. Нарушьте любое из трёх — и на выходе будут числа, которые выглядят как результат анализа, а на деле являются результатом подгонки под случайность.

• Достаточный объём конверсий. Чтобы отделить закономерность от совпадения, модели нужно много завершённых путей. Речь не про десятки в неделю — нужен поток, где каждая комбинация каналов встречается многократно. На малых объёмах модель находит «закономерности» в шуме: канал, случайно оказавшийся рядом с несколькими покупками, получит вес, который развалится на следующей выборке.
• Разнообразие путей. Если почти все клиенты приходят по одному сценарию — увидел контекст, купил, — модели не из чего выводить вклад других каналов: она их почти не видит в связке с конверсией. DDA раскрывается там, где пути реально разные: одни касания идут в начале, другие в конце, каналы перемешиваются в разном порядке. Однообразные пути превращают «умную» модель в переусложнённый last-click.
• Корректная разметка. Модель делит только те касания, которые видит. Если разметка кампаний кривая и часть трафика валится в «прямые заходы» и «не определено», эти касания выпадают из путей, и вклад распределяется между тем, что осталось. DDA на грязных данных уточняет дележ половины картины, уверенно игнорируя вторую половину.

Когда DDA превращается в чёрный ящик

«Чёрный ящик» — не ругательство и не всегда проблема: вы пользуетесь массой систем, не зная их внутренней математики. Проблема возникает, когда закрытость модели сочетается с невозможностью проверить её выводы снаружи и с интересом того, кто модель предоставляет. Три ситуации превращают DDA из инструмента в риск.

Мало данных — модель учится на шуме

Это самый частый случай в среднем бизнесе. Модель формально работает, выдаёт красивые доли, но обучена на объёме, которого не хватает для устойчивого вывода. Внешне отличить такую модель от честной невозможно: числа выглядят одинаково аккуратно. Разница только в том, что доли, полученные на недостатке данных, не воспроизводятся — переобучите модель на другой выборке, и «главный» канал станет второстепенным. Вы принимаете решение по цифре, которая при следующем пересчёте была бы другой.

Методология не раскрыта — вы не можете проверить вывод

Если вам показывают доли каналов, но не объясняют, как модель к ним пришла, на каком объёме обучена и какие делает допущения, — вы получаете вердикт без возможности его оспорить. Это принципиально отличает DDA от простых моделей: у last-click вы хотя бы знаете правило и его перекос. У нераскрытой data-driven вы не знаете ни правила, ни его слабых мест — только итог, который предлагается принять на веру. Распределять бюджет по вердикту, который нечем оспорить, — это уже не управление. Это доверие на слово.

Модель внутри площадки оценивает саму площадку

Отдельный и самый неудобный случай — когда data-driven модель предоставляет та же рекламная площадка, чей вклад она же и измеряет. У площадки нет злого умысла, но есть встроенный интерес: система, обученная на данных площадки и настроенная её же командой, склонна показывать, что каналы этой площадки работают. Это конфликт интересов в чистом виде — как если бы подрядчик сам выставлял себе оценку за свою работу и просил оплату по ней. Выводы такой модели могут быть верными, но проверять их нужно инструментом, у которого нет доли в ответе.

Чего DDA не может в принципе

Даже идеальная data-driven модель — на большом объёме, на разнообразных путях, с прозрачной методологией и без конфликта интересов — упирается в стену, общую для всей атрибуции. Она делит уже случившиеся продажи между касаниями. Она отвечает на вопрос «кому засчитать» точнее фиксированных правил, но это по-прежнему тот же вопрос.

А судьбу бюджета решает другой вопрос: случилась бы эта продажа, если бы канала не было вообще. Кликнувший по ретаргетингу перед покупкой — вернулся бы он и сам? Если да, канал не создал продажу, а подобрал готовую. Data-driven модель этого не различает: и созданную, и подобранную продажу она отнесёт к тому касанию, которое реально повышало вероятность конверсии в её данных — но «повышало вероятность в данных о путях» и «создало продажу, которой иначе не было бы» — это не одно и то же. Первое видно в истории кликов, второе — только в сравнении мира с рекламой и мира без неё.

Читать таблицу нужно так. DDA стоит посередине не по остаточному принципу — это её честное место, лучшая из атрибуционных линз: честнее правил, но всё-таки линза, то есть приближение, не сам замер. В споре «работает канал или нет» последнее слово всегда за экспериментом — только он смотрит на мир без рекламы. DDA задаёт хорошие гипотезы; эксперимент проверяет их на самых дорогих каналах.

Что спросить у подрядчика про его DDA

Если агентство или штатный маркетолог обосновывает распределение бюджета «умной атрибуцией», это не повод принимать вывод на веру и не повод отмахиваться. Это повод задать несколько конкретных вопросов. Ответы на них покажут, стоит за словами инструмент или красивое название.

• На каком объёме конверсий обучена модель? Вопрос не про «много ли данных вообще» — про то, сколько именно завершённых путей набралось в периоде обучения. Если счёт идёт на десятки в неделю, модель почти наверняка ловит шум, и это стоит услышать прямо.
• Чья это модель и раскрыта ли методология? Собственная разработка, модель площадки или сторонней системы. Можете ли вы увидеть допущения и логику дележа — или вам показывают только итоговые доли. Нераскрытая методология означает, что проверить вывод изнутри нельзя.
• Измеряет ли модель вклад той площадки, что её предоставляет? Если да — это конфликт интересов, и к выводам про «эффективность» каналов этой площадки нужна независимая проверка.
• Устойчивы ли доли во времени? Совпадают ли выводы модели от периода к периоду или распределение прыгает. Прыгает — значит, обучена на недостатке данных.
• Сверялись ли выводы хоть раз с экспериментом? Ставили ли холдаут или гео-тест на канал, который модель назвала главным, и совпал ли результат. Если атрибуцию ни разу не проверяли снаружи, вы не знаете, права она или нет.
• Что модель относит к «прямым заходам» и «не определено»? Большая доля неразмеченного трафика означает, что модель делит неполную картину, и любой её вывод предварителен.

Хороший подрядчик ответит на это спокойно и с оговорками — он понимает границы инструмента. А тот, кто в ответ убеждает, что «система сама всё точно считает» и проверять её не надо, продаёт вам не аналитику. Он продаёт веру в дашборд. И вся разница между этими двумя разговорами — это разница между управляемым бюджетом и бюджетом, распределённым вслепую.

Data-driven атрибуция — не магия и не обман. Это лучшая из атрибуционных линз, пока выполнены её условия, и дорогой самообман, когда они нарушены незаметно для вас. Ключевой навык собственника тут — вовсе не про выбор «правильной» модели. Он про умение отличать модель, которой можно верить, от той, что просто уверенно выглядит: спросить про объём, методологию, конфликт интересов и внешнюю проверку. И держать в голове границу, общую для всей атрибуции: любая модель скажет, кому засчитать продажу, но ни одна не скажет, случилась бы она без вас. Это показывает только эксперимент.