Мы постоянно ищем способы оптимизировать наши PPC-кампании и максимизировать их эффективность.

Тестирование имеет решающее значение для этого процесса, но традиционные методы, такие как A/B-тесты, инкрементальные оценки и географические эксперименты, часто имеют существенные ограничения.

Требования к большим объемам данных, тщательное планирование и зависимость от функциональности рекламной платформы могут затруднить получение четкой и достоверной информации.

Когда эти ограничения вступают в силу, мы можем принимать важные решения на основе неполных или вводящих в заблуждение данных, теряя бюджет или упуская возможности масштабирования.

В этой статье рассматривается мощный, но часто упускаемый из виду метод тестирования: исследование причинно-следственных связей. Узнайте, как они работают, когда их использовать и как они могут изменить ваш подход к оптимизации и принятию решений.

Что такое исследования причинного воздействия?

Исследования причинно-следственных последствий точно измеряют истинные последствия изменений в ваших кампаниях, оценивая противоположные факты (т. е. что бы произошло без реализованных изменений?). 

Понимание разницы между корреляцией и причинно-следственной связью имеет решающее значение.

Например, если количество бутылок Aperol Spritze, которые я выпиваю летом, увеличивается вместе с моими жалобами на жару, одно не является причиной другого; на обоих больше влияет солнце.

Исследование причинно-следственных связей поможет вам определить, вызвало ли изменение в ваших платных медиа-кампаниях непосредственно изменение конкретного ключевого показателя эффективности или это изменение все равно произошло бы. 

В исследовании используется набор наблюдаемых данных и оценивается этот контрфактический сценарий, по существу задаваясь вопросом, что произошло бы без изменений.

Разница между этими противоречащими фактам данными и наблюдаемыми данными показывает причинный эффект вашего вмешательства.

Копайте глубже: 3 шага для создания эффективных отчетов и анализа PPC

Как они работают?

В A/B-тестировании участвуют две группы пользователей: одна находится в тестовых условиях, а другая - в контрольных условиях.

Вы можете наблюдать за результатами для обеих групп – что происходит с условием теста и что происходит без каких-либо изменений.

Однако вы не сможете увидеть результат тестовой группы, если не было внесено никаких изменений, а также не сможете определить, как бы работала контрольная группа, если бы были применены условия тестирования.

Целью исследования причинного воздействия является оценка результата для тестовой группы, если не было внесено никаких изменений (на этой диаграмме тестовая группа 2):

Чтобы построить эту оценку, вам необходимо найти другой набор данных за тот же период времени, который коррелирует с вашим ключевым показателем эффективности, но на который не влияет изменение кампании. Это могут быть данные аналогичной кампании, на которую не повлияло тестирование, или что-то более широкое, например поисковые запросы по брендам или общий спрос в категории.

Когда вы запускаете модель на этих двух наборах данных — наблюдаемых данных и коррелированном наборе данных — она сначала исследует взаимосвязь между ними. Затем он оценит, что произошло бы с наблюдаемыми данными, если бы он следовал этой взаимосвязи за пределами реализации.

Если эта оценка соответствует наблюдаемым данным, это означает, что ваше изменение не оказало никакого влияния. Однако если оценка показывает существенно отличающиеся результаты, вы можете выявить значимый причинный эффект.

В исследовании выполняется множество итераций модели для получения распределения предполагаемых результатов, на основе которого можно построить доверительный интервал. 

Чтобы проверить результаты, вы всегда можете вернуться к A/B-тестам.

Если вы проводите A/B-тестирование с использованием тех же условий тестирования, получит ли ваша контрольная группа ту же тенденцию данных, что и ваша гипотетическая оценка? Если да, то вы можете с уверенностью сказать, что ваша модель точна.

Полную информацию и руководства по реализации пакета, созданного Кей Х. Бродерсеном и Аленом Хаузером, можно найти на GitHub. Я также настоятельно рекомендую посмотреть выступление Бродерсена на эту тему на YouTube.

Копайте глубже: Расширенные методы аналитики для измерения цены за клик

Анонсы наших новых статей в Телеграме

Read More