Вы когда-нибудь применяли самый эффективный вариант A/B-теста PPC-объявления, но не видели никаких улучшений?

Это происходит чаще, чем вы думаете.

A/B-тестирование работает, просто нужно избегать некоторых распространенных ошибок.

В этой статье рассматриваются основные ошибки, которые приводят к сбою A/B-тестов PPC, а также практические советы, которые помогут обеспечить значимые результаты ваших тестов. Мы рассмотрим такие вопросы, как:

Погоня за статистической значимостью в ущерб влиянию на бизнес.

Не проводятся тесты достаточно долго, чтобы получить достаточные данные.

Неспособность сегментировать источники трафика и другие критические факторы.

Стремление к статистической значимости 95% часто является излишним h2>

При проведении A/B-тестирования рекомендуется начинать с сильной гипотезы. Что-то вроде: 

«Добавив срочности к моему объявлению электронной коммерции, мы ожидаем, что CTR увеличится на четыре процентных пункта».

Это отличный способ начать. Правильное описание периметра тестирования, его контрольной и экспериментальной ячеек, основного KPI (и потенциально второстепенных тоже), а также предполагаемых результатов помогает структурировать тесты и последующий анализ.

Однако, когда маркетологи начинают использовать такую ​​методологию, они часто начинают интересоваться и слышать о «Святом Граале» достоверных результатов: достижении статистической значимости (или статистического показателя). В этом случае все быстро запутывается.

(Я предполагаю, что вы знаете, что такое показатель статистики, но если это не так, то вам стоит начать здесь и поиграть с этим инструментом, чтобы лучше понять оставшуюся часть этой статьи.)

Если вы какое-то время занимаетесь контекстной оплатой, вы заметили такие общие закономерности, как:

Что обычно работает: срочность, ограниченное количество товаров и сообщения об эксклюзивных предложениях.

Не обязательно работает: экологические и социальные послания (прости, Земля!).

Что обычно работает: размещение формы для потенциальных клиентов в верхней части целевой страницы.

Не обязательно работает: сложные, длинные формы.

Итак, если вы на 99 % уверены, что сможете добиться быстрых побед прямо сейчас, просто сделайте это. Вам не нужно все доказывать с помощью A/B-тестов и результатов статистики.

Вы можете подумать: «Хорошо, но как мне убедить моего клиента, что мы можем просто внедрить это изменение, даже не проверив его заранее?»

Чтобы решить эту проблему, я бы рекомендовал:

Структурируйте свои тесты, чтобы в будущем вы могли представить соответствующие тематические исследования.

Сравнительный анализ конкурентов (и игроков за пределами вашей целевой отрасли). Если все они делают примерно одно и то же, возможно, на это есть веская причина.

Делимся релевантными результатами из соответствующих статей под названием «50 лучших тестов, о которых должен знать каждый маркетолог» (например, A/B Tasty, Kamaleoon).

Ваша цель здесь — пройти без очереди и сэкономить время. А мы все знаем, что время – деньги, поэтому ваши клиенты (или директор по маркетингу и финансовый директор) будут вам за это благодарны.

Не позволяйте статистической значимости останавливать ваш тест

Мы слышали, как некоторые маркетологи говорили: «Вы должны завершать тест только тогда, когда у вас есть достаточно информации, чтобы он был статистически значимым». Внимание: это правда лишь отчасти!

Не поймите меня неправильно, когда статистическая значимость теста достигает 95 %, это хорошо. К сожалению, это еще не означает, что вы можете полностью доверять результатам своих тестов.

Действительно, когда ваш инструмент A/B-тестирования сообщает вам, что вы достигли статистического значения, это означает, что ваши контрольные и экспериментальные ячейки действительно различаются. Вот и все.

Какая польза от того, что вы уже это знаете? В конце концов, вы разработали свой тест как A/B-тест, а не A/A-тест (если только вы не исследователь статистики).

Другими словами, достижение показателя статистики не означает, что ваша экспериментальная ячейка работала лучше (или хуже), чем контрольная.

Как же узнать, что результаты вашего теста правильно указывают на наиболее эффективный объект? Вы можете подумать, что ваши результаты показывают, что ячейка B превосходит ячейку A на пять процентных пунктов. Что еще вам нужно?

Как упоминалось выше, достижение 95 % означает, что ваши контрольные и экспериментальные клетки ведут себя по-разному. Но ваш лучший производитель может переключиться из ячейки A в ячейку B, а затем из ячейки B в A, даже после достижения показателя статистики 95 %.

И вот в чем проблема: результаты ваших A/B-тестов становятся ненадежными, как только они достигают 95 % статистического показателя. Насколько ненадежно, спросите вы? 26,1%. Упс...

Если вы хотите углубиться в подробности, вот более подробный анализ Эвана Миллера (и более широкий взгляд на Harvard Business Review).

Как же узнать, что ваши результаты действительно надежны? Во-первых, вы хотите воздержаться от остановки тестов, пока они не достигнут 95%. И вы также хотите по-другому спроектировать свои A/B-тесты. Вот как.

Оцените свою целевую аудиторию

Если вы не разбираетесь в математике, сначала вам стоит прочитать статью Брэдда Либби.

TL;DR: Подбрасывание монеты 10 раз вряд ли докажет, что монета идеально сбалансирована. 100 — лучше, а 1 миллион — отлично. Бесконечное количество времени будет идеальным. Серьезно, попробуйте подбросить монеты и убедитесь сами.

С точки зрения контекстной рекламы это означает, что разработку A/B-тестов следует начинать со знания вашей аудитории. Это 10 человек или 1 миллион? В зависимости от этого вы знаете, где находитесь: при A/B-тестировании больше данных означает более высокую точность.

Анонсы наших новых статей в Телеграме

Read More