Определён победитель A/B-теста: завершите тест объявлений

Что это выявляетУ вашего A/B-теста есть явный победитель

Когда вы тестируете в AdBuilder два объявления друг против друга в одной группе объявлений (существующее объявление против нового варианта), инструмент ежедневно отслеживает результаты. Как только по цифрам выявляется достоверный победитель, эта рекомендация появляется в вашем обзоре оптимизации с сообщением, что тест готов к завершению.

Карточка показывает, какое объявление побеждает (текущее или новое), насколько достоверен этот вывод и по какому показателю определена победа. При тесте текста или закрепления мы смотрим на CTR (клики, делённые на показы), при тесте посадочной страницы на коэффициент конверсии (конверсии, делённые на клики), поскольку текст объявления в этом случае одинаковый.

Это сигнал, а не автоматическое действие: AdBuilder ничего не останавливает, пока вы сами не завершите тест.

Почему это важноРезультат приносит только завершённый тест

Пока тест идёт, группа объявлений честно делит трафик между обоими объявлениями (ROTATE_FOREVER, то есть оптимизация ротации Google отключена). Это нужно для чистоты измерения, но означает, что часть показов продолжает идти на менее удачное объявление, пока вы не завершите тест.

Своевременное завершение направляет весь трафик на объявление, которое доказанно работает лучше. Дополнительный плюс: пока тест идёт, другие рекомендации по объявлениям (например, по слабым объявлениям и улучшению активов) пропускают эту группу. После завершения они снова её подхватывают, а ротация возвращается в исходный режим, и Google снова оптимизирует сам.

Как это работаетКогда AdBuilder объявляет победителя

AdBuilder объявляет победителя только когда одновременно выполнены три условия. Так мы избегаем ситуации, когда вы останавливаете вполне нормальное объявление из-за случайного шума.

Размер выборки определяется заранее, а не по ходу дела. Мы рассчитываем, сколько наблюдений на объявление нужно, чтобы достоверно увидеть эффект в 20%, исходя из базового показателя вашего текущего объявления. Только когда оба объявления достигают этой границы, мы смотрим на результат. Это предотвращает так называемое подглядывание: если оценивать тест каждый день и обрывать его, как только он кажется значимым, вероятность ложной тревоги намного выше заявленных 5%.

• Достоверность не менее 95% (z-тест двух пропорций по CTR или по коэффициенту конверсии при тесте посадочной страницы).
• Достаточно данных: оба объявления достигают заранее рассчитанной границы выборки, с абсолютным минимумом 200 наблюдений на объявление (показы при тесте текста, клики при тесте посадочной страницы).
• Минимум 3 дня с начала теста.
• Есть реальный перевес (не ничья между объявлениями).

Что вы можете сделатьЗавершить тест или оставить его как есть

Откройте тест из карточки, чтобы сравнить оба объявления рядом (заголовки, описания и графики по дням). Из этого экрана вы завершаете тест.

Завершение останавливает проигравшее объявление и оставляет активным победителя. При этом AdBuilder сначала проверяет, действительно ли сохраняемое объявление способно показываться: если оно отклонено или остановлено извне, инструмент отказывает в завершении, чтобы группа объявлений не осталась без активного объявления. Всё обратимо: остановленное объявление можно позже снова включить, а ротация вернётся в состояние до теста.

• Завершить тест и остановить проигравшего (победитель продолжает работать).
• Самостоятельно выбрать, какое объявление остановить, если вы не согласны с результатом.
• При желании добавить метки, которые отмечают победителя и проигравшего в аккаунте.
• Заархивировать тест, ничего не останавливая (оба объявления остаются активными).
• Скрыть рекомендацию; тогда она сама больше не появится для этого теста.