Переможець A/B-тесту визначено: заверши тест реклами

Що сигналізуєТвій A/B-тест має явного переможця

Коли ти в AdBuilder тестуєш два оголошення одне проти одного в одній групі оголошень (наприклад, наявне оголошення проти нового варіанту), інструмент щодня відстежує показники. Щойно з цифр випливає достовірний переможець, ця рекомендація з'являється в твоєму огляді оптимізації з повідомленням, що тест готовий до завершення.

Картка показує, яке оголошення перемагає (наявне чи нове), наскільки достовірний цей висновок і за яким показником визначено перемогу. У текстовому тесті або тесті з пінінгом ми дивимось на CTR (кліки поділені на покази), а в тесті цільової сторінки на коефіцієнт конверсії (конверсії поділені на кліки), бо текст оголошення в такому разі однаковий.

Це сигнал, а не автоматична дія: AdBuilder нічого не ставить на паузу, поки ти сам не завершиш тест.

Чому це важливоРезультат дає лише завершений тест

Поки тест триває, група оголошень чесно розподіляє трафік між обома оголошеннями (ROTATE_FOREVER, тобто оптимізація ротації від Google вимкнена). Це потрібно для чистого вимірювання, але це також означає, що частина твоїх показів і далі йде на слабше оголошення, поки ти не завершиш тест.

Своєчасне завершення спрямовує весь трафік на оголошення, яке доведено працює краще. Додатковий плюс: поки тест триває, інші рекомендації щодо оголошень (наприклад, слабкі оголошення й покращення ассетів) пропускають цю групу. Після завершення вони знову беруться до справи, а ротація повертається до початкового режиму, тож Google знову сам оптимізує.

Як це працюєКоли AdBuilder оголошує переможця

AdBuilder оголошує переможця лише коли одночасно виконано три умови. Так ми уникаємо ситуації, коли ти ставиш на паузу цілком пристойне оголошення через випадковий шум.

Розмір вибірки визначається наперед, а не по ходу тесту. Ми розраховуємо, скільки спостережень на оголошення потрібно, щоб достовірно побачити ефект у 20%, виходячи з базового коефіцієнта твого поточного оголошення. Лише коли обидва оголошення досягають цієї межі, ми дивимось на результат. Це запобігає так званому підглядуванню: якщо оцінювати тест щодня і зупиняти його, щойно він випадково здається значущим, шанс на хибну тривогу набагато вищий за задумані 5%.

• Достовірність щонайменше 95% (двопропорційний z-тест за CTR або за коефіцієнтом конверсії в тесті цільової сторінки).
• Достатньо даних: обидва оголошення досягають попередньо розрахованої межі вибірки, з абсолютним мінімумом 200 спостережень на оголошення (покази в текстовому тесті, кліки в тесті цільової сторінки).
• Щонайменше 3 дні тривалості, від початку тесту.
• Є реальна перевага (без нічиєї між двома оголошеннями).

Що можна зробитиЗавершити тест або залишити як є

Відкрий тест із картки, щоб порівняти обидва оголошення поруч (заголовки, описи та графіки по днях). Із цього екрана ти завершуєш тест.

Завершення ставить програшне оголошення на паузу й залишає переможця активним. AdBuilder спершу перевіряє, чи оголошення, яке залишається, справді може показуватися: якщо воно відхилене або поставлене на паузу ззовні, інструмент відмовляється завершувати тест, щоб твоя група оголошень не залишилась без активного оголошення. Усе скасовується: оголошення на паузі можна пізніше знову увімкнути, а ротація повертається до стану до тесту.

• Завершити тест і поставити програшне оголошення на паузу (переможець продовжує працювати).
• Самостійно обрати, яке оголошення поставити на паузу, якщо ти не згоден із результатом.
• За бажанням додати мітки, що позначать переможця й програшне оголошення в твоєму акаунті.
• Заархівувати тест, нічого не ставлячи на паузу (обидва оголошення залишаються).
• Прибрати рекомендацію; тоді вона сама не з'явиться знову для цього тесту.