Навіть невеликі зміни можуть допомогти вам збільшити охоплення, отримати більше переходів, оптимізувати роботу сайту. Але як зрозуміти, чи приведуть зміни до позитивного результату або, навпаки, виявляться неефективними?
Є спосіб вирішити цю проблему, спираючись в своїх рішеннях на надійні дані, а не на суб'єктивну інтуїцію. У цьому може допомогти A / B-тестування: за допомогою нього ви зможете перевірити свої гіпотези і оцінити результати, зрозуміти, чи варто вносити зміни або залишити все як є.
Що таке A/B тестування
A / B-тестування (англ. A / B testing), воно ж Спліт-тестування (англ. Split testing) - метод маркетингового дослідження. Його суть полягає в тому, що контрольна група елементів порівнюється з набором тестових груп, в яких один або кілька показників були змінені для того, щоб з'ясувати, які з змін покращують цільовий показник. Таким чином, в ході тесту порівнюється варіант A і варіант B. Метою є визначення кращого з двох протестованих варіантів.
Для чого потрібен такий тест:
- у рекламі немає універсального підходу, який підійде усіх напрямках. Щоб знайти оптимальний варіант, необхідно порівнювати і аналізувати різні гіпотези.
- Якщо не впевнені в чомусь і хочете перевірити, які результати можуть принести зміни.
- З'ясувати, які налаштування будуть найбільш ефективними.
- Якщо потрібно прийняти рішення щодо дорогих змін.
Як працює A/B тестування
Ви ділите відвідувачів на рівні частини і показуєте їм різні варіанти елементів, які тестируєте.
Можна проводити тестування, щоб визначити варіант, який найкраще підходить для поставленої мети (клік, додавання в корзину і т.п.),тобто щоб виявити, чий відсоток конверсій буде кращим.
Потім дані піддаються аналізу і порівнянню, щоб зрозуміти, чи будуть корисні зміни, які ви хочете реалізувати.
Тривалість A/B тестування
Мінімальний час - тиждень, навіть якщо ви набрали статистично значущу кількість відвідувачів за півдня. Це пов'язано з тим, що в різні дні тижня поведінка може сильно відрізнятися.
Якщо цільовий показник у вас - покупка, і ви знаєте, що зазвичай люди роблять її не відразу, а через 10 днів, то потрібно враховувати і це. В середньому рекомендований час тестування - 10-14 днів.
Визначившись з часом, ніколи не зупиняйте тест раніше, навіть якщо протягом перших кількох днів один варіант впевнено лідирує. Для достовірних результатів потрібен час.
Візьміть до уваги питання сезонності. Наприклад, тестування в кінці грудня або в розпал літніх відпусток спотворить результати.
Що можна тестувати
В принципі все, що можна змінити в рекламній кампанії, в оголошеннях або на посадковій сторінці.
Найчастіше це:
- Можливі об'єкти експериментів:
- кількість заголовків і описів;
- обсяг заголовків і описів;
- тон і формулювання заголовків і описів;
- вказівка або відсутність точних цифр і цін;
- заклик до дії;
- центральне УТП або головна перевага продукту;
- розширення і уточнення оголошень;
- відображаються і реальні посилання;
- розклад показів;
- стратегія призначення ставок;
- ключові слова;
- геотаргетинг;
- аудиторний таргетинг;
- колірна схема і дизайн банера;
- наявність або відсутність анімації або відео.
Обов’язкові параметри A/B тесту
Для коректного проведення спліт-тесту варто використовувати спеціальний калькулятор, який допоможе визначити кількість необхідних користувачів та оптимальну тривалість тесту. Розберемо усі його значення.
- Conversion Rate, або початковий рівень конверсії. Наприклад, конверсія лендінгу з попереднього прикладу з однією кнопкою внизу сторінки дорівнює 5%.
- Minimum Detectable Effect, або бажана конверсія. Припустимо, що ви хочете підвищити конверсію на 5% і для цього проводите експеримент.
- Statistical Significance, або статистична значущість – ступінь впевненості у тому, що отриманий результат не є випадковим. Щоб не сумніватися у правдивості отриманих даних, важливо не знижувати цей показник нижче 90%.
- Average Daily Visitors, або середня кількість унікальних користувачів сторінки. Наприклад, це тисяча людей.
- Number of Variations, або кількість варіацій. Зокрема, і контрольна. У випадку з A/B-тестом їх дві.
Після того, як ви вказали усі необхідні параметри, система покаже потрібний розбір вибірки (Required number of visitors) – кількість користувачів, необхідних для того, щоб результати тесту були валідними. У нашому експерименті це 23 865 особи на кожну версію лендінгу. Тривалість тесту – 47 днів. Загалом, чим більше унікальних користувачів відвідує сторінку, тим швидше закінчиться експеримент.
Підготовка до запуску A/B тесту
Щоб тест відбувся успішно, а результати виявились правдивими, важливо підготуватися до запуску.
- Сформувати гіпотезу. Не має змісту порівнювати варіанти без формулювання чіткої проблеми та її можливого рішення. Наприклад: «Кількість конверсій можна збільшити, якщо додати СТА-кнопку на перший екран лендінгу, щоб користувач одразу її бачив». Правильність цього припущення допоможе визначити тест.
- Визначити ціль. Важливо заздалегідь розуміти, що буде цільовим показником. Це можуть бути покупки, заявки, реєстрації, збільшення середнього чека, кліки тощо.
- Вибрати елемент для тесту. Тут діє просте правило: змінна має бути одна. Це може бути текст заголовку, колір кнопки чи картинка банеру тощо, але не все одразу. У нашому прикладі – це додаткова кнопка на сторінці.
- Визначити вибірку та тривалість тесту.
- Перевірити вартість. Перед тим, як почати тест, впевніться, що маєте достатньо часу, коштів та інших ресурсів, які необхідні для успішного проведення.
- Перевірити системи A/B-тестів та аналітики. Перед запуском будь-якого тесту потрібно перевірити коректність налаштувань та роботи системи аналітики, а також спеціальних інструментів для проведення такого роду тестів. Наприклад, Visual Website Optimizer, Google Optimize, Unbounce, Change Again тощо. В іншому випадку ви можете виявити, що у вас неправильно працює балансувальник або порушено розподіл долі, не проставляються мітки користувачам, сповільнюється робота сайту і так далі.
- Перевірити можливість заміру результатів тесту на фінальному етапі воронки. Наприклад, ви змінили заголовок банеру та побачили зростання кількості переходів по рекламі. Складається враження, що гіпотеза виправдалась, але подивіться на кількість конверсій – вона виросла чи знизилася? Заголовок може бути клікабельним, але якщо показник відмов виріс, а кількість покупок ні, то варіант В не є ефективним.
Приклад запуску A/B тестування у Google Ads
Експерименти в кампаніях Google Ads налаштовуються в розділі «Проекти і експерименти». Він знаходиться в головному лівому меню.
Створюємо новий проект. Для цього вибираємо створену кампанію, називаємо проект, описуємо суть експерименту і зберігаємо зміни. Після цього переходимо в розділ «Експерименти в кампаніях» і натискаємо на «+ Новий експеримент».
Задаємо такі налаштування:
- назва та опис експерименту;
- дату початку та закінчення. Дату закінчення задавати необов'язково;
- експериментальну групу. Виділяється частка трафіку і бюджету вихідної кампанії. За замовчуванням в налаштуваннях зазначено частку 50%.
Після підтвердження створення експерименту, нова кампанія йде на перевірку до 24 годин, і опісля з моменту запуску її можна відрізнити по окремому значку позначки кампанії:
Визначте терміни експерименту
З низьким трафіком доводиться бути терплячим. Особливо з огляду на те, що термін досягнення статистичної значимості навіть з невисоким рівнем довіри заздалегідь невідомий.Як ми вже говорили, калькулятор довірчого інтервалу підкаже, що пора завершувати тест, але розраховувати, що це станеться за 1-2 тижні не слід. Слід приготуйтеся до того, що на експеримент піде як мінімум пара місяців: зазвичай він того вартий.
Не економте бюджет на тестування
Чим нижче бюджет на рекламу, тим менше переходів на сайт отримає рекламодавець. Тому при запуску A / B-тестування не рекомендується встановлювати обмеження бюджету. Навпаки, потрібно готуватися витрачати більше. На одне оголошення слід виділити мінімум 300 - 500 грн. Але для деяких тематик цього може бути недостатньо. Бюджет на рекламу залежить від тематики, формату реклами, налаштувань націлювання, рекламної мережі. Чим більше конкурентна тематика, тим більше доведеться витратити на тестування оголошень.
Тест завершено, що далі?
Потрібно перевірити усі показники сайту, а не лише обрані для експерименту, та впевнитися, що варіант, який виграв, не вплине негативно на інші бенчмарки. Наприклад, один з ваших товарів почали купувати більше, але при цьому впали продажі в іншого, який приносить компанії більше грошей. Перед тим, як змінювати щось, важливо оцінити ефект на цілий ряд параметрів та контролювати усі взаємопов’язані показники. А що робити, якщо вам не вдалося отримати потрібний Detectable Effect? Припустимо, ви хотіли 5,5%, а отримали 5,2%. Ви можете продовжити тест, щоб перевірити, чи дійсно цей варіант продукту краще, але зверніть уваги на терміни. Якщо тестування затягнеться ще на місяць чи більше, оцініть об’єктивно його доцільність. Можливо, краще зупинити тест та запустити інший зі змінною, в якій ви впевнені більше.
Коли не варто робити A/B тести?
Зрозуміло, що А/В-тести не варто проводити для всіх без винятку проєктів. Щоб тест був успішним, а результати валідними, потрібний час, ресурси та великі об’єми трафіку. Таким чином, А/В-тест не варто запускати, якщо:
- це обійдеться вам надто дорого у порівнянні з тими змінами, заради яких ви плануєте його запускати;
- ви не зможете інтерпретувати результати;
- ви не можете виконати вимоги його правильного проведення.
А/В-тест – цінний інструмент у руках маркетологів, який дозволяє перевірити гіпотези очевидним шляхом та ухвалити об’єктивне рішення, засноване на реальних показниках. Позаяк цей метод – не панацея. У більшості випадків він більше допомагає не помилитися, але не знайти нову точку розвитку. Для тестування мікрокопій та незначних змін на сайті він не підійде, але буде корисним при перевірці гіпотез, що можуть дати значний приріст.
