А/Б тестирование для страниц захвата

 С чего начать  А/Б тестирование

Первую часть статьи, читайте здесь

Итак, перейдем от теории к практике. Предположим, вам нужен лендинг пейдж, но вы никак не можете выбрать один из четырех вариантов дизайна для неё. Казалось бы, достаточно запустить сплит-тестирование четырех страниц с разным дизайном и оценить результат. Такой шаг будет более чем ошибочен: вы не сможете четко понять, что именно повлияло на показатель конверсии.

Но не забывайте, A/B/n-тестирование всегда дает очень простые и понятные результаты, поэтому лучше поступить следующим образом: сначала протестировать по 2 страницы, оценить, кто есть «победитель» в каждой паре, а затем сделать сплит-тестирование полученной пары. Напоминаем, запускать тест можно только в том случае, если у целевых страниц отличается лишь один параметр: заголовки, кнопки, структура меню и пр.

Страницы подобраны, параметры определены, что дальше?

А дальше очень важно не допустить промах, который принято называть «нулевой гипотезой». Чтоб правильно оценить лендинг пейдж, нужен и правильный подход. Запускайте сплит-тестирование так, чтоб результат был статистически значимым.


Если говорить проще, очень важно не торопиться с интерпретацией данных


Грубо говоря, если вы достигли целей/конверсий всего 10-20 раз, это нельзя расценивать как обоснованный результат. Основы теории вероятности гласят, что ранняя статистическая выбора всегда имеет погрешность в ту или иную сторону.

А/Б тест

Вспомните простой тест с монетой: что выпадет – орел или решка? Теоретически, шансы тут 50 на 50. Но на практике в какой-то момент орел может начать выпадать чаще, затем чаще будет выпадать решка.

В результате, естественно, мы оценим вероятность выпадения и орла, и решки как 50 на 50. Но если поторопиться, то выйдет 60 на 40, 30 на 70 и так далее. Схожая ситуация и со сплит-тестированием. Чтоб достичь действительно значимых результатов, A/B-тест нужно проводить достаточно долго – от 100 достижений целей по каждому тестируемому варианта. И не переживайте, если изначально система тестирования покажет результаты не 50 на 50. Со временем трафик перераспределится, и показатели максимально приблизятся к этой цифре.

Примечание: тест считается оконченным в том случае, если вероятностно (исходя из траффика) новый вариант целевой страницы превосходит изначальный на 95%. Помните, что счет посещений может идти на тысячи, но такие цифры вовсе не требуются, поскольку большинство систем А/В теста уже оснащены методом вычисления победителя.

Теперь рассмотрим ситуацию, когда вы задумываетесь над оценкой сразу нескольких параметров.

Обычно над изготовлением лендинг пейдж трудится достаточно большая команда, которая старается максимально четко выполнить вс

е требования заказчика. Но возникают такие ситуации, когда страница используется достаточно долго и требуется её модернизировать. Чаще всего пользователи вспоминают про так называемое мультивариантное тестирование или MVT. Казалось бы, идеальный метод, который проверяет одновременное изменение сразу нескольких элементов лендинг пейдж за счет комбинации вариантов. Но вот в чем сложность: для MVT требуется широкий канал трафика, да и времени понадобится немало. Один из экспертов HubSpot, Кори Эридон, советует вот что:

«A/B-тестирование хорошо в тех случаях, когда нужно получить данные быстро и с малым трафиком. Самое важное – это понимать, что привело к увеличению показателя конверсии. В случае с мультивариантным тестированием времени и ресурсов потребуется больше, но он упростит тонкую настройку страницы».

А/Б тест

К слову, сегодня бытует миф, что применение А/В тестирования снижает рейтинг страницы в поисковых системах, поскольку робот-поисковик считает оба тестируемых варианта, как дублированный контент. Но если задуматься, тогда почему действует система со сплит-тестированием Google Website Optimizer? Да и, в конце концов, существует более чем простой, но действенный тег для поисковых роботов «no index» (если предыдущий аргумент не так убедителен.)

 Выполняем сплит-тестирование

Переходим к запуску сплит-тестирования. Еще раз напоминаем, что не надо торопиться с оценкой данных. Результаты, полученные на первых этапах теста, более чем несостоятельны. Только когда получена необходимая статистическая значимость (как уже писалось выше, в 95%, например), можно проверять исходную гипотезу.  Причем оценивать полученную информацию стоит как независимый и объективный наблюдатель. Если где-то допущена ошибка – исправьте её.

Если что-то изменили – проследите, есть ли связь между этими изменениями и результатом. И не стесняйтесь ограничивать рамки эксперимента. Поверьте, если вам нужен лендинг пейдж, который действительно будет работать так, как необходимо, то лучше задавать как можно меньше переменных. Даже опытные специалисты испытывают сложности, оценивая эффективность 3 или 4 изменений на страничке.

Оцените статью:
Не интересноБаянСреднячокБравоИдеально (голосов 19, средний: 4,11 из 5)
Загрузка...

Хотите создать landing page?

Получите доступ к серии из 8 видео уроков о том, как проверить подрядчика при создании landing page.