Нажмите на Enter чтобы посмотреть все результаты
Закрыть поиск
A/B-тесты применяют маркетологи для оптимизации конверсии. Часто результаты таких экспериментов вводят в заблуждение предпринимателей: клики и открываемость вроде увеличились, а денег всё ещё нет. В статье расскажем, как работает этот метод, на что обратить внимание при запуске и почему в большинстве случаев этот инструмент вообще не нужен вашему бизнесу.
A/B-тест — это эксперимент, в котором две версии сайта, кнопки, письма или рекламы сравниваются между собой, чтобы понять, какая работает лучше. Обычно тестируют два варианта, больше редко, так как это сложнее и дольше. Допустим, что у вас есть сайт, где люди заказывают пиццу. Вы хотите понять, какая акция лучше привлечёт клиентов, и создаёте две версии страницы с такими акциями:
Запускаете тест: половина посетителей видит вариант А, а другая половина — вариант Б. Через неделю смотрите результаты:
Быстрый вывод: скидка 30% работает лучше, чем третья пицца в подарок. Значит это сообщение можно использовать и в других каналах: таргет, баннеры и соцсети.
В A/B-тестах чаще всего измеряют ключевые метрики, которые влияют на бизнес-цели. Если тестируете кнопку на сайте, смотрите кликабельность и конверсию, если заголовок в рассылке, то открываемость, а если страницу тарифов — средний чек и конверсию в покупку.
В первую очередь нужно сделать много подготовительной работы, которая напрямую влияет на продуктивность эксперимента.
Шаг 1. Осознать, что есть какая-то проблема и что её нужно решить.
Пример проблемы: у сайта больше тысячи посетителей ежедневно, но целевое действие совершают лишь 20−30, попробуем проверить, не влияет ли на это слишком длинный лендинг → тестируем тот же лендинг, но без одного блока.
Пример отсутствия проблемы: у сайта стабильная конверсия в 10−15%, высокий показатель для конкретной ниши, бизнес стабильно зарабатывает. Если сайт и так работает хорошо, нет причины менять дизайн кнопок, заголовки или основной текст.
Если у сайта уже есть стабильный поток трафика, то стоимость привлечения новых посетителей со временем будет только расти. Это естественный процесс, и с ним ничего не поделаешь — такова реальность. Поэтому когда стоимость привлечения приближается к предельной или когда захвачен весь возможный трафик, приходится искать выходы, как получить новых пользователей за те же ресурсы.
Шаг 2. Придумать гипотезы.
Когда проблема стала понятна, нужно придумать гипотезы, как её решить: что такого можно сделать на сайте, чтобы повысить конверсию из переходов в лид.
Лид — это клиент, который заинтересовался, но ещё не купил
Гипотезы должны на чём-то основываться, иначе ни одна из них в 99% случаев не сработает. Они должны отталкиваться от целевой аудитории продукта. Эти люди и помогут понять, какие именно гипотезы нужно будет тестировать.
Тут есть 2 способа:
В статье про пользовательские боли рассказали, как общаться с людьми, чтобы они говорили правду. Читайте, чтобы узнать, как избежать бесполезных ответов и не потерять время зря.
Шаг 3. Отранжировать гипотезы.
По сложности в тестировании, влиянию на результат и вероятности успеха. Для ранжирования у маркетологов есть специальный фреймворк, покажем, как он выглядит в заполненном варианте.
На основе этого фреймворка можно определить, какие гипотезы тестируются быстро, недорого и какие с наибольшей вероятностью дадут результат.
Шаг 4. Собрать рабочую группу.
Если сайт сделан на Тильде, то собрать новые блоки для теста можно и самому. Но если сайт на Битриксе или WordPress, то без разработчика и дизайнера уже не обойтись. Дизайнер сделает новый макет для сайта, а разработчик настроит корректную работу самого теста: одна половина трафика увидит один вариант, а вторая — другой.
Проводить тестирование можно через сервис Яндекс Метрика. Заходим на сайт, на панели в левой части экрана нажимаем «Вариокуб», а потом — «Эксперименты».
Откроется окно, где можно настроить эксперимент.
Заполняете все поля здесь, а затем переходите к метрикам, которые будут отслеживаться во время эксперимента.
Последний этап — отредактировать макет сайта под гипотезу, которую будете проверять. Этим занимается разработчик после того, как дизайнер отрисует новый шаблон.
И прежде чем делать выводы, нужно убедиться, что тесту можно доверять.
Почему не каждый тест достоверный. Есть такая штука — статистическая значимость. Это математическая величина, которая подтверждает, что событие не случайно. Если вы подбросите монетку 3 раза, все 3 раза может выпасть решка. Согласитесь, рано делать вывод, что решка выпадает с вероятностью 100%.
Если подбросить монетку сто раз, данные будут точнее. Если тысячу, ещё точнее. Также и с A/B-тестами. Если 2% людей стали чаще нажимать на кнопку «купить» — это не значит, что продажи вырастут на 2%, пока мы не проверили статистическую значимость.
Статистическая значимость в а/б-тесте проверяет, достаточное ли количество человек прошло через эксперимент, и подтверждает достоверность результата.
Это можно проверить в специальном калькуляторе, в интернете их много. В калькулятор вы заносите:
И калькулятор выдаст результат — можно ли верить и какой из вариантов сработал лучше.
Какая разница в конверсии считается хорошей. Всё зависит от изначальной средней конверсии. Если она была 1%, а A/B-тест увеличил её до 2%, то разница будет двукратной. Но если было 25%, а стало 26%, результат уже не будет таким весомым.
Большое значения имеет здесь и тип бизнеса: для интернет-магазина увеличение конверсии с 1% до 2% будет очень значимым, а вот для лендинга с записью на вебинар увеличение с 25% до 26% не будет играть практически никакой роли. Таким образом, для разной конверсии ценность одного дополнительного процента будет разной.
Когда достигли статистической значимости и собрали достаточное количество данных. Основные критерии для завершения теста такие:
✅ Достаточный объём трафика. Для A/B-тестов должно быть большое количество пользователей, если у вас их мало, тест может идти долго. Например, для лендинга с 1000 посетителей в день тест может занять 1−2 недели, а для сайта со 100 посетителями — несколько месяцев.
✅ Стабильность результатов. Если результаты перестают значительно колебаться и вы видите чёткий тренд, это сигнал, что тест можно завершать и внедрять лучший вариант.
✅ Время. Минимальный срок теста — 7 дней: так учтёте поведение пользователей в разные дни недели, например, в выходные трафик может отличаться.
Не заканчивайте тест слишком рано, даже если один вариант кажется явно лучше. Данные в первые дни теста могут быть случайными. Если внедрите новый вариант, можете сильно уронить конверсию или остаться на том же уровне.
❌ Тестируют бесполезные гипотезы. Например, цвет кнопки, фона или картинку на главном экране сайта. В этом нет никакого смысла, только если после интервью с целевой аудиторией, люди не сказали, что цвет стрёмный 🙂 Гипотезы должны всегда опираться на какое-то знание, которое вы получите от целевой аудитории, иначе проводить эксперименты бессмысленно и дорого.
❌ Останавливаться, не получив быстрого результата. Средняя статистика для A/B-тестов — 1 успешный эксперимент из 10. Большинство гипотез всегда оказываются ошибочными, поэтому нужно перебрать минимум 10 штук, чтобы найти что-то рабочее и стоящее.
Начинающему бизнесу лучше позаботиться о других вещах, которые будут более важны для развития, чем проведение A/B-тестов.
Первым делом нужно исследовать целевую аудиторию. На базе этого исследования строится сам продукт и его уникальное торговое предложение: то, что будет выделять нового игрока на рынке от конкурентов. Здесь советуем прочитать ещё одну нашу статью про метод Jobs to be done: он помогает узнать потребности людей, но не совсем привычно.
A/B-тесты бессмысленны, если нет трафика и анализа данных. Тесты кто-то должен проходить, а если на сайте не набирается и 500 пользователей в месяц, то проводить эксперименты бессмысленно: они не дадут никакой пользы. Дайте новому продукту время, собирайте дешёвый трафик, а когда упрётесь в стену, то там уже можно задуматься о каких-то тестах.
Для A/B-тестов нужна дорогая команда. Потребуются, как минимум, разработчик и дизайнер, а, возможно, ещё и маркетолог.
Нельзя тестировать всё подряд. A/B-тесты лучше всего работают в онлайне, где можно чётко разделить аудиторию, например, показывать разным людям две версии сайта. В офлайне сделать это сложнее. В разные промежутки времени меняется настроение клиентов, спрос, и предложения конкурентов. Чистый эксперимент не получится.
Анализ конкурентов. Один из самых простых и недорогих методов, который может дать полезные инсайты вашему бизнесу. Просмотрите сайты конкурентов, рекламные компании, проанализируйте, откуда у них идёт трафик через SimilarWeb. Адаптируйте под себя то, что работает лучше всего. Для анализа конкурентов часто не нужны вообще никакие вложения, кроме времени.
Качественные исследования. Опросы и интервью с клиентами — ценные источник рекомендаций. Ещё раз советуем прочитать статью про пользовательские боли, чтобы эти разговоры были действительно полезными.
Оптимизация на основе здравого смысла и опыта. Не всегда нужны сложные тесты и исследования, чтобы принять правильное решение. Иногда достаточно опираться на опыт, интуицию и здравый смысл. Кто, как не предприниматель, понимает потребности своей целевой аудитории и знает, что нужно делать, чтобы их удовлетворить. Делайте осознанные изменения и следите, к чему они приведут.
