Другие статьи
Автор статьи: Александр Ломша, COO компании «Лайкит»
A/B-тест сравнивает два варианта страницы или элемента, чтобы понять, какой лучше влияет на конверсию. Он не заменяет аналитику и не работает «на глаз»: нужны гипотеза, метрика и достаточная выборка. Ниже — как запускать тесты и не обмануться результатом.
Что такое A/B-тестирование и когда оно нужно
Пользователей случайно делят на группы: одна видит вариант A, другая — B. Затем сравнивают целевое действие: заявку, покупку, регистрацию. Если разница статистически значима, победивший вариант внедряют.
A/B нужен, когда есть трафик и понятная метрика, а изменение можно проверить. Если трафика мало или цель размыта, тест может не дать достоверного результата.
Гипотеза и метрика
Начните с гипотезы: «если изменить заголовок на более конкретный, больше людей нажмут CTA». Затем выберите одну основную метрику — конверсию в заявку, добавление в корзину, звонок. Дополнительные метрики помогают понять причину, но не должны подменять основную.
Формулируйте гипотезу так, чтобы её можно было опровергнуть. «Сделать красивее» — не гипотеза; «заменить абстрактный заголовок на конкретную выгоду» — уже да.
Как выбрать метрику
Основная метрика должна быть близка к бизнес-цели: заявка, заказ, звонок, регистрация. Вспомогательные — глубина просмотра, время на странице, клики по CTA — помогают понять причину, но не заменяют результат. Не выбирайте метрику, которую нельзя измерить корректно.
Как сформулировать гипотезу
Используйте структуру: «Если изменить X, то метрика Y вырастет, потому что Z». Это заставляет объяснить механизм, а не просто «сделать красивее». Гипотеза должна быть проверяемой и относиться к одной переменной.
Что тестировать
- Заголовок и оффер. Насколько понятно, что предлагается и почему это выгодно.
- CTA. Текст, цвет, размер и расположение кнопки.
- Форму. Количество полей, порядок, подсказки.
- Доказательства. Отзывы, кейсы, гарантии, логотипы.
- Структуру. Порядок блоков и навигацию.
- Мобильную версию. Отдельно от десктопа.
Не меняйте всё сразу: если изменений много, непонятно, что именно дало эффект. Один тест — одна гипотеза, один основной показатель и один сегмент. Так результат легче интерпретировать, внедрить и объяснить команде без лишних споров. Это особенно важно, когда тестов становится много и в них участвуют разные команды и подрядчики. Это упрощает сравнение результатов между собой и делает процесс прозрачнее и понятнее для всех участников проекта сайта.
Что не стоит тестировать
Не начинайте с мелочей, которые не влияют на решение: тень кнопки, оттенок фона, шрифт в подвале. Сначала проверяйте оффер, структуру и форму. Также не тестируйте одновременно слишком много изменений.
Что тестировать в первую очередь
Начните с первого экрана и формы: они сильнее всего влияют на заявку. Затем — CTA и доказательства. Мелкие визуальные детали оставьте на потом: они реже дают заметный эффект.
Как запустить тест
Как связать тест с аналитикой
Настройте цели и события до запуска. Проверьте, что в отчёте видны варианты A и B, а не только общий трафик. Если инструмент не передаёт данные корректно, результат теста будет недостоверным.
- Определите метрику и сегмент. Кто участвует и что считаем успехом.
- Подготовьте варианты. A — текущая версия, B — изменение.
- Проверьте технику. Разделение трафика, корректность аналитики, отсутствие ошибок.
- Запустите и не останавливайте раньше времени. Дождитесь достаточной выборки.
- Оцените результат. Сравните метрику и проверьте, нет ли сезонных или технических искажений.
- Внедрите победителя. Зафиксируйте выводы, чтобы не повторять тест.
Размер выборки и длительность
Тест должен накопить достаточно данных, чтобы разница не была случайной. Чем меньше трафика, тем дольше ждать. Не останавливайте тест в первый день, когда один вариант «вырвался вперёд»: это может быть шум.
Инструменты для A/B-тестирования
Инструментов много, но выбор сводится к трём вопросам: кто будет запускать тесты, что нужно измерять и насколько глубоко нужна интеграция с аналитикой.
| Инструмент | Сильная сторона | Кому подойдёт |
|---|---|---|
| VWO | Визуальный редактор, отчёты, поведенческие данные | Командам с полным циклом тестов |
| AB Tasty | Эксперименты, персонализация, сегменты | Маркетингу с несколькими аудиториями |
| Convert | Много тестов, таргетинг, редактор JS/CSS | Техническим командам и агентствам |
| Optimizely | Эксперименты и персонализация | Средним и крупным продуктам |
| Adobe Target | Омниканальная персонализация | Крупным компаниям |
| Crazy Egg | Простая настройка, тепловые карты | Небольшим командам и первым тестам |
Функции и тарифы у вендоров меняются, поэтому перед выбором проверяйте актуальные условия. Для простых тестов хватает визуального редактора; для SPA и сложных сценариев нужен инструмент с техническими возможностями.
Сегментация
Смотрите результат по сегментам: мобильные и десктоп, новые и вернувшиеся, разные каналы. Иногда общий результат нейтральный, но один сегмент выигрывает заметно. Главное — не подгонять выводы под удобный сегмент.
Как выбрать инструмент
Для простых тестов хватит визуального редактора. Для SPA, сложных сценариев и серверных изменений нужен инструмент с API и поддержкой разработчика. Проверьте интеграцию с аналитикой, сегментацию и стоимость на вашем трафике.
Ошибки A/B-тестирования
Как не сломать SEO
Варианты не должны создавать дубли и мешать индексации. Проверьте canonical, robots и скорость. Если тест меняет URL или контент, согласуйте это с SEO-специалистом.
- Остановка теста при первом «красивом» результате.
- Несколько изменений в одном тесте.
- Сравнение разных аудиторий или каналов.
- Игнорирование мобильной версии.
- Отсутствие фиксации результата и выводов.
Что делать после теста
Внедрите победивший вариант, зафиксируйте гипотезу и результат. Если тест не дал разницы, это тоже вывод: не тратьте ресурсы на повторение той же идеи. Следующая гипотеза должна опираться на данные.
Как избежать ошибок
Проверьте, что трафик делится корректно, аналитика считает цели, а варианты не ломают сайт. Убедитесь, что тест не пересекается с другими экспериментами. Ведите журнал гипотез и результатов.
Как считать результат
Сравнивайте конверсию, а не абсолютное число заявок: трафик в группах может отличаться. Смотрите доверительный интервал и не принимайте решение по одному дню. Если разница в пределах погрешности, тест не дал ответа.
Что делать при малом трафике
Тестируйте более крупные изменения, увеличивайте длительность или используйте последовательные периоды. Не пытайтесь «набрать» данные искусственно: это исказит результат. Иногда вместо A/B достаточно качественного анализа поведения.
Как документировать тесты
Ведите таблицу: дата, гипотеза, метрика, варианты, трафик, результат, решение. Это помогает не повторять неудачные тесты и видеть, какие изменения действительно работают. Через несколько месяцев вы получите базу знаний по своему сайту.
Как выбрать страницу для теста
Берите страницу с достаточным трафиком и понятной целью: лендинг, карточку услуги, страницу тарифа. Не начинайте с второстепенных разделов, где изменения сложно измерить.
Что считать успехом
Успех — не «вариант B понравился команде», а измеримое улучшение основной метрики без ухудшения ключевых показателей. Если конверсия выросла, но качество лидов упало, решение стоит перепроверить.
Частые вопросы
Сколько длится A/B-тест?
Зависит от трафика и метрики. Нужно дождаться достаточной выборки, а не фиксированного числа дней. Если трафика мало, тест может растянуться.
Можно ли тестировать без разработчика?
Простые изменения — да, через визуальный редактор. Сложные сценарии и SPA требуют участия разработчика.
Что делать, если результат неоднозначный?
Проверьте выборку, сегменты и технические искажения. Иногда лучше повторить тест или сформулировать новую гипотезу.
Влияет ли A/B на SEO?
При корректной настройке — нет. Следите за canonical, скоростью и тем, чтобы варианты не создавали дубли для поисковика.
Что делать дальше
Начните с одной гипотезы и метрики. Посмотрите структуру лендинга, методы роста конверсии и типичные ошибки лендинга. Если нужен полный цикл тестов — обсудите проект с командой разработки.
Услуга по теме: создание landing page
Кейс по теме: кейс «CDEK»