A/B-тест:
как проверить
гипотезу
От гипотезы до решения: как разделить аудиторию, рассчитать выборку и понять, что на самом деле показал эксперимент.
Проверить данные.
Принять решение.
Пошаговое руководство для владельцев сайтов и маркетологов. Ссылки на инструменты, учебные расчёты и разбор ошибок, которые приводят к ложным выводам.
Что такое A/B-тестирование
A/B-тестирование — эксперимент, в котором участникам случайным образом назначают разные версии продукта и сравнивают заранее выбранный результат. Обычно A — действующая версия сайта, B — вариант с изменением. Обе группы участвуют одновременно: у них одна распродажа, одни выходные и одна внешняя обстановка.
Например, магазин хочет показывать срок доставки рядом с ценой, а не только в корзине. Одни посетители видят прежнюю карточку, другие — карточку с новым блоком. Команда проверяет, изменилась ли доля покупателей. Сам факт, что во второй группе покупок больше, ещё не доказывает эффект: группы могут различаться по размеру, данные — теряться, а небольшое колебание — возникнуть случайно.
Если сначала показать старую страницу всем, а через неделю заменить её новой, одновременно изменится и время наблюдения. Рост продаж может объясняться рекламой или сезонностью. Такое наблюдение помогает искать гипотезы, но его нельзя представлять как результат случайного параллельного эксперимента.
Тест может сравнивать один элемент или две целостные версии. При замене только текста кнопки вывод относится к этому тексту. Если одновременно изменились предложение, иллюстрация и форма, результат относится ко всему набору. Нельзя приписать его одному удачному заголовку. На обложке показан именно принцип сравнения двух версий, а не интерфейс конкретного сервиса.
Выберите проблему и запишите карточку эксперимента
Начните с наблюдений: вопросов покупателей, ошибок в форме, записей сеансов, различий между этапами воронки. Формулировка «сделаем современнее» не объясняет, какую трудность решает новый вариант. Для страницы услуги содержательнее проверить, помогает ли понятный состав работ посетителю отправить подходящий запрос.
Запишите: «Мы наблюдаем [затруднение]. Если изменить [конкретный участок], то [метрика] изменится, потому что [предполагаемый механизм]». Механизм остаётся предположением: сам тест покажет изменение результата, но не прочитает мысли посетителя. Для объяснения поведения пригодятся интервью и наблюдение за выполнением задачи.
| Поле | Что записать до запуска |
|---|---|
| Проблема | Покупатели спрашивают срок доставки после просмотра карточки. |
| Изменение | В B показать рассчитанный срок доставки рядом с ценой. Остальные условия покупки сохранить. |
| Аудитория | Посетители выбранных карточек, для которых доступен расчёт доставки. Условия участия одинаковы. |
| Главный результат | Доля назначенных участников с подтверждённой покупкой за согласованное окно наблюдения. |
| Ограничения | Контролировать отмены, доходность заказа, ошибки оформления и скорость страницы. |
| План анализа | Две группы, постоянное соотношение 50/50, расчёт выборки, срок, метод анализа и правило завершения. |
| Ответственные | Кто проверяет данные, кто принимает решение и кто возвращает прежнюю версию при сбое. |
Приоритизируйте гипотезы по масштабу проблемы, числу затронутых клиентов, стоимости реализации и возможности измерения. Поломанная отправка заявки требует исправления. А полезность дополнительного поля или нового объяснения цены можно исследовать экспериментом. Не расходуйте месяц наблюдений на изменение, которое даже при успехе почти ничего не даст бизнесу.
Определите основную метрику и ограничения
Для первого теста удобно выбрать одну основную метрику, которая отвечает на деловой вопрос. Остальные разделить на диагностические и защитные. Диагностические помогают увидеть, на каком шаге изменилось поведение. Защитные показывают, какой ущерб недопустим даже при росте главного показателя.
| Сценарий | Основная метрика | Что проверить дополнительно |
|---|---|---|
| Форма B2B-заявки | Подтверждённые подходящие обращения на участника. | Спам, дубли, нагрузка на менеджеров, потеря контактов. |
| Карточка товара | Покупатели на участника либо другой заранее обоснованный бизнес-показатель. | Возвраты, маржинальный доход, ошибки оплаты. |
| Объяснение тарифа | Оплаченные подключения на участника за заданный срок. | Отмены, обращения в поддержку, выручка на участника. |
Знаменатель зафиксируйте до старта. Если эксперимент меняет переход к форме, нельзя сравнивать только тех, кто уже дошёл до неё: само изменение влияет на попадание в этот отбор. Основной анализ должен следовать заранее заданному правилу включения участников. Для бинарной конверсии один участник считается сконвертировавшимся один раз, даже если отправил три обращения.
Проверьте событие на успешной операции, а не на нажатии кнопки. Сопоставьте тестовую отправку с записью в CRM и убедитесь, что повторная загрузка страницы не добавляет ещё одну конверсию. Вариант эксперимента должен корректно связываться с результатом. Подробнее о единицах расчёта — в руководстве по конверсии сайта; для передачи статусов продаж может понадобиться интеграция с CRM.
Заявок стало больше, подходящих клиентов — меньше
При одинаковой аудитории A принёс 100 заявок, из которых 60 подходят компании. B принёс 140 заявок, но подходящих только 42. Общий объём вырос на 40%, число полезных обращений снизилось на 30%. Оценка по отправкам формы скрыла бы ухудшение.
Рассчитайте, сколько участников нужно
Универсального правила «достаточно ста конверсий» нет. Для планирования нужны текущий уровень метрики, минимальный обнаруживаемый эффект — MDE, допустимый риск ложного срабатывания и мощность теста. Чем меньшую разницу нужно различить на фоне шума, тем больше наблюдений потребуется.
MDE — эффект, на обнаружение которого рассчитан эксперимент при выбранной мощности. Это не обещание роста и не нижняя граница фактического результата. Мощность 80% означает вероятность обнаружить именно заданный эффект при принятых предпосылках, если он существует. Порог значимости α = 5% относится к процедуре проверки при отсутствии эффекта, а не к вероятности того, что конкретный вывод ошибочен.
Пример в калькуляторе Evan Miller
- Откройте Sample Size Calculator.
- В Baseline conversion rate укажите 4 — текущую конверсию 4%.
- В Minimum Detectable Effect поставьте 1 и выберите Absolute: разница в один процентный пункт. Для роста до 5% это относительное изменение на 25%.
- Проверьте Statistical power — 80%, Significance level — 5%.
- Сохраните параметры вместе с результатом. При проверке этой комбинации калькулятор показал 6 238 участников на вариант, а не на весь эксперимент.
Это расчёт конкретного калькулятора для конверсионной метрики. Другие методы могут дать несколько иной объём; выручка, повторные события, кластеризация по компаниям и неравные группы требуют своего расчёта. Планирование согласуйте с методом, которым затем будете анализировать результат. Нельзя вставить число заказов в инструмент для независимых пользователей и считать задачу решённой.
Как перевести выборку в срок
Для учебного плана округлим объём до 6 500 человек в каждой группе: всего 13 000. Если ежедневно в эксперимент впервые входят 1 000 подходящих участников, набор займёт приблизительно 13 дней. Если только 200 — около 65 дней. Общая посещаемость сайта не подходит для этого расчёта, когда тест видят лишь некоторые посетители.
Добавьте к расчёту полные характерные для бизнеса циклы и время, за которое завершается целевое действие. Если покупку учитывают в течение семи дней после попадания в тест, последнему участнику тоже нужно дать семь дней. «Прошло две недели» само по себе не подтверждает достаточность данных. Не меняйте требуемую выборку после просмотра понравившегося результата.
Как подготовить эксперимент в Varioqub
Для сайта с Яндекс Метрикой можно использовать Varioqub. Перед подключением проверьте доступные функции своего тарифа и ограничения выбранного способа внедрения. Визуальный редактор удобен для простых изменений страницы; изменение серверной логики требует участия разработчика. Аналитический отчёт без механизма распределения посетителей сам по себе A/B-тест не создаёт.
- В Метрике выберите счётчик нужного сайта и откройте Вариокуб → Эксперименты.
- Через Код для сайта получите способ подключения. Разработчик должен установить его для правильного счётчика и проверить загрузку. Порядок для JavaScript, менеджера тегов и API есть в инструкции подключения.
- Нажмите Создать эксперимент. Укажите понятное название, например «Срок доставки в карточке — сентябрь», и описание гипотезы.
- Для описанного здесь обычного параллельного теста выберите равное распределение. Задайте условия участия, страницы, период, контроль и изменённый вариант, затем метрики.
- Проверьте оба варианта и сохраните настройки. Сверьте конфигурацию с карточкой эксперимента по официальному порядку создания.
Динамическое распределение трафика — отдельный режим: аудитория вариантов меняется по мере накопления результата. Его нельзя без поправок анализировать как описанный здесь тест с постоянным соотношением групп. Для проверки первой гипотезы не усложняйте дизайн эксперимента без ясной необходимости.
Перед запуском проверьте назначение варианта
Один и тот же участник должен получать согласованный вариант при повторных посещениях. Для авторизованного продукта это может быть ID пользователя; для B2B-системы иногда нужна единица «компания», чтобы её сотрудники не видели конфликтующие интерфейсы. Случайный выбор при каждой перезагрузке страницы эту задачу не решает.
Зафиксируйте, как учитываются несколько устройств, удаление cookies и вход в аккаунт. Проверьте назначение, фактический показ варианта и запись результата. Эти события могут происходить в разные моменты. Для команды полезен короткий журнал проверки: тестовый участник, назначенная группа, увиденная версия, выполненное действие, найденная запись.
Проверьте A/A, размеры групп и работу сайта
A/A-тест показывает двум группам одинаковую версию. Он помогает проверить инфраструктуру: распределение, регистрацию показов, цели и связь с продажами. Единичное значимое различие возможно и при исправной системе, поэтому это сигнал для исследования, а не автоматическое доказательство поломки. Обратное тоже верно: один спокойный отчёт не гарантирует отсутствие всех ошибок.
Отдельная проверка — Sample Ratio Mismatch, SRM: соответствует ли фактическое распределение участников запланированному. Небольшое отклонение от 50/50 естественно; оценивать его нужно с учётом размера выборки. В разборе Microsoft Research SRM рассматривается как признак возможной ошибки назначения, выполнения, сбора или обработки данных. При обнаруженном перекосе сначала выясняют причину, затем интерпретируют бизнес-метрики.
- Обе версии: проверить покупку, формы, валидацию, навигацию и передачу данных.
- Устройства: пройти сценарий на телефоне и компьютере, включая повторный визит.
- Загрузка: проверить, нет ли мерцания исходного варианта, сдвигов и ошибки скрипта.
- Учёт: убедиться, что одинаковое действие регистрируется по одним правилам.
- Пересечения: выяснить, не меняет ли другой эксперимент этот же участок воронки.
Не «выравнивайте» группы удалением неудобных записей. Если данные B теряются из-за сломанной загрузки, удаление части A скроет симптом, но не восстановит неизвестные результаты. Исправьте причину и решите, какие данные ещё пригодны. При изменении логики эксперимента обычно нужен новый запуск с отдельно сохранённым протоколом.
Как читать конверсию, эффект и неопределённость
В Varioqub откройте список экспериментов и выберите Посмотреть результат. Сверьте период, метрику и аудиторию с планом. Назначение показателей и особенности расчёта описаны в справке отчёта. Методы платформы могут отличаться от простого калькулятора двух долей; несовпадение чисел требует проверки определений, а не выбора более приятной оценки.
| Показатель | A | B |
|---|---|---|
| Участники | 10 000 | 10 000 |
| Совершили покупку | 400 | 480 |
| Конверсия | 4% | 4,8% |
Абсолютная разница — 0,8 процентного пункта. Относительный прирост — 20%: (4,8 − 4) / 4 × 100%. Это разные способы выразить один результат. Формулировка «рост на 0,8%» без уточнения неоднозначна.
Для этих учебных чисел приближённый двухсторонний z-тест двух долей даёт p ≈ 0,0058, а обычный 95%-й интервал разницы по нормальному приближению — примерно от +0,23 до +1,37 процентного пункта. Предполагаются независимость участников, фиксированный план и отсутствие поправок за множество сравнений. Для редких событий, зависимых наблюдений или последовательного анализа нужны подходящие методы.
Что означает p-value
p-value описывает, насколько необычны наблюдаемые или более выраженные данные при гипотезе отсутствия эффекта и предпосылках модели. Значение 0,03 не означает «вероятность, что B лучше, — 97%». Оно также не измеряет размер пользы. Эти ограничения прямо отмечает Американская статистическая ассоциация.
Смотрите на величину эффекта и диапазон неопределённости. Если интервал допускает и заметный вред, и заметную пользу, данных мало для уверенного решения. Если почти весь диапазон близок к нулю, крупное улучшение выглядит менее правдоподобным в условиях такого теста. Отсутствие значимости не доказывает равенство вариантов: для заключения об эквивалентности нужен отдельный план.
«В запланированной аудитории B изменил покупательскую конверсию с 4% до 4,8%. Оценка прироста — 0,8 п. п.; диапазон неопределённости указан в отчёте. Распределение и данные проверены. До внедрения оцениваем отмены, экономику и стоимость поддержки». Это содержательнее, чем «B победил с вероятностью 99%».
Когда останавливать тест и принимать решение
При фиксированном плане нельзя завершать эксперимент в первый день, когда p-value оказался ниже порога. Повторные попытки поймать «значимость» меняют вероятность ложного вывода. Наблюдать за технической исправностью можно и нужно; принимать решение об эффективности следует по выбранному заранее правилу. Проблему такого досрочного завершения разбирает Evan Miller.
Последовательные методы допускают промежуточные решения по своим правилам. Это специальный статистический план, а не обычный тест с ежедневным просмотром таблицы. Не переносите пороги и трактовки из одного метода в другой. Байесовская вероятность также не равна «1 − p-value».
| Ситуация | Следующее действие |
|---|---|
| Практически полезный эффект, данные исправны | Проверить ограничения, выпустить изменение постепенно, наблюдать после внедрения. |
| Есть существенный вред | Остановить опасное изменение, сохранить причину и данные. Не маскировать аварийную остановку под запланированный итог. |
| Результат неопределённый | Описать диапазон возможного эффекта. Новую выборку или новый тест планировать отдельно. |
| Данные повреждены или назначение групп нарушено | Разобрать причину; не объявлять победителя по недостоверному отчёту. |
После решения сохраните гипотезу, параметры, даты, версии, объём, расчёт, ограничения и ссылку на результат. Уберите временные механизмы показа и проверьте рабочий сценарий ещё раз. Успех на карточках одного сегмента не доказывает пользу для всего сайта; перенос изменения требует оценки похожести условий.
Как проводить тест без лишних проблем для SEO
Google публикует рекомендации для тестирования сайтов. Для обычного теста вариантов страниц проверьте четыре вещи:
- Не создавайте специальное содержание исключительно для поискового робота. Эксперимент не оправдывает маскировку.
- Если варианты находятся на разных URL, укажите с альтернативных страниц
rel="canonical"на исходную страницу. - Для временного перенаправления посетителей на вариант используйте 302, а не постоянный 301.
- После завершения уберите временные варианты, переключатели и перенаправления, которые больше не нужны.
Проверьте реальную выдачу HTML, сохранение пути и загрузку ресурсов. Инструкции по проверке canonical и редиректов помогут сформулировать задачу разработчику. Это правила технической реализации, а не гарантия неизменности позиций.
Обычный пользовательский A/B-тест измеряет поведение посетителей. Для оценки SEO-изменений по органическому трафику нужен иной дизайн исследования, часто с группами страниц и учётом временной динамики. Рост покупок в варианте B не доказывает, что он получит лучшие позиции.
Что чаще всего делает вывод ненадёжным
- Разные каналы вместо случайных групп. Поиск направлен в A, реклама — в B. Сравниваются разные аудитории.
- Замена метрики после запуска. Продажи не выросли, зато нашёлся красивый показатель кликов. Такой поиск может породить новую гипотезу, но не заменяет исходный результат.
- Множество вариантов и срезов без поправок. Из десятков сравнений проще случайно получить убедительное число. Подход к множественной проверке нужно определить заранее.
- Изменение B посреди набора. Под одним именем объединены разные версии. Храните историю и отделяйте эксперименты.
- Неодинаковое окно конверсии. Первые участники наблюдались месяц, последние — час. Сравнивайте по согласованному правилу.
- Решение только по среднему. Общий прирост может скрывать важный ущерб, например на мобильных. Заранее определённые ограничения проверяют обязательно; найденные после запуска сегментные эффекты подтверждают отдельно.
Внешняя акция не делает любой параллельный тест автоматически бесполезным, если она одинаково затрагивает случайно сформированные группы. Но вывод будет относиться к аудитории и условиям этой акции. Отметьте событие в протоколе и не переносите результат на обычный сезон без дополнительного обоснования.
Что делать, если трафика не хватает
Сначала честно посчитайте срок. Если для небольшого изменения потребуется год, качество решения не повысится от названия «A/B-тест». Исследуйте путь клиента: дайте представителям аудитории выполнить задачу, разберите обращения в поддержку, проверьте форму и условия предложения. Такие методы находят причины затруднений, хотя не дают статистическую оценку прироста продаж.
Можно проверить более содержательную гипотезу, если она действительно обоснована. Больший ожидаемый эффект потенциально проще обнаружить, но менять цифру MDE ради удобного срока нельзя. Общий эксперимент на однотипном шаблоне помогает собрать аудиторию только при корректном назначении вариантов и учёте зависимостей. Произвольное сравнение двадцати популярных товаров с двадцатью редкими не станет честным тестом.
Промежуточная метрика может набираться быстрее, но ответ будет относиться к ней. Рост переходов к форме не равен росту выручки. Решение при недостатке данных принимайте с явно указанной неопределённостью и планом наблюдения. Для системной работы гипотезы, аналитику и внедрение можно объединить в performance-маркетинге, а изменения интерфейса — в развитии сайта.
Чек-лист перед запуском и внедрением
Частые вопросы об A/B-тестах
Сколько должен длиться A/B-тест?
Столько, сколько нужно для запланированной выборки, характерных циклов поведения и окна конверсии. Эти условия определяют заранее. Одинаковый срок для магазина с тысячами покупателей и B2B-сайта с несколькими заявками в неделю не подходит.
Можно ли менять несколько элементов одновременно?
Да, если проверяется целая версия страницы или сценария. Тогда вывод относится ко всему изменению. Для разделения эффектов нескольких факторов нужен соответствующий дизайн, например факторный эксперимент, и достаточный объём данных.
Что означает результат «разницы нет»?
Обычно это означает, что выбранный анализ не выявил различие при полученных данных. Проверьте интервал неопределённости и чувствительность. Равенство вариантов или отсутствие любого полезного эффекта из этого автоматически не следует.
Чем A/B/n отличается от многовариантного теста?
A/B/n сравнивает несколько целостных версий с контролем. Факторный многовариантный тест исследует комбинации нескольких изменений и их взаимодействие. Больше вариантов означает новые требования к выборке и контролю множественных сравнений.
Нужно ли всегда проводить A/A перед A/B?
A/A особенно полезен при первом подключении платформы или изменениях в сборе данных. Он дополняет проверку инфраструктуры. Повторять полный A/A перед каждым небольшим тестом без причины не обязательно, а единичная проверка не заменяет дальнейший контроль.
Можно ли принять решение без статистически значимой победы?
Да, например выбрать более простой в поддержке вариант. Но решение нужно так и описать: оно основано на стоимости или удобстве, а рост продаж экспериментом не подтверждён. Неопределённый результат нельзя превращать в доказанный успех.
ПРОВЕРИМ ГИПОТЕЗЫ РОСТА
ВАШЕГО САЙТА
Разберём воронку и качество аналитики, оценим доступную аудиторию и подготовим план эксперимента с понятными условиями принятия решения.