A/B тестирование: как принимать решения, а не гадать на кофейной гуще

Представьте: вы изменили цвет кнопки на сайте, добавили новое изображение или переписали заголовок. Как узнать, что это сработало и принесло результат, а не отпугнуло пользователей? Ответ прост — с помощью A/B тестирования.

Что это такое?

A/B тестирование — это метод, который позволяет сравнить две версии одной страницы (или другого элемента) и определить, какая из них работает лучше. Одной группе пользователей показывают вариант А (контрольный), другой — вариант В (тестовый). Затем анализируют их поведение и выбирают победителя на основе данных, а не интуиции.

Зачем это нужно?

Чтобы перестать действовать вслепую. A/B тесты помогают:

Увеличить конверсию: понять, какой призыв к действию, форма или дизайн лучше побуждают пользователей к покупке, подписке или другому целевому действию.
Снизить риски: проверить гипотезу на части трафика, прежде чем внедрять изменение для всех.
Улучшить пользовательский опыт: узнать, что на самом деле нравится вашей аудитории.

Что можно тестировать?

Практически любой элемент, который видит пользователь: заголовки, тексты, изображения, цвет и размер кнопок, формы заявок, цены, структуру меню и многое другое.

Как это работает?

Сформулируйте гипотезу. Например: «Если изменить текст кнопки с «Купить» на «Заказать со скидкой», то конверсия увеличится, потому что пользователи увидят выгоду».
Создайте варианты и запустите тест. С помощью специальных сервисов вы показываете разные версии случайным посетителям.
Соберите достаточный объём данных. Главная ошибка новичков — остановить тест слишком рано. Нужно дождаться статистической значимости результатов, чтобы быть уверенным в их достоверности.
Проанализируйте результаты и примите решение. Ваш инструмент покажет, какой вариант набрал лучшие результаты с заданным уровнем достоверности (например, 95%). Победитель внедряется для всех пользователей.

Создание эксперимента

Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу. Запускается эксперимент, в котором контрольная группа видит старую версию, а экспериментальная группа — новую.

Каждый пользователь видит только один вариант дизайна (A или B), даже если обновляет интерфейс. Таким образом, каждую из версий будет просматривать одинаковое количество людей, и вы сможете проанализировать, какая версия обеспечивает улучшение метрики, которое вы считаете существенным.

Размер выборки позволяет приблизительно определить, сколько времени займёт сбор достаточного количества данных.

Трудности при A/B тестировании

При планировании A/B тестирования и составлении выводов по его результатам необходимо учитывать множество факторов. Перечислим несколько самых распространенных:

Эффект новизны и отторжение изменений, когда старые пользователи впервые сталкиваются с изменениями.
Достаточный трафик и конверсии для значимых и повторяемых результатов.
Последовательность среди испытуемых в контрольной и экспериментальной группе.
Выбор лучших показателей для принятия окончательного решения. Например, измерение дохода в сопоставлении с количеством кликов.
Практическая значимость коэффициента конверсии, стоимость запуска новой фичи по сравнению с прибылью от увеличения конверсии.
Продолжительность времени исследования, чтобы учесть такие факторы, как изменения в настроении людей в зависимости от времени дня/недели или сезонных событий.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы ещё раз проведём тест, то какова вероятность того, что мы сможем повторить результат?

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: «нулевая» и «альтернативная». Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель «сконвертировался» и «не сконвертировался». Для оценки статистической значимости в этом случае можно воспользоваться онлайн калькулятором.

Вывод № 1

Тестируйте осознанно. Не стоит проверять всё подряд. Выбирайте гипотезы, основанные на данных аналитики и проблемах пользователей.
Доверяйте цифрам, а не интуиции. Часто то, что нравится вам, может не понравиться вашей аудитории.
Терпение — ключ к успеху. Для получения точных результатов тест должен идти достаточно долго, чтобы учесть разные дни недели и обойти статистические погрешности.

A/B тестирование — это не сложно и не дорого, но это мощный инструмент для роста бизнеса. Он позволяет делать уверенные шаги в развитии продукта, основываясь на поведении реальных пользователей.

Начните с одной гипотезы, запустите первый тест — и вы уже перестанете гадать, а начнете принимать решения.

Вывод № 2

A/B-тестирование — это кладезь информации для всех, кто принимает решения в разработке ПО и UX/UI-дизайна. Приложив некоторые знания и усилия, вы сможете уменьшить многие риски, с которыми сталкивается большинство начинающих оптимизаторов.