Лучшие практики A/B тестирования

— Шаблон дизайна эксперемента:
• Гипотеза
• Что делаем
• На каких пользователях тестируем
• Ключевые метрики для оценки эксперемента
• Ожидаемый эффект
• План действий в зависимости от результатов эксперемента

— Формула гипоезы: 
Действие [X] позволит увеличить метрику [N] на величину [Y], потому что [Z]

— Приоритезация гипотез по ICE

• Impact (Влияние) - демонстрирует, насколько идея положительно повлияет на ключевой показатель, который вы пытаетесь улучшить.
• Confidence (Уверенность) - демонстрирует, насколько вы уверены в оценках влияния и легкости реализации
• Ease (Легкость реализации) — это оценка того, сколько усилий и ресурсов требуется для реализации этой идеи.

— Дизайн эксперемента:
• Гипотеза:
Если мы изменим виджет регистации, то это позволит увеличить %CR в оплату через виджет с ?% на ?%, потому как процесс покупки станет интуитвно понятным для пользователя

• Что делаем: устанавливаем цель на покупку
– Контрольна версия: оставляем лендинг таким как есть и выкатываем предыдущую версию виджета (https://tube.biz/en/landing)
– Тестовая версия: создаем копию лендинга с новым виджетом (https://tube.biz/en/landing-new-widget)

• На каких пользователях тестируем:
Только на новых пользователях из g.ads

• Метрики:
%CR в оплату из виджета

• План действий:
– Если эксперемент положительный: масштабируем на всех пользователей
– Если эксперемент провальный:  проводим MVT тест где проверяем целесообразность виджета
– Если результат неизменный: откатываем к контрольной версии

— Настройка инструментов
• Создаем эксперемент (с типом редирект)
• Настраиваем варианты редиректов (новый и старый лэнд)
• Настраиваем цель тестирования (успешная оплата)

— Расчет теста
• Рассчитываем выборку тестирования (https://mindbox.ru/ab-test-calculator/)
• Определяем длительность тестирования (кол-во дней)
• Определяем уровень доверительной выборки (доверительный интервал p-value от 80% до 99%)

— Анализ реузльтатов
• https://mindbox.ru/ab-test-calculator
• Калькулятор №2