Подход к А/Б-тестам

Обоснованные решения, улучшение показателя конверсии, оптимизация пользовательского опыта, вот это вот все.

Кратко:

Яндекс.Метрика позволяет проводить небольшие А-Б тесты для сайтов.
На дистанции в несколько недель, даже проводя небольшие тесты с цветами кнопок, заголовками — это выгодно.

Давайте рассмотрим пример: С помощью Яндекс.Метрики мы разделяем трафик между группами A и B. Например, 50% пользователей видят красную кнопку, а остальные - зеленую. Затем Яндекс.Метрика отслеживает, сколько пользователей в каждой группе совершили покупку.

После нескольких недель сбора данных мы получаем следующую информацию:

• Группа A (Контрольная): 5,000 пользователей, 300 покупок (6% конверсия).
• Группа B (Вариант): 5,000 пользователей, 450 покупок (9% конверсия).

Мы вычисляем разницу в конверсии между группами:

• Контрольная (A): 6% конверсия.
• Вариант (B): 9% конверсия.
• Разница: 9% - 6% = 3%.

На выходе получаем дополнительные 150 покупок.

Есть альтернативное мнение, про доверительные интервалы, корректности оценки при 1000 трафика, но это не мое.

Мое — даже если мы получим +5% к эффективности за те же деньги — мы молодцы.