Цикл проверки гипотез HARDI

Почти любое действие оказывает влияние на какую-то определённую метрику. Если изменения «прикрутить» к показателям заранее (сформулировать гипотезы), то весь процесс изменений будет контролируемым. Словом, вы будете понимать, как ваши действия повлияли на результат, и сможете быстро тестировать идеи, отбрасывая нерабочие.

С чего начать?

• Сформулировать ближайшие цели / North Star Metric
• Декомпозировать цель до простых, неделимых метрик
• Выделить длину цикла за который вы комититесь проверять гипотезы (3 дня, неделя, 2 недели…)

Гипотеза (Hypothesis)

• Записываем гипотезы, то есть изменения (ваши действия), которые могут улучшить показатели вашей экономики.
• В первую очередь, нужно генерировать гипотезы по тем показателям, изменение которых важно в ближайшее время. Это значит, что если есть проблема с конверсией в регистрацию, то необходимо генерировать те идеи, которые напрямую повлияют на этот показатель.

Пример 1:

«Если мы изменим заголовок, то конверсия в регистрацию на лендинге вырастет на 5%».

Пример 2:

«Если мы разместим рекламу в контексте по низкочастотным запросам, то сможем привлечь 2000 посетителей».

Действие(Action)

Сюда записываем, все те действия, которые нужно осуществить, чтобы проверить гипотезу.

Пример 1:

«Изменение заголовка увеличит конверсию в регистрацию на лендинге на 5%»

• Придумать заголовки.
• Пойти на улицу протестировать заголовки на людях (коридорный тест)
• Изменить заголовок на сайте.
• Настроить когортный анализ.
  

Пример 2:

«Мы сможем привлечь из контекста по низкочастотным запросам 2000 посетителей».

• Собрать семантическое ядро
• Проработать минус-слова, кавычки и т.п.
• Продумать заголовки и тексты для объявлений.
• Подготовить utm-метки для ссылок.
• Протестировать цели в аналитике.
• Завести рекламную кампанию.
  

Ресурсы (Resource)

(resource) — для каждой гипотезы, после описания action расписываем ресурсы, которые нам нужны, чтобы все эти действия совершить.

Пример:

Если в телеграмм-боте предоставить доступ 3 дня free, а затем платный доступ, то конверсия в оплату подписки составит 30%.

• Консультант по питанию/нутрициолог, диетолог - 7 дней
• Копирайтер - 1 день
• UI дизайнер - 3 дня
• Верстальщик - 1 день
• Таргетолог / Директолог - 1 день

Сбор данных (Data)

• Начинаем сбор данных о показателях, на которые повлияет изменение.
• Выписываем список тех данных, которые нам надо будет собрать для анализа.
• В плановом виде только название метрик.
• В фактическом — вместе со значениями.

Пример 1:

«Изменение заголовка увеличит конверсию в регистрацию на лендинге на 5%».

• Сколько пользователей пришло?
• Сколько зарегистрировалось?
• Какая конверсия была?
• Какая конверсия стала?
• Какой прирост конверсии?
  

Пример 2:

«Мы сможем привлечь из контекста по низкочастотным запросам 2000 посетителей».

• Сколько увидело объявления?
• Сколько клиентов пришло?

Выводы (Insights)

• Задаем оцифрованный критерий проверенности гипотезы. Т.е. критерий того, насколько мы можем доверять полученным результатам. Обычно указывается на каком потоке мы проверяем гипотезу (посетителей, пользователей, звонков, и т.п.) и качество выборки.
• Задаем критерии успешности гипотезы (гипотеза сработала). Т.е. критерий того, что гипотеза подтвердилась (в ином случае она не подтвердилась)
• Если гипотеза сработала, то планируем её улучшение, масштабируем.
  

Пример 1:

«Если мы изменим заголовок, то конверсия в регистрацию на лендинге вырастет на 5%»

• Гипотеза считается проверенной, если на лендинг зашло не менее 1000 посетителей, и подтверждённой, если конверсия выросла минимум на 5%
  

Пример 2:

«Мы сможем привлечь из контекста по низкочастотным запросам 2000 посетителей»

• Гипотеза считается проверенной, если мы опубликовали объявления и получили 10000 показов, и подтверждённой, если на сайт перешло не менее 2000 посетителей.

Что важно?

• Не проверять несколько гипотез одновременно
• Использовать когортный анализ и/или А/Бтестирование