Как правильно тестировать новые фитчи в проекте

ПРЕДИСЛОВИЕ

Когда вы запускаете на рынок свой продукт, очень важно не стоять на месте, а постоянно его улучшать.
В наше время технологий, просто стоять на месте со своим продуктом, это подобно смерти → посмотрите на когда-то нашумевший “ClubHouse” - сегодня вообще про него что-то слышно)?

Это как раз пример проекта, который выстрелил, но который грамотно не развили дальше. А чтобы развивать проект, нужно генерировать постоянно “продуктовые гипотезы”

Дадим краткое определение……
Продуктовые гипотезы - это предложение об изменении/улучшении продукта в зависимости от ваших действий. Самое главное → строить гипотезы структурировано и по определенному алгоритму

Давайте этот алгоритм ниже и рассмотрим по шагам….👇

Стоит также сказать, что правильно формулировать гипотезу это еще 50% удачи, остальные 50% это правильно ее проверить.

1️⃣ КАК ФОРМУЛИРОВАТЬ ПРОДУКТОВУЮ ГИПОТЕЗУ? Задаем себе сразу следующие вопросы:

a) ЧТО МЫ ХОТИМ ПОМЕНЯТЬ В ПРОДУКТЕ?

- новая функция
- новый уровень в игре
- другая цветовая гамма
- новый экран или кнопка

b) КАКАЯ МЕТРИКА ИЗМЕНИТЬСЯ В РЕЗУЛЬТАТЕ?
А здесь как раз отлично будет изучить нашу прошлую статью, про метрики в целом какие бывают, cсылка

- это может быть конверсия
- может быть Retention, LTV и тд

с) НА КОМ МЫ БУДЕМ ИЗМЕРЯТЬ ЭФФЕКТ?
Здесь нужно выбрать конкретную аудиторию/трафик.

- органический или не органический трафик
- какая страна
- женская или мужская аудитория, их возраст и тд
- или те кто покапают ваш продукт
- или те кто спортом интересуются и тп

d) НА СКОЛЬКО ИЗМЕНИТЬСЯ НУЖНАЯ МЕТРИКА
Нужно предположить конкретную цифру на сколько измениться выбранная метрика

- на 5%, на 10% и тд

e) ЗА КАКОЙ ПЕРИОД НУЖНО ПОЛУЧИТЬ РЕЗУЛЬТАТ
Здесь отвечаем себе на вопрос, на какой период мы готовы себе позволить протестировать гипотезу

- 1 неделя или 2 недели
- 1 месяц или 2 месяца
- 1 или 2 года и тд.

Забегая вперед скажем, что лучше тестировать гипотезы за 1 или максимум 2 недели. Нет смысла ждать 1 месяц и тем более год тк время, рынок и технологии сегодня стремительно меняются каждый день.
Лучше протестировать 24 гипотезы за год чем всего 1))) тк вероятность попадания в цель более вероятна в 24 раза.

Давайте вместе погенерим для примера правильно сформулированные гипотезы:

Как вы могли заметить из примеров выше, продуктовая гипотеза подлежит определенной концепции и она называется S.M.A.R.T

Думаю многие уже слышали об этой технологии, но повторим, чтобы закрепить….

S → Specific (конкретная): новая функция или редизайн окна приложения
М → Measurable (измеримая): ориентируемся на конкретную метрику или на другой измеримый показатель
A → Attainable (достижимая): нужно четко понимать, что это реально возможно реализовать сейчас а не через год или два
R → Relevant (релевантная): например не стоит применять тест на аудиторию Африки тк вы вообще не планируете заходить на этот рынок
T → Time-bound (с конкретным сроком): должен быть адекватный дедлайн у гипотезы

2️⃣ КАК ПРОВЕРИТЬ ПРОДУКТОВУЮ ГИПОТЕЗУ?

Сразу внедряем все 3 инструмента по очереди:

a) A/B ТЕСТИРОВАНИЕ
Когда старый вариант показывают 50% аудитории и новый вариант показывают оставшимся 50% аудитории. Далее сравнивают показатели и делают вывод о результативности гипотезы.

b) КОЛИЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ ПОЛЬЗОВАТЕЛЕЙ
Когда вы заходите на специальный ресурс на котором вы выбираете интересующую аудиторию и просто создаете анкету из вопросов и предлагаете им ответить на ваши нужные вопросы.

Пример таких сервисов ниже:

- survey monkey
- testograf
- яндекс.взгляд

с) КАЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ ПОЛЬЗОВАТЕЛЕЙ (CustDev)
Это самые сложные и тяжелые из всех исследования, но они дают качественные результаты и вы сможете еще на этапе только идеи гипотезы в голове, узнать у вашей целевой аудитории (группы людей), а надо ли это вообще в вашем сервисе - может оно им и не нужно совсем. Может и делать это не стоит совсем.

Далее ловите самый подробный чек-лист построения CustDev:

1) ОТВЕТИТЬ НА ВОПРОСЫ

- кто наш клиент?
- какую проблему его решаем?
- на сколько проблема велика?
- как мы будем решать проблему?
- какую ценность для клиента создаём?
- через какие каналы донесём ценность?
- сколько нам это будет стоить?
- сколько на этом будем зарабатывать?

2) ОСНОВНОЙ ИНСТРУМЕНТ: ИНТЕРВЬЮ

a) описать все аватары клиента, которого будем интервьюировать
b) выделить основные каналы поиска

3) ОБЩИЕ ПРАВИЛА ДЛЯ ВОПРОСОВ

a) задавать общие вопросы;
b) задавать открытые вопросы;
c) задавать наводящие вопросы;
d) утаить суть проекта при общении;
e) спрашивать о жизни, а не о идее;
f) меньше говорить, больше слушать;
g) спрашивать о том, что было в прошлом, а не о взглядах на будущее;
h) попросить внести задаток за решение проблемы

4) ПРИМЕРЫ ПРАВИЛЬНЫХ ВОПРОСОВ

- почему вас это беспокоит?
- как сейчас выполняете задачу? Можете это продемонстрировать?
- что нравится при ее выполнении, а что не нравится?
- какие ещё инструменты и процессы вы применяли при решении вопроса
- ищете ли вы активно замену существующему решению?
- на чем теряете деньги, использую текущий инструмент/подход?
- если ли у вас деньги для приобретения более совершенного инструмента/подхода?
- сколько сейчас тратите денег на такой подход/инструмент? Какой бюджет выделяете в год?
- сколько времени занимает решение?
- как в последний раз был решён вопрос?
- если проблема ещё не решена, узнать почему и пытались ли найти решение?
- каковы последствия не решения вопроса?
- как принимается решение о совершенствовании подхода/инструмента и кто ЛПР?
- есть ли ещё вопросы, которые мне нужно задать?
- с кем ещё мне следует пообщаться по этой проблеме?

5) КАК ДОГОВОРИТЬСЯ О ВСТРЕЧЕ

a) вы предприниматель, который собирается решить проблему X, изменить подход в Y или предложить решение по Z;
b) скажите на каком этапе находитесь и собираетесь ли вы что-то продавать;
c) расскажите о проблеме с которой столкнулись и о вопросах, на которые ищете ответы;
d) укажите собеседнику о его значимости в этом деле и о его помощи, которую он может оказать;
e) попросите о помощи.

6) ГДЕ ИСКАТЬ РЕСПОНДЕНТОВ

a) друзья, знакомые, коллеги, родственники, партнеры и тд;
b) опрос в соц сетях (целевые сообщества, публики, группы, блогеры и тд);
c) специальные платформы для сбора отзывов о продукте (42 Sample, BetaList, User Testing);
d) сервисы для опроса аудитории (in2view, Яндекс.Взгляд, Анкетолог, Oprosso, Client heartbeat, EnjoySurvey);
e) лучше всего все оформить в конструкторах вопросов (Typeform, Testograf, Examinare, Simpoll, Google forms, Survey Lab, Zoho, Survey planet, Questionstar, Form designer, Keywords everywhere)