Тестовое задание на Junior Product Manager в Мо от Ильи

Тестовое задание на Junior Product Manager в Мо от Ильи.

1. 1. Что такое АБ-тест?

Проверка гипотез через сравнение версий продукта/сайта/процесса. Например: с красной кнопкой вместо синей у нас на сайте покупают больше или меньше?; раньше, чтобы зарегистрироваться в сервис нужно было заполнить 4 поля данных, сейчас 2, регистраций стало больше или меньше?.

1.2. Чем отличается хороший от плохого?

В моем понимании хороший АБ-тест показывает понятную причинно-следственную связь, то есть он категоричен и четок (другие факторы не могли существенно повлиять на полученный результат). У него определена метрика, по которой считаем и есть цель теста. Это может быть важно для того, чтобы делать верные выводы и продвигаться вперед быстрее.

1.3. Какие АБ-тесты вы бы провели в Мо?

а) Что если во всех полностью заблокированных в free-версии курсах сделать первую медитацию бесплатно? Больше ли станет оформлений триала чем без этого?

б) Что если предлагать людям возможность присоединиться к сообществу людей, которые прямо сейчас медитируют или возможность попасть на групповую медитацию, это увеличит оформление тралов или нет?

в) Что если добавить возможность пригласить кого-то на совместную медитацию через шеринг в соц.сетях индивидуальной ссылки-приглашения? увеличит ли это кол-во загрузок приложения?

г) Что если добавить челенджы в медитации (3, 7 дней подряд) и за их выполнение награждать социальным статусом внутри приложения (вести общую рейтинговую табличку). Увеличит ли это Retention rate на 3-7 день?

д) Что если самую первую медитацию в базовом курсе сделать 5 минут вместо 10? Больше ли людей будут проходить эту медитацию в первый запуск приложения?

е) Что если в процессе онбординга не просто предлагать людям прямо сейчас попробовать помедитировать, а предложить выбор из двух медитаций, одна из которых будет базовая, а вторая основана на его предыдущем ответе (что для него важно в медитации/зачем ему это). Будет ли Retention rate на 1-2 день больше? Больше ли людей будут пользоваться такой возможностью, попробовать здесь и сейчас? Больше ли будет оформлений триала с таким путем пользователя?

1.4.Пример теста, который бы не проводил:

Что если изменит шрифт на нижней панели навигации? Людям станет комфортнее, понятнее или нет?

Что если заменить цвет фона на экране «для вас» на голубой? Понравится ли пользователям такое больше ?

2. Мы проводим тест с заменой вступительного текста на онбординге. Какие метрики надо смотреть и как принимать решение, какой лучше?

Смотря какая у нас на этапе онбординга. Я думаю цели может быть две: 1. продать триал в процессе онбординга 2. пройти онбординг до конца и оставить приложение в телефоне.

Если для нас важно, чтобы пользователь в конце онбординга сразу оформил подписку, то будем смотреть изменение этой метрики. Относительно прошлой версии продукта в % от кол-ва первых запусков приложения.

Если для нас важно, чтобы он прошел онбординг до конца и оставил приложение в телефоне (не закрыл, не удалил, чтобы мы могли потом пуш-уведомлениями догонять его), тогда будем смотреть на метрику времени нахождения в приложении и на каждом экране онбординга, на статистику по удалению приложения.

3. 1. Что такое retention?

Retention rate показывает нам какой % пользователей возвращается в приложение с момента первого запуска. Важен, чтобы понять насколько использование нашего приложения вошло в привычку у пользователя, важно для роста бизнеса.

3.2. А n-day retention?

N-day Retention это классический retention (Amplitude кстати тоже его по умолчанию считает). Например Day 3 Retention равный 30% показывает какой процент людей вернулся в приложение на третий день после его первого использования. А например Rolling Retention Day 3 равный 30% покажет нам какой % пользователей вернулись к нам в приложение на третий или любой следующий день. То есть даже если человек зайдет в приложение через полгода второй раз, это автоматически поднимет Rolling Retention предыдущих дней, а это не круто, картина не объективная.

3.3. Как надо считать ретеншен в Мо - по дням или по неделям?

Я думаю, что и по дням и по неделям, для разных групп пользователей. Если мы считаем ретеншен для тех, кто только-только начал пользоваться приложением, то на первых порах может оказаться важно делать это в днях. В первые несколько дней важно успеть закрепиться в ежедневном расписании пользователя, чтобы сформировалась привычка использования приложения, чтобы он увидел результат и дальше мог воспроизводить эту привычку сам.
Более опытным пользователям не всегда важно медитировать каждый день с помощью приложения, но они могут иногда заходить в него, тогда для них более релевантным будет смотреть week retention rate.

4.1. В чем разница между корреляцией и причинно-следственной связью?

Корреляция показывает случайную взаимосвязь двух факторов (помниться у Яндекса был такой шуточный проект, условное кол-во продаваемых огурцов и уровень насилия в обществе). Причинно-следственная связь показывает реальное влияние одного фактора на другой.

4.2. В день объявления самоизоляции у нас выросла конверсия из триала в покупку - как выяснить, это было совпадение или нет?

Посмотреть на контекст происходящего в статусе кво. Что мы еще делали в тот период, какие изменения в приложение вносили? Например был ли запущен новый оффер на покупку в этот период? То есть важно исключить влияние других переменных, которые могут влиять на результат.

Что еще можно сделать? Поставить противоположную гипотезу, например: увеличение конверсии из триала в покупку никак не связано с объявлением самоизоляции. Смотрим метрики за следующие периоды, есть ли отклонения в конверсии?

Что еще можно сделать? попробовать воспроизвести эксперимент и посмотреть на результат:) Но в данном случае это вряд ли получится:)

5. Что такое статистическая значимость?

Это такое множество в котором маловероятно случайное возникновение разницы в данных (или результате).

Простыми словами это когда мы взяли 1000 пользователей, а не 10, разделили их на две равные группы и предположили что группы пользователей между собой не сильно отличаются, а затем посчитали p-value и подтвердили что разница между группами значима и связана с их различиями, а не случайностью.

5.2. Как обеспечить в хорошем АБ-тесте из первого пункта, чтобы его результаты были статистически значимы? Чего и сколько для этого нужно?

Взять 2000 новых пользователей, разделить на две группы, посчитать p-value для них, посмотреть на результаты. Если p-value < 5% значит наблюдаемая разница между группами значима. Исключить проведение других тестов, которые могут повлиять на отслеживаемые метрики.

6. Что можно улучшить в Мо?

Добавить возможность выбора длительности медитации, на 5, 10 или 15 минут. Добавить возможность выбора голоса (женский/мужской). Убрать возможность перемотки медитации (честно не очень понимаю зачем она нужна). Посмотреть на возможность добавить визуальные ряды в раздел "Сон" и простые казуальные игры, где нужно под спокойную музыку вести пингвиненька по заснеженными тропинкам, добавить возможность присоединиться к людям медитирующим прямо сейчас или в какое-то определенное время через 5-15 минут.

Доп.информация обо мне, которая может быть полезна:

Последний год активно пользуюсь Headspace для медитаций (4 из 7 дней медитирую сам или с помощью приложения), не пользуюсь Мо, т.к. текущий телефон на Android. Много раз пробовал и смотрел на Meditopi, Calm и другие.

На своем примере знаю как с помощью медитации можно улучшить качество своей жизни, научиться лучше понимать себя и других людей, относится к себе с нежностью. Мне хочется этим инструментом и знанием поделиться со многими людьми! И заработать много денег тоже!