Retention

Retention — это метрика, которая отображает эффективность возврата пользователей в продукт.

Если коротко – остаются ли у нас в приложении пользователи.

Если подробно:
- Есть ли в продукте ценность для пользователя?

- Насколько эффективно продукт доносит эту ценность пользователю?

- Есть ли в продукте триггер для возвращения? Он может быть внешний (через пуш-уведомление или другие рекламные каналы) или внутренний (истинное желание пользователя вернуться в продукт и получить необходимую для себя ценность).

Чтобы рассчитать Retention пользователей в первый день, нужно посчитать, сколько пользователей вернулись в приложение на следующей день после установки. Затем — разделить это число на количество пользователей, которые пришли в первый день в рамках этой когорты.

Представь, что тебе надо рассчитать Retention первого дня для всех пользователей в первой недели.

Сначала мы складываем всех пользователей, которые пришли в приложение (нулевой день). Потом мы складываем всех пользователей, которые остались в приложении на следующий день (первый день). Потом делим вторых на первых и умножаем на 100%.

К нам пришло 1342 в нулевой день (Day 0) за всю неделю. На следующий день вернулись 188 человека (Day 1). Получается, что Retention day 1 у нас равняется 14%. Не всегда понятно, стоит ли доверять данным по Retention и другим метрикам. Для этого важно понять:

- являются ли эти данные достоверными,

- в каком интервале может быть реальное значение.

Значение конверсии бывает реальным и оценочным

Оценочное значение конверсии — это значение, которое мы посчитали выше в задании. Это оценка реального значения на основании доступных нам данных — но совсем не реальный показатель.

Реальное значение конверсии — это значение конверсии, которое на самом деле есть в продукте. Узнать его — практически невозможно. Тем не менее, чем больше данных нам доступно, тем больше вероятность того, что наше оценочное значение будет близко к реальному.

Для оценки реального значения конверсии используют доверительный интервал — это промежуток значений, в рамках которого находится реальное значение конверсии. Для расчета такого интервала можно использовать простые калькуляторы — например, этот.

Если мы получили низкий Retention и уверены, что данные достоверные, то перед нами одна из трех проблем.

Проблемы Retention

Проблемы с Retention могут возникнуть по трем причинам:

1. У пользователей, которым мы предлагаем продукт, нет той потребности, которую мы решаем продуктом. В таком случае мы либо продвигаем продукт не на ту аудиторию, либо на рынке нет пользователей с потребностью, которую мы пытаемся удовлетворить.

2. Если потребность у пользователей все же есть (и твои интервью с ними это подтверждают), то, возможно, в продукте не заложено достаточно ценности для удовлетворения этой потребности. В таком случае нужно вернуться обратно к прототипам и интервью с пользователями — и найти способ заложить достаточную ценность.

3. Если же твои исследования подтверждают, что в продукте есть необходимая ценность (это подтверждают отзывы пользователей во время «коридорного» тестирования или демо) — значит, проблема в том, что продукт ее не доносит должным образом. Нужно придумать, как это исправить.

Что же с этим делать? Оптимизировать.

Алгоритм оптимизации Retention

1. Проверь, являются ли пользователи приложения целевыми. Для этого нужно проанализировать несколько вопросов.

Во-первых, соответствует ли сообщение, которое ты доносишь в рекламе или другом внешнем позиционировании, тому, что есть в продукте? Если нет, тогда это может расцениваться пользователем как misleading — ситуация, когда в рекламе мы показываем пользователю одно, а в продукте он получает что-то другое, чего он не ожидал увидеть. В таком случае в продукт будет приходить не целевая аудитория, и метрики могут быть сильно искажены. На этом этапе проблем с продуктом может и не быть, все дело — в маркетинге. Менеджеру по продукту нужно исключать эту вероятность — проконтролировать, какое позиционирование и сообщения используют маркетологи для продвижения продукта.

Есть исключение — когда через маркетинг тестируются продуктовые гипотезы. Но это отдельная тема.

Во-вторых, используются ли правильные каналы маркетинга? Иногда продукт может не соответствовать аудитории, которая приводится с рекламы в продукт . Или же таргетинг одного из каналов может быть неверно настроен.

К примеру, команда продвигает продукт для молодых мам через Product Hunt или Techcrunch — но их целевая аудитория не читает технологические ресурсы. Скорее, с таких каналов будут приходить «зеваки» — причем не удовлетворять свои потребности, а «просто посмотреть». И в конце концов они быстро покинут продукт.

Другой пример: продукт — контентное приложение с мемами. Оно рассчитано на молодежь (до 25 лет), а Facebook отдает больше трафика на пользователей 34-45 лет. В таком случае нужно скоординироваться с маркетологом и изменить настройки таргетинга. Аудиторию своего приложения можно посмотреть через Facebook Audience Insights — для этого нужно предварительно подключить к продукту Facebook Analytics.

2. Проверь, находит ли пользователь заложенную в продукте ценность. Для этого нужно посмотреть на Feature Discovery — это конверсия новых пользователей в использование конкретной фичи: сколько новых пользователей пришли в приложение и хотя бы раз выполнили целевое действие, которое закладывалось в продукт.

Например, в Facebook — добавление других пользователей в друзья, в Instagram — подписка на профили других людей, в Amazon — покупка в магазине.

Если мы видим, что конверсия в целевое действие низкая, нужно проверить User journey от начала использования продукта до совершения этого действия. На каких экранах пользователь бывает? На каких экранах сколько времени проводит? Нам важно устранить любые препятствия, которые пользователь встречает на пути к выполнению целевого действия в продукте.

3. Проверь, насколько ценность продукта важна для пользователя. Для этого мы смотрим на Feature Retention — возврат пользователей в продукт для использования конкретной фичи, в которой заложена основная ценность продукта.

Например, для мессенджера Feature Retention стоит считать не как возврат в приложение, а как возврат и отправление хотя бы одного сообщения. Для финтех-продукта Feature Retention — это совершение транзакции по счету. В этом случае пользователь может даже не входить в продукт, а рассчитаться карточкой в магазине. В таком случае все равно мы фиксируем возврат.

Каждую отдельную фичу в продукте можно расценивать как отдельный продукт. Если фича нужна пользователю и удовлетворяет какую-либо его ценность — значит, пользователь с большой вероятностью будет ее использовать.

Для расчета Feature Retention нужно определить, сколько пользователей нашли для себя фичу Х и вернулись в нее на 7-й или 30-й день.

4. Изучи, как пользователи используют продукт. Информацию можно взять из «сырых» данных по сессиям пользователей, которые в итоге остались активными на 30-й день и позже. Для этого мы берем 10-20 пользователей и смотрим все ивенты, которые они осуществляли за свою «жизнь» в приложении. Это можно сделать через User Look-Up в Amplitude или же попросить данные у аналитика.

5. Сформируй гипотезы по улучшению Retention, исходя из пройденных выше шагов.

А сейчас — выводы!

– Retention — это метрика, которая отображает эффективность возврата пользователей в продукт.

– Если коротко, Retention показывает, остаются ли пользователи в продукте.

– Если подробно, Retention показывает, есть ли ценность для пользователя в продукте, насколько мы эффективно ее доносим и какие триггеры для возвращения используются.

– Проблемы с Retention могут возникнуть по 3 причинам: у пользователей нет потребности, в продукте нет ценности, продукт недостаточно эффективно транслирует ценность