Как проекты манипулируют данными перед инвесторами
Познавательный тред от партнёра a16z Джоша Лу (Josh Lu) о том, как проекты обманывают искренне ошибаются в диаграммах в своих презентациях👇
Один из самых распространённых случаев — приведение так называемых «метрик тщеславия» (vanity metrics). Это показатели, которые вырваны из контекста и ничего не говорят о том, как на самом деле обстоят дела в бизнесе. Могут использоваться для приукрашивания положения.
Распространенные метрики тщеславия для игр: установки или доход за всё время, самые загруживаемые в категории (без учёта конкуренции) или рейтинг сервиса Metacritic (для обычных людей он ничего не значит).
Другой частый грех — использование нестандартных методов расчёта стандартных метрик. Особенно часто так бывает с удержанием/ретеншном. Например, при определении когорт должны использоваться только установки, а не какие-то отдалённые события. Также ретеншн всегда должен быть привязан к конкретному периоду времени.
Ещё существует множество уловок в визуализации данных. Например, разнообразные манипуляции с осью Y (на иллюстрации ниже она ограничена 70% вместо 100%). Это работает, только если у смотрящего на график меньше 3 секунд.
Также бывают случаи отсутствия меток данных на графиках и «щедрого» индексирования. В самых сильных питчах всегда чётко прописано, что хорошо работает, а что нет. Не обманывайте себя, плохие показатели все равно всплывут при какой-нибудь проверке.
Для 90% игровых проектов важны следующие базовые метрики :
- Рост: установки (органические и платные), DAU.
- Вовлеченность и удержание: D1/7/30+, DAU/MAU.
- Монетизация: ARPDAU, ARPPU, % плательщиков.
- Другие метрики: затраченное время/DAU.
Самая показательная метрика, говорящая о здоровье проекта — ARPDAU (средний доход с одного уникального «дневного» пользователя). Самая легко манипулируемая — удержание.
Если бизнес находится на ранней стадии, все еще можно выделить отдельные моменты, которые уже работают и могут повлечь дальнейший рост. Вовлеченность является предшественником удержания. Уровень потребления контента является предшественником монетизации.