Как делать гипотезы по статистике отвалов? Churn Rate
Хорошие издатели могут вам предоставить статистику по отвалам. В аналитике это называется Churn. Так вот этот Churn в нормальном отчёте будет аж 4х типов.
С помощью Churn понять в каких местах игры игроки уходят и больше не возвращаются. Но мало узнать "где", надо ещё понять "почему" они уходят и как это исправить. В этой статье буду разбираться во всём на примере начальных уровней нашего Love Archer.
Итак, есть 4 типа Churn Rate. Я сам запутался, какой за что отвечает, поэтому сделал себе схему для наглядности:
Поковыряв циферки я пришёл к выводу что Shurn Start и Churn Finish вообще нафиг не нужны.
Обосную - нам надо понять, сколько отвалилось на уровне и сколько отвалилось между уровнями. Это, соответственно, Churn During и Churn Between Games.
А вот какой смысл смотреть "сколько начавший предыдущий левел не дошли до следующего"? Это же общее число, из которого не понятно, где именно эти люди отвалились - уровень не смогли пройти, или после уровня увидели какое-то окошко с рекламой и ливнули.
Но я всё равно в разборе оставлю все 4 показателя, для ценителей.
Для этой статьи я запросил у издателя статистику по отвалам ТОЛЬКО тех людей, у которых Retention 1 дня равен нулю. Это значит что люди поиграли и ушли. Получается, если узнать, что конкретно не нравится этим ребятам, можно конкретно улучшить метрики.
⚠️ Внимание ⚠️ Все числа в этой статье ненастоящие, я их специально увеличил для нагладности, но общая картина примерно такая же.
Туториал
Churn During_Games -1% на первом уровне значит, что выстрелить получилось почти у всех. На втором уровне мы учим игроков поворачивать прицел, и с этим у 6% людей возникают проблемы, но терпимо.
3% у Churn Between_Games у первого уровня означает, что какие-то люди не приняли окошко GDPR или не дождались загрузки, это норма.
Первая группа уровней
У нас игра делится на этапы, в каждом этапе 3 маленьких группы уровней, по 4 уровня в каждой. Это такие маленькие кружочки сверху экрана. Вот скрины первой группы уровней:
Гипотеза №1 – Не настаивать на корове
Для кого-то проблема, что мужик трахнет корову. Ок, для таких людей можно поставить на уровне третьего персонажа в качестве альтернативы. Я думаю тут нужен бык.
(Обновлено: в комментах в ТГ предположили, что дело не в корове, а в том что мы никак не объясняем игроку механику рикошета - спасибо всем за идею, я чёт так привык к этой механике, что даже об этом не подумал)
- На 5-м уровне можно заметить, что на самом уровне игроки почти не отваливаются - всего 4% Churn During.
Зато 24% Churn Between, это то, сколько отвалилось между 4 и 5м уровнем. Думаю тут опять же причина в совокуплении с коровой, часть людей пошла на это, но после 4го уровня в ужасе вышла из игры.
Cтрашные 46% Churn Start у 5го уровня - это объединённые отвалы тех, кто ливнул в процессе 4го уровня и тех, кто ушёл между 4 и 5. 21% Churn Finish - объединение ливнувших после 4го и в процессе 5го. Поэтому я и говорю что на них смотреть смысла нет, они только путают.
Вторая группа уровней
Смотря на аналитику 1 уровня второй группы мы видим, что там прям всё красное...
Что случилось?
- Во первых, между 6 и 7 уровнями игрок впервые видит рекламу
- Во вторых, там вылезает подряд два окна - Level Complete и Unlocked - где мы даём игроку бесплатно открыть сундучок и даём скин купидона-негритёнка
- В третьих, после этого игрок попадает в хаб. Чтобы продолжить проходить уровни нужно нажать на экран (Tap to start)
- Наконец, в четвёртых, у 7 уровня 1.5 попыток на игрока в среднем. Это значит, что каждый третий игрок нажимает рестарт. Получается, уровень проблемный - возможно, глючит физика.
Гипотеза №2 – Упростить или заменить 7 и 10 уровни
В Hitmasters, если не ошибаюсь, как-то сделали "предзаписанную" физику. У нас в редких случаях из-за физики может что-то заглючить. Поэтому можно поступить проще и в начале игры избавиться от таких уровней, либо просто убрать там пропасть.
Так же можно подсказать игроку, что надо стрелять в верёвку.
Десятый уровень банально сложный - его не зафейлить, но попасть в кого хочешь не просто.
Гипотеза №3 – Убрать перекидывание в хаб
Казалось бы, очевидное решение - убрать перекидывание в хаб после каждой группы. Но мы в ноябре две недели АБ-тестили такой вариант и он показал себя хуже. Если что, тему с такими экранами и перекидыванием в хаб мы взяли у FlowLegends от Playgendary. Короче, перекидывание в хаб забирает часть пользователей, но без него ещё хуже почему-то.
Гипотеза №3 – Добавить интереса к окну результатов
У нас в игре нет никакой возможности пройти уровень "плохо". Поэтому 3 звезды на экране результатов - чисто фейковая декорация. Сам экран результатов нужен чтобы дать игроку награды после прохождения группы уровней:
Получается, игрок никак не влияет на то, что он получит на окне результатов. Просто смотрит, что ему дали и может сделать х2. А потом ещё видит окно с сундуком за ревард, которое появляется тупо после каждой группы из 4х уровней.
В игре Tap Away (где оч хорошо проработаны Реварды) есть окошко победы с несколькими полосками "целей", возьмём его как референс:
Моя идея - сделать чтобы игрок получал награду в зависимости от своих действий. Для этого нужно разбить всех детей на два типа:
И если наберёшь нужное кол-во детей определённого типа, тебе дадут подарок. При этом никто не заставляет делать какой-то конкретный тип детей. В любом случае тебя ждёт награда.
Сундучок будет сразу сам открываться, чтобы игрок видел приз.
А окошко с сундуком будет открываться не каждый раз, а только когда ты на него "накопишь", поэтому от него будет морально сложнее отказаться.
Гипотеза №4 – Игроки-ксенофобы
Судя по отвалам, часть игроков может быть недовольна, что мы им насильно даём вот такой темнокожий скин. А как его поменять, мы специально не показываем.
Можно:
А) Дарить другой скин, а этот сделать в магазине бесплатным
Б) Дать кнопку No, Thanks
Третья группа уровней
Тут опять всё красное у первого уровня группы.
Гипотеза №5 – Правки по уровням с орками
На 11 уровне иногда бывает проблема - если подстрелить орчиху, запустить её в воздух и стрельнуть в орка До того, как орчиха упадёт, орк спрыгнет в пропасть.
На 12 уровне меньше всего отвалов "в процессе игры", но я считаю всё равно не ок, что мы там не даём игроку вариантов
На 13 уровне можно попробовать поменять пол у всех персонажей, чтобы не было 2 орчихи подряд.
14 уровень это первая встреча с "ревардным" персонажем. Тут у меня нет гипотез, как сделать лучше. Он довольно прибыльный и возможно, стоит рекламных персонажей вставлять в игру ещё раньше и больше.
Выводы
Для анализа отвалов достаточно:
Пять гипотез - это по опыту ~2 месяца тестов, т.к. на тест одной гипотезы у нас уходит 1-2 недели. Настоящие выводы можно будет сделать только когда получим результаты АБ-тестов. Кстати, раньше мы анализировали их неправильно.
Там есть нюансы, советую прочитать: Как не обосраться с АБ-тестами
Подпишитесь на мой блог в тг: >>>> Геймдев Бомж <<<<
Всегда рад любой обратной связи в личку. Мой ТГ - @belchak, Отличный чат по разработке гипер-казуальных игр: https://t.me/hyper_casual