Оценка интерфейсов. Метрики и инструменты.
Как продуктовый дизайнер помогает бизнесу и себе :)
В этой статье я хотел перейти к эвристикам, но мне прислали много вопросов про метрики. Поэтому сегодня пойдем чуть глубже в бизнес- и продуктовые метрики, а заодно узнаем, какие инструменты нужны для работы с ними.
Но сперва — давайте обсудим, насколько глубоко продуктовый дизайнер или юиксер должен тут разбираться.
..например, рассчитывать точку безубыточности вас никто не попросит... © Сергей Тихомиров
С одной стороны, бизнес метрики — вотчина CEO, коммерческого директора, директора по продукту и пр.
Продуктовые — вотчина продакт овнера.
Проектные (time to market и пр) — проджект-менеджера.
Технические — CTO/техлидов/разработчиков.
Но! Вам никто не будет платить выше рынка, если вы не будете проникать на "чужую территорию" и оказывать позитивное влияние на бизнес.
Да и не во всех проектах все есть все эти директора :) И в редких проектах директора выделяют нужное количество времени, чтобы придумать цепочку «повысить оборот — для этого повысить MAU (без увеличения маркетингового бюджета — для этого вот так переработать маркетинг + доработать онбординг первого дня + запилить вот такие три фичи + переработать интерфейсы вот этого визарда, чтобы пользователи не отваливались», а потом еще и донести ее до дизайнера :)
Такие цепочки — коллективное творчество, их прорабатывают командно. Если вы сможете успешно принимать участие в их придумывании, воплощении и доведении до результатов — вы сможете получать выше рынка и строить свои бизнесы (при желаниии) с большими шансами на успех.
Итак, цепочки метрик, от бизнеса, до UX.
Как построить такую цепочку? Сначала выбирается бизнес-метрика, которую будем улучшать. Потом смотрим, из каких продуктовых/проектных/технических метрик она складывается. Потом — в нашей цепочке уместен UX — UX метрики.
Повышение бизнес-метрики — дело как правило не быстрое и ресурсоемкое. Поэтому их повышают не 10 за раз, а 1-2. И не за день-другой, а за полгода. Конечно, все зависит от размера и сложности бизнеса, ларек с шаурмой можно прокачать и за неделю.
Поэтому, ключевую бизнес-метрику выбирает руководство проекта. Если не выбирает — его можно к этому мягко сподвигнуть. Как? — нужно рассказать, что UX может помочь с повышением вон того, этого и того, вам что в первую очередь хочется улучшить?:)
Дальше мы можем одновременно изучать «поле боя» и определяться с продуктовыми метриками. Про «поле боя» в этот раз не будем (гуглите «бизнес-анализ»). Будем про метрики.
Если в проекте есть продакт-овнер, аналитики и пр — продуктовые метрики определяют они, а продуктовый дизайнер участвует и помогает, беря на себя какую-то часть этой работы. Либо просто получает результаты их труда в качестве вводной. В разных проектах — по-разному.
Самые часто используемые продуктовые метрики довольно известны и часто объединяются во фреймворки. Это очень удобно, особенно если дизайне специализируется на проектах определенного типа (ecommerce, образование, мобильные приложения и пр.). Тогда он может выбрать подходящий или принятый в этой индустрии фреймворк, воткнуться в него, и с каждым проектом работать будет легче и прибыльнее.
Фреймворки метрик
По сути, это готовые наборы метрик, которые подходят проектам разных типов. Можно использовать их, либо выдумать свои (в конце концов, фреймворки тоже кто-то когда-то разработал).
Но лучше всего начинать с рыночных вариантов. Я сегодня немного поговорю про два фреймворка — HEART framework и To come/stay/pay.
Фреймворк To come/stay/pay
Хочется поблагодарить за прекрасную картинку сервис devtodev.com, который кстати, позволяет замерять и анализировать данные метрики.
Так вот, этот фреймворк идеально подходит для мобильных приложений и SAAS. То есть например в онлайн СМИ с заработком на рекламе (а не на платной подписке пользователей) фреймворк будет другой.
Помимо этих метрик есть много других (например churn, отток пользователей), но основные и главные тут есть и их более чем достаточно, чтобы измерять все важное в проекте и находить «бутылочные горлышки» для увеличения прибыли проекта и ваших доходов.
По сути, этот фреймворк описывает вот такой путь:
- установка приложения/логин. Первый опыт использования;
- продолжение использования (либо уход из продукта), продукт начинает нравиться;
- часть пользователей тратит деньги в приложении.
Давайте рассмотрим чуть детальней первую колонку этого фреймворка.
To come. Привлечение пользователей
Каждый день (желательно) в продукте будут появляться новые пользователи. Сколько их нужно? Зависит от остальных метрик и ваших бизнес-целей.
К примеру, сколько нужно привлечь новых пользователей сегодня, если
- конверсия новых пользователей в платных пользователей — 0,01, а сроком этой конверсии (то есть как быстро происходит превращение бесплатного пользователя в платного) мы можем пренебречь
- один платный пользователь приносит за все время работы с продуктом 3 т.р. (равномерно каждый часть суммы)
- среднее «все время работы с продуктом» — 30 дней
- отток платных пользователей — 5 в день
- завтрашний оборот должен быть на 30 т.р. больше сегодняшнего?
Прикинули? Ладно, подскажу:) Нужно посчитать, сколько один платный пользователь приносит в день (я ведь дал месячную цифру), сколько платных пользователей нужно, чтобы покрыть дневной отток, и сколько — для +30 т.р. завтра, а потом умножаем это на... сколько-то, поскольку только один из 100 новых пользователей становится платным:)
Идем дальше. А как вообще UX-специалист может повлиять на новых пользователей? Нужно найти узкие места, которые можно дешево устранить, и получить максимальный результат.
Например, у нас на сайте приходит 10000 посетителей в день, и только 50 из них становятся бесплатными пользователями (то есть мы получаем половинку платного пользователя в день, а уходит — 5, и мы постепенно вылетаем в трубу).
Это хорошо, потому что мы нашли, куда приложить усилия, чтобы у бизнеса (а значит, и у нас) стало лучше с деньгами :)
Для начала нужно как можно четче найти места, рождающие эту проблему. С каких страниц люди отваливаются? Они прямо даже не залогинились? Или вошли, но ушли, не нажав ни кнопки? Или попытались зарегаться/залогиниться/установить — но не прошли до конца?
Дальше доносим проблему до маркетологов, продакта, разработчиков и ищем, а почему так происходит. Причина ведь может быть не в интерфейсах.
У нас может быть плохой трафик. Может не работать или сииильно тормозить регистрация. В презентации продукта могут быть упомянуты ценности, которые не важны для посетителей. Форма регистрации может быть неудобна. Лендинг может быть уродский (если ваши посетители — дизайнеры, им это может быть важно), или нечитабельный.
И про каждую такую раскопанную проблему формулируем гипотезы (гипотезы — это одна из важнейших вещей, которые производит продуктовый дизайнер) в духе:
- «если загрузка вот этой страницы ускорится на столько-то секунд, то мы можем получить сильный прирост новых пользователей»
- «вот на этой странице отваливается много пользователей, на видео из inspectled видно, что они делают то-то и потом уходят. Если мы переработаем вот этот и этот кусок, то можем получить хороший прирост новых пользователей»
- и т.д.
Дальше нужно найти быстрый максимально дешевый способ проверить наши гипотезы (это вторая архиважная вещь, которую делает продуктовый дизайнер).
Например, для формы можно сделать кликабельный прототип, и провести коридорное тестирование на коллегах, «отловив блох».
Либо разделить вашу большую идея улучшения — на много маленьких (чтобы их можно было реализовать быстро). Сделать, вложить на часть аудитории (чтобы сравнить результаты с основным потоком) и замерить, насколько они улучшают ситуацию.
Либо протестировать кликабельный прототип уже не на коллегах, а на живых пользователях, набрав их через форму обратной связи, которую (если вам нечего терять и надо срочно выяснить, почему все уходят) можно выкидывать, когда посетитель пытается закрыть вкладку. Да, этот абзац xebn плохому, но иногда выбора нет.
Если же есть небольшой маркетинговый бюджет на тест — можно настроить ретаргетинг, который будет догонять тех, кто закрыл данную страницу и просить их протестировать ваш прототип. Но тут объем разработки и рекламные вложения — так что пользуйтесь только если есть чувствительная дыра, и вам реально нужны именно эти пользователи, которые в этом конкретном месте сбегают с сайта, а не все остальные пользователи, которые нормально проходят это место.
Если получается — дорисовываете, сдаете в разработку, выкатываете на часть аудитории, замеряете, улучшилась ли ситуация. И так максимально быстро проверяете несколько гипотез, какие-то их них сработают.
Я проиллюстрировал примерный подход к работе. Для подробного обзора метрик этого фреймворка я нашел для вас хорошую статью:
https://apptractor.ru/measure/user-analytics/osnovnyie-metriki-mobilnyih-prilozheniy.html
Очень уж не хочется самому писать все то же самое:)
А вот, хороший обзор от очень грамотного аналитика по инструментам отслеживания этих (и не только) метрик:
https://gopractice.ru/systems_mobile_analytics_comaprison/
HEART framework
Этот фреймворк был создан в Google и применяется в их продуктах. Он разделяет метрики на несколько категорий.
Happiness (Счастье). Например, net promoter score.
Engagement (Вовлечение). Например, время прослушивания музыки на активного пользователя в неделю.
Adoption (Принятие). Например, конверсия на платные тарифы.
Retention (Возвращаемость). Например, повторные покупки
Task Success (Успех ключевых задач). Успешно спроектированный интерфейс в дизайнерском инструменте :)
Предполагается, что в проекте выбирается 1-2 метрики, на которых будут концентрироваться усилия. И над ними плотно работают. По таким метрикам мы формулируем цели и сигналы, которые будут указывать на то, что мы двигаемся в правильном направлении.
Подход к работе над этими метриками в целом такой же, как я описал для предыдущего фреймворка.
Я нашел очень подробный и толковый обзор этого фреймворка (и не только), и рекомендую его вашему вниманию:
Инструменты:
Напоследок — немного инструментов, с помощью которых можно собирать данные. А также, направлений, в которых можно работать.
Инструменты для аналитики в мобильных приложениях прекрасно описаны здесь: https://gopractice.ru/systems_mobile_analytics_comaprison/
[капитанствую] для большинства простых случаев хватает Google Analytics с правильно настроенными целями и событиями, либо Яндекс-метрики (тут еще во-многом зависит, где вы рекламируетесь, каждая из этих систем связана со своими инструментами анализа рекламных кампаний). GA кстати прекрасно дополняется инструментом https://www.inspectlet.com/
который позволяет очень гибко записывать видео действий ваших пользователей (не всех подряд, а например тех, кто купил вон тот тариф и потом отвалился вон в том визарде).
Самый трудный и самый богатый возможностями путь — выучить Python или R, плюс "немного математики и статистики" и писать ту аналитику, которую захочется. Но это уже рамками UX, хотя и очень полезно.
А самый лучший инструмент сбора данных — это живой аналитик и умение задавать ему правильные вопросы :)
Проект проекту рознь. И метрики — тоже.
Активные пользователи социальной сети, интернет-магазина и аналитического SAAS-сервиса — сииильно разные понятия.
Поэтому у нас на очереди кейсы из двух проектов — laf24 и онлайновый конструктор отопления.
А что вы хотите знать о метриках?
Буду рад вашим вопросам о метриках в личку. На что-то постараюсь ответить сразу, что-то ляжет в основу следующих статей :)
И не забывайте подписываться на мой канал о UX!