September 8, 2018

Оценка интерфейсов. Метрики и инструменты.

Как продуктовый дизайнер помогает бизнесу и себе :)

В этой статье я хотел перейти к эвристикам, но мне прислали много вопросов про метрики. Поэтому сегодня пойдем чуть глубже в бизнес- и продуктовые метрики, а заодно узнаем, какие инструменты нужны для работы с ними.


Но сперва — давайте обсудим, насколько глубоко продуктовый дизайнер или юиксер должен тут разбираться.

..например, рассчитывать точку безубыточности вас никто не попросит... © Сергей Тихомиров

С одной стороны, бизнес метрики — вотчина CEO, коммерческого директора, директора по продукту и пр.

Продуктовые — вотчина продакт овнера.

Проектные (time to market и пр) — проджект-менеджера.

Технические — CTO/техлидов/разработчиков.

Но! Вам никто не будет платить выше рынка, если вы не будете проникать на "чужую территорию" и оказывать позитивное влияние на бизнес.

Да и не во всех проектах все есть все эти директора :) И в редких проектах директора выделяют нужное количество времени, чтобы придумать цепочку «повысить оборот — для этого повысить MAU (без увеличения маркетингового бюджета — для этого вот так переработать маркетинг + доработать онбординг первого дня + запилить вот такие три фичи + переработать интерфейсы вот этого визарда, чтобы пользователи не отваливались», а потом еще и донести ее до дизайнера :)

Такие цепочки — коллективное творчество, их прорабатывают командно. Если вы сможете успешно принимать участие в их придумывании, воплощении и доведении до результатов — вы сможете получать выше рынка и строить свои бизнесы (при желаниии) с большими шансами на успех.

Итак, цепочки метрик, от бизнеса, до UX.

Как построить такую цепочку? Сначала выбирается бизнес-метрика, которую будем улучшать. Потом смотрим, из каких продуктовых/проектных/технических метрик она складывается. Потом — в нашей цепочке уместен UX — UX метрики.

Повышение бизнес-метрики — дело как правило не быстрое и ресурсоемкое. Поэтому их повышают не 10 за раз, а 1-2. И не за день-другой, а за полгода. Конечно, все зависит от размера и сложности бизнеса, ларек с шаурмой можно прокачать и за неделю.

Поэтому, ключевую бизнес-метрику выбирает руководство проекта. Если не выбирает — его можно к этому мягко сподвигнуть. Как? — нужно рассказать, что UX может помочь с повышением вон того, этого и того, вам что в первую очередь хочется улучшить?:)

Дальше мы можем одновременно изучать «поле боя» и определяться с продуктовыми метриками. Про «поле боя» в этот раз не будем (гуглите «бизнес-анализ»). Будем про метрики.

Если в проекте есть продакт-овнер, аналитики и пр — продуктовые метрики определяют они, а продуктовый дизайнер участвует и помогает, беря на себя какую-то часть этой работы. Либо просто получает результаты их труда в качестве вводной. В разных проектах — по-разному.

Самые часто используемые продуктовые метрики довольно известны и часто объединяются во фреймворки. Это очень удобно, особенно если дизайне специализируется на проектах определенного типа (ecommerce, образование, мобильные приложения и пр.). Тогда он может выбрать подходящий или принятый в этой индустрии фреймворк, воткнуться в него, и с каждым проектом работать будет легче и прибыльнее.

Фреймворки метрик

По сути, это готовые наборы метрик, которые подходят проектам разных типов. Можно использовать их, либо выдумать свои (в конце концов, фреймворки тоже кто-то когда-то разработал).

Но лучше всего начинать с рыночных вариантов. Я сегодня немного поговорю про два фреймворка — HEART framework и To come/stay/pay.


Фреймворк To come/stay/pay

Хочется поблагодарить за прекрасную картинку сервис devtodev.com, который кстати, позволяет замерять и анализировать данные метрики.

Так вот, этот фреймворк идеально подходит для мобильных приложений и SAAS. То есть например в онлайн СМИ с заработком на рекламе (а не на платной подписке пользователей) фреймворк будет другой.

Помимо этих метрик есть много других (например churn, отток пользователей), но основные и главные тут есть и их более чем достаточно, чтобы измерять все важное в проекте и находить «бутылочные горлышки» для увеличения прибыли проекта и ваших доходов.

По сути, этот фреймворк описывает вот такой путь:

  • установка приложения/логин. Первый опыт использования;
  • продолжение использования (либо уход из продукта), продукт начинает нравиться;
  • часть пользователей тратит деньги в приложении.

Давайте рассмотрим чуть детальней первую колонку этого фреймворка.

To come. Привлечение пользователей

Каждый день (желательно) в продукте будут появляться новые пользователи. Сколько их нужно? Зависит от остальных метрик и ваших бизнес-целей.

К примеру, сколько нужно привлечь новых пользователей сегодня, если

  • конверсия новых пользователей в платных пользователей — 0,01, а сроком этой конверсии (то есть как быстро происходит превращение бесплатного пользователя в платного) мы можем пренебречь
  • один платный пользователь приносит за все время работы с продуктом 3 т.р. (равномерно каждый часть суммы)
  • среднее «все время работы с продуктом» — 30 дней
  • отток платных пользователей — 5 в день
  • завтрашний оборот должен быть на 30 т.р. больше сегодняшнего?

Прикинули? Ладно, подскажу:) Нужно посчитать, сколько один платный пользователь приносит в день (я ведь дал месячную цифру), сколько платных пользователей нужно, чтобы покрыть дневной отток, и сколько — для +30 т.р. завтра, а потом умножаем это на... сколько-то, поскольку только один из 100 новых пользователей становится платным:)

Идем дальше. А как вообще UX-специалист может повлиять на новых пользователей? Нужно найти узкие места, которые можно дешево устранить, и получить максимальный результат.

Например, у нас на сайте приходит 10000 посетителей в день, и только 50 из них становятся бесплатными пользователями (то есть мы получаем половинку платного пользователя в день, а уходит — 5, и мы постепенно вылетаем в трубу).

Это хорошо, потому что мы нашли, куда приложить усилия, чтобы у бизнеса (а значит, и у нас) стало лучше с деньгами :)

Для начала нужно как можно четче найти места, рождающие эту проблему. С каких страниц люди отваливаются? Они прямо даже не залогинились? Или вошли, но ушли, не нажав ни кнопки? Или попытались зарегаться/залогиниться/установить — но не прошли до конца?

Дальше доносим проблему до маркетологов, продакта, разработчиков и ищем, а почему так происходит. Причина ведь может быть не в интерфейсах.

У нас может быть плохой трафик. Может не работать или сииильно тормозить регистрация. В презентации продукта могут быть упомянуты ценности, которые не важны для посетителей. Форма регистрации может быть неудобна. Лендинг может быть уродский (если ваши посетители — дизайнеры, им это может быть важно), или нечитабельный.

И про каждую такую раскопанную проблему формулируем гипотезы (гипотезы — это одна из важнейших вещей, которые производит продуктовый дизайнер) в духе:

  • «если загрузка вот этой страницы ускорится на столько-то секунд, то мы можем получить сильный прирост новых пользователей»
  • «вот на этой странице отваливается много пользователей, на видео из inspectled видно, что они делают то-то и потом уходят. Если мы переработаем вот этот и этот кусок, то можем получить хороший прирост новых пользователей»
  • и т.д.

Дальше нужно найти быстрый максимально дешевый способ проверить наши гипотезы (это вторая архиважная вещь, которую делает продуктовый дизайнер).

Например, для формы можно сделать кликабельный прототип, и провести коридорное тестирование на коллегах, «отловив блох».

Либо разделить вашу большую идея улучшения — на много маленьких (чтобы их можно было реализовать быстро). Сделать, вложить на часть аудитории (чтобы сравнить результаты с основным потоком) и замерить, насколько они улучшают ситуацию.

Либо протестировать кликабельный прототип уже не на коллегах, а на живых пользователях, набрав их через форму обратной связи, которую (если вам нечего терять и надо срочно выяснить, почему все уходят) можно выкидывать, когда посетитель пытается закрыть вкладку. Да, этот абзац xebn плохому, но иногда выбора нет.

Если же есть небольшой маркетинговый бюджет на тест — можно настроить ретаргетинг, который будет догонять тех, кто закрыл данную страницу и просить их протестировать ваш прототип. Но тут объем разработки и рекламные вложения — так что пользуйтесь только если есть чувствительная дыра, и вам реально нужны именно эти пользователи, которые в этом конкретном месте сбегают с сайта, а не все остальные пользователи, которые нормально проходят это место.

Если получается — дорисовываете, сдаете в разработку, выкатываете на часть аудитории, замеряете, улучшилась ли ситуация. И так максимально быстро проверяете несколько гипотез, какие-то их них сработают.

Я проиллюстрировал примерный подход к работе. Для подробного обзора метрик этого фреймворка я нашел для вас хорошую статью:

https://apptractor.ru/measure/user-analytics/osnovnyie-metriki-mobilnyih-prilozheniy.html

Очень уж не хочется самому писать все то же самое:)

А вот, хороший обзор от очень грамотного аналитика по инструментам отслеживания этих (и не только) метрик:

https://gopractice.ru/systems_mobile_analytics_comaprison/


HEART framework

Этот фреймворк был создан в Google и применяется в их продуктах. Он разделяет метрики на несколько категорий.

Happiness (Счастье). Например, net promoter score.

Engagement (Вовлечение). Например, время прослушивания музыки на активного пользователя в неделю.

Adoption (Принятие). Например, конверсия на платные тарифы.

Retention (Возвращаемость). Например, повторные покупки

Task Success (Успех ключевых задач). Успешно спроектированный интерфейс в дизайнерском инструменте :)

Предполагается, что в проекте выбирается 1-2 метрики, на которых будут концентрироваться усилия. И над ними плотно работают. По таким метрикам мы формулируем цели и сигналы, которые будут указывать на то, что мы двигаемся в правильном направлении.

Подход к работе над этими метриками в целом такой же, как я описал для предыдущего фреймворка.

Я нашел очень подробный и толковый обзор этого фреймворка (и не только), и рекомендую его вашему вниманию:

https://habr.com/post/233143/


Инструменты:

Напоследок — немного инструментов, с помощью которых можно собирать данные. А также, направлений, в которых можно работать.

Инструменты для аналитики в мобильных приложениях прекрасно описаны здесь: https://gopractice.ru/systems_mobile_analytics_comaprison/

[капитанствую] для большинства простых случаев хватает Google Analytics с правильно настроенными целями и событиями, либо Яндекс-метрики (тут еще во-многом зависит, где вы рекламируетесь, каждая из этих систем связана со своими инструментами анализа рекламных кампаний). GA кстати прекрасно дополняется инструментом https://www.inspectlet.com/

который позволяет очень гибко записывать видео действий ваших пользователей (не всех подряд, а например тех, кто купил вон тот тариф и потом отвалился вон в том визарде).

Самый трудный и самый богатый возможностями путь — выучить Python или R, плюс "немного математики и статистики" и писать ту аналитику, которую захочется. Но это уже рамками UX, хотя и очень полезно.

А самый лучший инструмент сбора данных — это живой аналитик и умение задавать ему правильные вопросы :)


Проект проекту рознь. И метрики — тоже.

Активные пользователи социальной сети, интернет-магазина и аналитического SAAS-сервиса — сииильно разные понятия.

Поэтому у нас на очереди кейсы из двух проектов — laf24 и онлайновый конструктор отопления.

А что вы хотите знать о метриках?

Буду рад вашим вопросам о метриках в личку. На что-то постараюсь ответить сразу, что-то ляжет в основу следующих статей :)

@Serebrennikov_i

И не забывайте подписываться на мой канал о UX!