Понимание вместо цифр

Задача сделать человека счастливым не входила в продуктовые метрики. (почти З. Фрейд)

Один из номеров замечательного журнала «Искусство управления» назывался «А потом он испортился». В номере речь шла о том, как хорошие продукты почему-то иногда становятся менее хорошими.

Мы это видим прямо сейчас. Были дизлайки на Ютубе — нет дизлайков на Ютубе. Была кнопка «отписаться» на видном месте — нет её больше. Была лёгкая и простая программа, умеющая хорошо делать одно дело — вот тебе вместо этого неповоротливое нечто с интегрированной соцсетью. Был хороший порносайт — вот тебе на нём кнопка «рассказать друзьям» и логин через соцсети.

Почему так происходит?

По двум причинам:

1. Ориентация на потребителя заменена вниманием к метрикам и показателям.
2. Несмотря на большое число показателей, понимание потребителя ухудшилось.

Мы получаем очень много показателей, описывающих поведение потребителей. Нам кажется, что число показателей всегда недостаточно, сами показатели недостаточно точны и бог показателей желает ещё больше более точных показателей.

Но с показателями есть как минимум одна проблема, описанная как минимум Талебом:

Большинство показателей — шум.

Буквально: заметная часть информации бессмысленна для принятия бизнес-решений.

При анализе мы иногда имеем дело с изменениями, к которым приходится прикладывать специальный статистический микроскоп для того, чтобы понять, действительно ли они существуют, или нам показалось.

Вторая проблема в том, что часто показатель существует только и исключительно для того, чтобы становиться лучше. И всё. Другой роли у него нет.

Повышение косинуса фи — всенародная задача! (анекдот)

Например, если уровень известности вашего бренда был 23,8% в текущем году, то он должен быть никак не ниже 28% в следующем. Если LTV потребителя сегодня 6000 ₽, то было бы неплохо в следующем году поднять его до 12000 ₽. И так далее.

Почему цифры — это плохо

Представим себе, что доля рынка некоей компании — х%. Менеджмент компании ставит себе цель на следующий год прирастить ещё 5% (или 7%). Но внезапно при реализации этой цели выясняется, что такой прирост требует кратно больших издержек, а прибыль в итоге не только не растёт, а падает. Именно про такие ситуации Минитер написал прекрасную книгу «Золото дураков или миф о доле рынка».

Минитер пишет про то, что основным показателем любого бизнеса является прибыль. И с этим я как раз не спорю. И, чтобы эту прибыль сохранить и увеличить, часто важно не совершать ошибок, одной из которых является гонка за метриками.

Вообще, про метрики очень хорошо написала Карен Фелан в книге «Простите, я разрушил вашу компанию»:

«Люди управляют показателями!
Иногда они даже манипулируют показателями!
Система показателей работает как приборная доска автомобиля. Если смотреть на панель, а не на дорогу, вы разобьетесь!»

Именно это мы сейчас и видим. Вот один из примеров.

Есть такая компания — Evernote. Они начали с того, что выпустили классный заметочник. Он был лёгким, работал на всех устройствах, можно было начать писать заметку на ноутбуке и продолжить на телефоне, и вообще вещь была прекрасная. Продуктом компании пользовались, компания росла и сама по себе, и на венчурных инвестициях, и всё было хорошо.

Потом они озаботились показателями. На самом деле, не очень понятно, рост какого именно косинуса занял всё свободное время сотрудников, но произошло следующее:

1. Стоимость подписки выросла.
2. Число устройств на одном аккаунте сократилось.
3. Приложение заметно «потяжелело».
4. В приложение добавили разные функции для модной ныне совместной работы. Чат в блокноте, да.

В итоге компания прямо сейчас поглощается другой компанией, а её состояние описывается емким оборотом death spiral.

Были ли у сотрудников Evernote показатели, метрики и инструменты для их оценки? Я думаю, что буквально любые. Почему так произошло? Потому что они напрочь забыли, что людям нужно от блокнота.

Ну и дополнительная причина этого — доступность венчурного капитала, на котором компания разжирела шире всяких возможностей.

Cлишком много времени тратилось на идиотов внутри, и слишком мало — на пользователя снаружи. Но с какими-то показателями, я уверен, всё даже сейчас неплохо. С продуктом плохо, с MAU — полный ужас, но точно есть цифры, повышения которых команда Evernote успешно добилась.

Цифры — вообще не цель

Именно поэтому я не очень хорошо отношусь к долгосрочным целям и планам, даже если они очень измеримы. Особенно если они измеримы. Ну в самом деле, менеджмент компаний ставил финансовые цели на 2020 и 2022 годы. И потом должен был либо что-то понять, либо вычеркнуть из резюме пункт «быстрая обучаемость».

Да, это нетипичные ситуации. Но в целом они отлично иллюстрируют ущербность ориентации на цифры. Цифры, как и в вождении автомобиля, могут показывать параметры движения, но не цель. В конце концов, нам надо доехать куда-то, а не ехать со скоростью не ниже 120 км/ч.

И проблема тут случилась в том, что потребителя и его поведение разложили на совокупность метрик, самого потребителя при этом потеряв. Пользователь производит какие-то цифры, но бизнес часто не представляет, что за ними стоит. Бизнес стимулирует пользователя различными маркетинговыми воздействиями, добиваясь от него какой-то реакции в заранее рассчитанных параметрах, но при этом не представляет, что за логика стоит за параметрами.

Бизнес отлично знает, что именно делает потребитель. Но вообще не представляет, почему он это делает.

И здесь на сцену выходят современные внебрачные дети социологии и экономики — маркетинговые исследования, которые я бесконечно люблю.

Я знаю КастДев, ЖТБД и другие страшные слова

Сразу скажу, я вообще не против исследований. Я ими занимаюсь больше 20 лет, так что вряд ли стоит прибедняться и говорить о том, что они мне как-то внезапно разонравились. Я против некоторых методологий, или, точнее, даже подхода, который сейчас стал тревожаще распространён.

Проблема исследований в том, что они (вслед за бизнесом) прекращают говорить о потребителе и описывать его поведение как целостное.

Исследования начинают сразу говорить на языке бизнеса с бизнесом же, напрочь игнорируя клиента. Вот одна компания проводит опрос про строительство аквапарка. И не придумывает ничего лучше, чем спросить у проходящих опрос о том, какие услуги им надо туда начинить. Буквально так выглядит у этих прекрасных людей вопрос с вариантами ответа:

Какие из перечисленных функций в аквапарке могут быть наиболее востребованными Вами (помимо самого аквакомплекса)? Перечислите не более 2 вариантов.

• питание
• СПА-услуги (массажи, обертывания и другие уходовые процедуры)
• термальный комплекс (баня, сауны, аромаванны и т.д.)
• гостиница
• магазины
• спортивные или фитнес-залы

Такой вопрос решает только одну задачу: как снять ответственность с исследователя или аналитика и переложить её на респондента. Всегда можно сказать, что 52% опрошенных сказали, что в аквапарке нужна гостиница и магазин. А мы тут ни при чём.

Эта магия сейчас встречается сильно чаще, чем мне бы хотелось. Вместо изучения поведения потребителей мы получаем какие-то бессмысленные доли чего-то, и после их получения гордо говорим «потребитель гостиниц желает!». Потом, конечно, исследователь поймёт, что такое «артефакт», но это будет уже после того, как строительство будет закончено.

Конечно, исследователю может и не стоит так уж волноваться, потому что между его исследованием и использованием результата примерно тысяча мест, в которых всё может пойти не так вообще не по его вине.

Именно поэтому и появляется традиция простых как угол дома и коротких исследований, которые ориентированы на очень узкие аспекты продукта. Ну типа «какую потребность удовлетворяет человек, когда читает наше медиа?».

А человек, читая медиа, вообще не удовлетворяет потребности. Ну или удовлетворяет потребность в структурировании времени, а вовсе не в потреблении великих новостей, собранных и доставленных ему крайне профессиональной командой. Даже если это так и есть.

Выхолащивание исследований приводит к интересной ситуации. Вместо точности изучения потребителей мы обсуждаем точность соответствия фреймворкам. И не то, чтобы фреймворки всеми поняты так уж однозначно. Но неоднозначное понимание не мешает возмущаться «Как это вы не знаете JTBD? Как это вы не умеете проводить кастдев? Фуфуфу!».

И получается, что нам надо не понять и описать клиента (а именно это и является базовой ценностью, с которой начинается вообще всё), а правильно провести исследование. Так, чтобы носитель фреймворка мог задать нам вопросы и мы бы на них правильно ответили.

Только вот не знание фреймворка на самом деле важно. Важно понимание потребителя. Или, пока мы ещё не приблизились к пониманию, хотя бы систематическое описание. Потому что именно из описания на первом шаге и понимания на втором вырастают те самые «инсайты», о важности которых твердит нам любая планёрка.

Не потребитель сообщает нам сокровенное знание о том, что нам делать с нашим продуктом. А решения мы принимаем сами. И ответственность за него тоже несёт не потребитель.

И скажем так, у профессионалов с академическим бэкграундом необходимость изучать новый «исследовательский фреймворк» всегда живёт где-то рядом с фразой из анекдота — «а зачем с вами знакомиться? вы же каждый год новые!»

TL:DR (вместо резюме)

У нас уже есть все нужные цифры. И гораздо больше ненужных. Проблема в том, что мы не умеем их различать.

Гонка за цифрами, как и при вождении автомобиля, отлично помогает намотаться на столб, но никак не помогает в том, чтобы приблизиться к цели.

Неумение пользоваться цифрами связано с тем, что мы не проверяем гипотезы о поведении потребителя, а проверяем гипотезы о цифрах. И в результате их проверки получаем ещё одну цифру.

Важно не то, как мы проведём исследование (оно крайне редко соответствует академическим стандартам по целому ряду причин), а станем ли мы лучше понимать потребителя после этого. Если да — исследование хорошее. Если нет — то нет.

Хорошим исследование делает не репрезентативная выборка или огромный бюджет, а избегание ошибок, которые гарантированно сделают его плохим.