Как подсмотреть за реальным опытом пользователя с вашим продуктом
Всем привет! Недавно в Озоне мы подняли продажи дорогих товаров за счёт того, что увидели, как люди в реальной жизни изучают цены на них. И сегодня я хочу вам рассказать об инструменте, который позволит вам доставать из ваших продуктов такие инсайты.
Меня зовут Алёна Бородина, я руковожу командой исследователей опыта покупателя в Ozon. Я исследователь не только по профессии, но и по жизни, и это, кстати, очень удобная отмазка, я вам её рекомендую. Вот смотрите: вот вы говорите, что вы исследователь по жизни, и вот вы вчера не пили на автопати, а исследовали свои возможности – уже по-другому звучит! В общем, это первая польза от моего доклада, даст Бог, не единственная.
В исследованиях – более 8 лет. Начинала в консалтинге (маркетинговые исследования, стратегии бренда). Затем – в Телекоме (клиентский опыт, тесты). Сейчас, четвёртый год, я в Ozon Tech, занимаюсь пользовательскими исследованиями.
Ozon – крутая, быстрорастущая компания: только за 1 квартал 2024 года GMV составил 570 млрд (на 88% больше, чем в 1 квартале 2023), 305 млн заказов, 49 млн покупателей.
И всё это – результат огромного труда большого количества продуктовых дизайн команд, и не только.
Непосредственно моя команда призвана для того, чтобы обогащать эти команды знанием о наших покупателях. Мы работаем с привязкой к командам, проводим UX-тесты, исследования пользовательского опыта, строим CJM, обучаем исследованиям и фасилитации, проводим User-дни. Мы делаем всё, чтобы у них было достаточно знаний о наших клиентах.
Особенностью именно моей работы в Озоне заключается в том, что я значимо расширила спектр используемых нами исследовательских методов. Мне просто очень нравится, когда у нас есть какая-то задача, цель, и мы можем её достичь абсолютно разными способами, не ограничивая себя рамками привычных методов, типа UX-тестов, глубинок.
Мне в них тесно, я хочу свободы.
Поэтому добавила некоторое количество. Поэтому мы гибки в выборе методов исследования.
В общем, про что я сегодня расскажу?
Я расскажу про такой метод, который я внедрила 2 года назад в Озон. И за эти 2 года мы набили шишки, мы его оптимизировали, покрутили, повертели, пришли к какому-то оптимальному его формату. Сейчас он занимает отдельное место в сердцах наших продактов.
Немножко про тайминги моего выступления: начну я с того, какую проблему решает этот метод, вообще зачем он нужен. Потом расскажу, собственно, саму суть, соль. А дальше пару слов о том, как это всё организовать, чтобы вы не придумывали это ещё раз. Расскажу о том, какие мы совершали ошибки, чтобы вы их не допустили. И в конце бонус-трек, возможно танец, и расскажу, как ещё улучшить этот метод, чтобы он прямо вообще в космос улетел, и вы вместе с ним.
А ну что, погнали?
1. Проблематика, которую решает метод?
Представьте, что исследователь – это профессор в лаборатории в мире продукта, который пытается сделать этот мир лучше.
Он борется с UX-проблемами, помогает находить инсайты и увеличивать метрики. И делает это не один.
У него – супергеройская команда Marvel или DC. Каждый супергерой – это свой метод исследования, хорош в чём-то своём. Иногда они объединяются, иногда действуют поодиночке.
Но есть одно "но".
Есть антагонист, которого они ещё не победили: искусственная среда тестирования.
О чём я имею в виду?
А дело в том, что в ходе классических исследований, типа UX-теста, глубинного интервью, очень сложно достать реальный, живой, настоящий опыт пользователя, такой, какой он у него есть вот ну в дикой природе с вашим продуктом.
В ходе классических исследований сложно достать реальный опыт пользователя.
А давайте разбираться, почему это происходит?
Во-первых, пользователь находится в неестественной для себя обстановке.
Давайте представим девушку Машу. Девушка Маша едет с работы домой на метро по зелёной ветке в семь часов вечера. У Маши в наушниках грустный рэп. На душе тоска, и скрасить её может только новая кофточка. И вот она заходит на Ozon за этой самой кофточкой, в надежде на лучшую жизнь. Ей и так рэп свой не слышно из-за шума в метро.
Да, я напоминаю, но и эта гребаная видеообложка на Ozon перебивает ей музыку. Она снова включает трек – и видеообложка опять! В итоге Маша рыдает уже не из-за надрывного медлячка, а потому, что мы её довели со своей видеобложкой.
Кто сталкивался с этой болью? Увидели бы мы это на UX-тесте? Сомневаюсь.
О том, что, приводя пользователя в лабораторию или созваниваясь с ним в интервью, или UX-тест онлайн, мы предлагаем ему взаимодействовать с продуктом не в привычной обстановке, не в подходящее время. Ограничиваем его по времени и этим самым обрубаем значимые куски его опыта.
Во-вторых, пользователь рефлексирует о нерефлексируемом.
Еще один пример. Представляем Алексея. У него жена, годовалый ребенок, полная голова хлопот. Ему надо мангал на дачу купить (сезон не закончился!), ипотеку завтра платить, лампочку в прихожей вкрутить, потому что подписка на фразу "Ну я же сказал, сделай уже!" закончилась.
И вот он подключается к нам на созвон, потому что завтра ипотеку платить! И мы его спрашиваем: "Алексей, а как вам вон та кнопочка на Oзоне? И в целом, как вам вообще это решение?" Алексей, положа руку на сердце, вообще впервые за два года использования Oзона эту кнопочку заметил. И на это самое решение, ему как как до лампочки в прихожей, ему вообще всё равно.
И это про то, что пользователи не задумываются о нашем интерфейсе. И это хорошо! Если он не задумывается – это классно. Так и должно быть! А мы его заставляем подумать о том, как он это делает. Типа: "А как ты ходишь?" А он: "А как я хожу? Забыл, как ходить и дышать!" Вот примерно то же самое.
В третьих, на тестах пользователь выполняет не свои задачи. Последний пример: Глеб Викторович, мужчина 55 лет. Он, в принципе, еще не расстался с мыслью о том, что все гаджеты – это от лукавого, и лучший смартфон – это пульт. И вот, судьба заносит его к нам на исследование!, и мы ему говорим: "Глеб Викторович, а давайте вы найдете джинсы себе на Ozon?".
Джинсы? А Глеб Викторович мечтает о надувной лодке и спиннинге! Даже если мы скажем: "Найдите спиннинг!", он, уважая чужое время, ткнет в первый попавшийся вариант и скажет: "Вот, нормальный!".
На самом деле, только ночью, под подушкой, Глеб Викторович по-настоящему рассматривает спиннинги на Ozon – долго и с любовью, как в юности смотрел на плакаты Натальи Орейро.
Поэтому, смысл в том, что если мы даже даём похожую пользователю задачу на его реальный опыт, он всё равно находится в контексте ограниченного времени и в контексте того, что это нереальная, например, покупка. Он не тратит свои деньги! Поэтому он не покажет реальный опыт.
Ну и до кучи уже да: ощущает эффект наблюдателя (тут в принципе исследователи знают, как с этим эффектом бороться, но это не отменяет тот факт, что он есть).
Итак, к чему мы приходим?
Классные методы есть, но они не позволяют увидеть реальное поведение. Мы же не будем стоять за спиной у человека в метро, подсматривая в телефон! И что, собственно, делать в этой ситуации?
Вот тогда профессор (помните, да? У нас был профессор с супергероями в начале!) Он в своей пробирочке вывел нового супергероя. И имя ему Скринкаст.
2. Идея метода
В чем суть этого метода? Мы берем респондентов, даем им задания, сделать их реальный заказ. Вот потратить прямо свои настоящие кровные деньги на то, что им действительно нужно. Сделать это тогда, когда им удобно. Там где это им удобно. Вообще неважно. И просто записать этот процесс от начала до конца на запись экрана и эту запись прислать нам.
В нашем случае мы просим заходить в приложение и записывать каждый раз с момента как он начинает эту всю историю (покупку) до момента как он завершает полный цикл. Оставляет отзыв, делает возврат или то что ему нужно, включая тот момент когда он заходит на пункт выдачи и показывает штрих код.
Для себя мы решили что это исследование для нас регулярное. Мы проводим одну волну в месяц, в которой десять пользователей.
Так же мы для себя решили, что анализиурем эти записи не мы - исследователи, а сами продакты и дизайнеры. Потому что они лучше знают, на чём нужно сфокусироваться, и концентрироваться. Мы, исследователи, видим только "по верхам", можем упустить "тот самый изюм".
Плюс этого метода – в его простоте. Не нужны агентства, оборудование – только респонденты и задача! Метод доступен практически каждому.
Дёшево, потому что стоит как обычное исследование, нужно только оплатить респондентов, как обычно вы это делаете.
Это быстро, поскольку данные собираются в течение нескольких дней, пока они присылают записи, а записи присылаются сразу.
А если это регулярная практика, у продактов всегда есть доступ к актуальной информации об использовании их продукта.
К примеру, всего из шести видео мы сгенерировали более пятидесяти гипотез, многие из которых пошли в прод.
Какого рода гипотезы? Чем эти гипотезы отличаются от тех, что мы достаем на UX-тестах?
- Как пользователь взаимодействует с онбордингом, его настоящие смахивания, а не наигранное удивление.
- Как пользователь "залипает" в определённый сценарий, что он делает и как это происходит.
- Как он ищет штрихкод в пункте выдачи, когда за ним очередь, час пик, и стоит бабушка с тележкой.
- Как он ведёт себя на странице, которая открывается сразу после заказа.
- Как сервисные жесты (например, на Android) конфликтуют с приложением.
- И, конечно, как он изучает цены на дорогие товары, когда реально собирается их купить.
Скринкаст начинался как эксперимент, а стал нашим настоящим инструментом. Как то мы не провели две волны, и меня завалили вопросами: "Когда? Что? Где?"
В каких случаях этот метод вам подойдёт?
Во-первых, если у пользователя есть конкретная сессия посещения: зашёл, что-то сделал, вышел.
Во-вторых, если вас интересуют неочевидные UX-проблемы и поведение пользователя в реальной жизни.
Вообще знаете какая у меня цель?
Чтобы вы после прочтения этой статьи попробовали провести у себя скринкаст! Это дёшево, быстро и просто. И когда вы посмотрите записи, а коллега спросит: "Ну как?", вы скажете то, что сказала собака, увидевшая баобаб: "Это неописуемо!".
3. Как организовать проведение
Теперь расскажу, как это организовать:
Шаг первый: найдите респондентов, планирующих взаимодействие с вашим продуктом. Не абстрактных людей с улицы, а ваших реальных пользователей, которые и так собираются что-то посмотреть или купить.
Шаг второй: отправьте респондентам инструкции и задания. Инструкция – как включить запись экрана и куда её отправить. Задание – совершить реальный заказ и вести себя естественно, включая запись каждый раз, когда заходите в приложение.
Кстати, с записью экрана нет никаких проблем: эта функция встроена во все смартфоны и Windows.
Шаг третий: получаем записи и сохраняем их себе
Шаг четвертый: заполняем таблицу событиями и ссылками на видео. Этот шаг важен, если вы исследователь (продактам – не уверена, но на всякий случай рассказываю).
Мы завели таблицу, где храним все данные: ссылку на видеозапись, информацию о сегменте респондента и события, которые происходили (заходил в фильтры или нет, просматривал отзывы, да просматривал). И так по каждому основному продукту.
Затем дизайнеры и продакты, занимающиеся этим продуктом, могут зайти в таблицу и отфильтровать записи по интересующим событиям. Это очень удобно!
В общем, наслаждаемся (или плачем) – зависит от результатов. У нас это называется "кинотеатр скринкастов".
4. Какие ошибки мы совершили в первых заходах, чтобы вы их не повторяли?
1) Главная ошибка – провоцировали покупку ради исследования.
Как это происходило?
Мы набирали людей, а они такие: "О, вознаграждение! Сейчас я поиграю в инвестора и куплю самый дешёвый товар на Озоне!". В итоге мы получали совсем не то, что нужно.
1. Перестали ограничивать людей по времени. 1-2 дня мало, потому что реальная потребность может возникнуть чуть позже, или зарплата придет в другой день.
2. Мы не уточняли у них планируемую покупку. А теперь спрашиваем, что они вообще хотят купить. Благодаря этому у нас появились записи, как люди покупают стиральные машины, сплит-систему, дорогие часы – ну т.е интересные, "фактурные" записи.
3. В начале мы пробовали компенсировать стоимость покупки. Но выбирать себе подарок и выбирать себе товар на свои деньги - совершенно разные вещи. Поэтому так делать тоже не стоит.
Ну и собственно бонус. Как апгрейднуть скринкаст чтобы он стал мега крутым?
5. Как можно его дополнить и улучшить?
1. Ретроспектива - киллер-фича.
Респондент делает запись, как пользуется приложением. Потом мы просим его снова включить запись, открыть свою запись в галерее и комментировать, что он делал, что происходило, что хотел нажать, где получилось, где нет.
Единственный важный момент, чтобы он комментировал после, а не во время записи. Иначе мы вернемся к UX-тесту, только немодерируемому. Ретроспектива очень обогащает, дает понимание, что происходит на записи, потому что без нее, порой, понять и интерпретировать некоторые действия пользователя было сложно.
2. AB-тест. Это вообще моя любовь!
Можно добавить вручную респондентов А/B-тест.
Это обогащает данные метрик пониманием того, как всё происходит вживую. Несколько раз была ситуация, когда мы видели красные прокрасы в А/B-тесте, не понимали, почему, потому что все же хорошо. Проводили скринкаст, и понимали: "Ну, нужно кое-что поменять".
Очень классная штука, не обязательно дожидаться красных прокрасок. Можно в принципе сразу так делать.
3. Анкета
Это база – после скринкаста можно дать анкету по типу "что понравилось, что не понравилось" по этапам пути пользователя.
4. Сегменты
Можно провести по сегментам – сделать волну по новичкам, по каким-то ещё интересным сегментам, тематические волны, волны во время акций.
5. Микс
Сейчас мы объединяем этот метод с другими. Начинали как самостоятельный, а теперь это является частью какого то комплексного исследования.
Сначала провели скринкаст, потом отправили респондента на интервью, на UX-тест, на дневник, да на что угодно!
Что сделать чтобы запустить скринкаст?
Скринкаст победил антагониста. Сундук с инсайтами, который он прятал, теперь ваш!
6. Вопросы
1) Как организовать скринкаст для длительного процесса?
Из зала: У меня продукт, который использует пользователь, в рамках сессии больше одной недели бывает. Продукт связан с поставками на маркетплейсы. Скажи, пожалуйста, как в таком случае организовать скринкаст, чтобы уместить весь процесс в емкую, понятную видеозапись?
Алена: Т.е., это получается как раз фоновый процесс, которым он пользуется в течение недели?
Из зала: Нет, у тебя есть какой-то товар, тебе нужно на него создать заявку на поставку, это одна часть, потом другая часть про заполнение данных, получение информации о машине, доставка, документация и т.д. В целом, разнесенный по времени процесс.
Алена: Это не проблема! У нас тоже путь клиента часто разнесён во времени: ждёт доставку, потом её принимает. Просто нужно каждый этап записывать на видео (если есть возможность) и добавить больше вопросов в анкету, сделать что-то вроде дневникового исследования. То есть обогатить еще вопросами. И четко обозначить этапы, чтобы респондент ничего не пропустил, всё отправил и прокомментировал. Можно просить комментировать что-то голосом сверху.
2) Как продактам вычерпывать информацию из длинных видео?
Из зала: На скринкаст где-то там, с одной сессии, видео на 2 часа, таких получилось 10 штук. Как продактам оттуда вычерпывать информацию? Там ведь несколько флоу, значит, несколько продактов задействовано. Получается, каждый должен смотреть 20 часов в месяц? Или тут можно где соптимизироваться?
Алена: Двухчасовые записи – редкий случай! В среднем записи по 7 минут в нашем случае.
Второй момент, продакты отвечают за свой кусочек, соответственно, в рамках какого-то регулярного просмотра они могут смотреть тот самый интересующий их фрагмент. Классно, если заранее определить фокус внимания, четкую цель – что именно хочется узнать. Тогда более фокусно получается посмотреть, найти, что ищешь.
Из зала: Тайм-коды, очень редкий кейс, когда скринкаст длится больше десятков минут.
Алена: Спасибо, что сказали про тайм-коды. В таблице мы иногда обозначаем тайм-коды для важных событий, которые сложно будет потом найти, если видео длинное.
3) Как решать проблему рекрутинга, если пользователи ленивые?
Из зала: Как решаете проблему рекрутинга пользователей? Клиенту нужно заморочиться, чтобы всё это записать, а пользователи, в большей части, ленивые.
Алена: С рекрутом проблем нет. Мы делаем рекрут через агентства, подрядчиков. Скорее была проблема, чтобы респонденты не делали это только ради вознаграждения, но когда мы начали уточнять планируемую покупку, проблема исчезла. Сейчас пользователи охотно соглашаются на участие.
4) Приведите, пожалуйста, пример одной из гипотез, которая подтвердилась или опроверглась во время скринкаста именно в вашей практике.
Я вот ряд гипотез как примеры приводила. На мне некоторое проклятие в виде NDA. Я вот когда хочу сказать, у меня буквы запинаются. К сожалению, не могу тебе конкретнее ответить, выжимала конкретику как могла.
5) Не придете ли вы к тому, что начнете автоматически записывать пользователей (как в скандале с Burger King)?
Не может такого быть. Как раз таки поэтому я и внедрила скринкаст. Потому что иначе мы ничего записывать физически не можем.
Это настолько большое количество данных будет, как с ними вообще управляться, куда их записывать, юридически недопустимо, в общем, столько нюансов, что это невозможно. Но по факту это своего рода костыль в этой истории.
6) Как вы поступаете, когда люди ведут себя неестественно на съёмках?
Что касается неестественности: она не сильно влияет на результаты. Эффект наблюдателя, конечно, остается, но мы видим моменты, когда человек действует спонтанно, не задумываясь. Например, что он делает сразу после нажатия "оплатить"? Куда переходит? Или как он реально ищет что-то, не может найти. В общей массе реальных данных мы получаем гораздо больше, чем таких манерных.