Как превращать обращения в поддержку в продуктовые задачи
Как думаете сколько обращений в поддержку пришло в Авито за последнюю неделю?
На самом деле к нам в Авито пришло больше 500 000 обращений в неделю.
Одна из задач UX-редакторов в клиентском сервисе — взять и проанализировать массив обращений, хорошенечко там покопаться и найти то, что действительно можно отдать в продукт и превратить в улучшение, во что-то, что продукт заберет и сделает какую-нибудь новую фичу или починит то, что работает не очень. Вот как мы с этим работаем в Авито сейчас расскажет наша коллега, старший UX-редактор Центра клиентского сервиса Аня Прокопенко.
Как уже Алина рассказывала, я Аня, и я UX-редактор в саппорте Авито.
1. В чем отличие ресерча обращений от UX-исследований
Главная, наверное, мысль, с которой хочу начать, что тот фидбэк, который получают UX исследователи, и фидбэк, который мы получаем, когда изучаем пользовательские обращения, это разные вещи. Очень разные, взаимно друг друга дополняющие.
2. Зачем исследовать пользовательские сценарии
Пользователи, обращающиеся в поддержку, не подозревают, что их изучают. В отличие от UX-исследований, за ними никто не наблюдает, не записывает видео. Они пишут в естественной ситуации, обычно с конкретной проблемой здесь и сейчас. Лично я обращаюсь в поддержку только тогда, когда меня что-то действительно беспокоит. Это живой контекст, когда человек находится в точке раздражения.
Важно, что обращения доступны ретроспективно. Если пользователи год за годом жалуются на одно и то же, значит, проблема не решается.
И здорово так наблюдать, допустим люди писали, а потом перестали. Круто, когда это следствие как раз таки продуктовых доработок, чтобы коллеги нас люди услышали и что-то разрулили.
Ну и фидбэк окутан метриками.
Когда классный UX ресерчер разговаривает с респондентом, обычно он может задать какие-то дополнительные вопросы. Но эти штуки не окутаны цифрами, а обращения все покрыты метриками. Если вы когда-нибудь после всех этих прекрасных бесед с поддержкой ставили лайки, дизлайки, смайлики, сердечки, звездочки, в общем, отвечали на вопрос оператора, “Мы вам помогли?”, то догадываетесь, что внутри большой корпоративной машины все превращается в цифры. И вот это все, многие-многие цифры, не только сатисфакция (удовлетворен ли пользователь поддержкой, но и другие, мы тоже можем посмотреть, посчитать.
Итак, зачем и как мы все это исследуем? Зачем? Чтобы вырастить из этого опять же какие-то доработки. На самом деле, следствие регулярно выходит и на себя. То есть мы что-то читаем, например, и понимаем, что на своей стороне, на стороне своей специализации тоже можно что-то улучшить. Но и в продукт очень многое заносим.
- Начинаем с цели. Казалось бы, довольно капитанская, наверное, история: -
у всего должна быть цель. Но это суперважно, потому что просто так мы - не ресерчим, на самом деле, только начинающие редакторы могут себе позволить потратить N часов на эту прекрасную деятельность.
Обычно цель - с чем-то разобраться, может быть, как-то помочь продукту, если у них есть какие-то вопросы, о чем пишут вообще люди. - Когда цель уже есть, мы переходим к выбору того, что будем изучать. У нас все ответы поддержки имеют свою нумерацию, имеют свои названия. А тут, соответственно, получается, какой ответ, такой и вопрос. То есть мы выбираем те самые ответы, а значит те самые вопросы, которые нам интересны. Выбираем тему, соответственно, выбираем нужный период. Стараемся брать какой-то период продолжительный, только если это не какая-то фича запустилась (если так, то - не срочно будем читать). Допустим, выбираем месяц. Месяц удобно делится на 3 части - по 10 дней. Чтобы не получилось так, что, например, в стране рубанули интернет и все в этот день написали про эти проблемы. Допустим, у нас есть 30 диалогов и месяц. То есть примерно в 10 дней берем 10 диалогов, чтобы был более равномерный распределенный поток пользовательских прекрасных мыслей.
- Ну и, наконец, выгружаем их и начинаем читать сами. Никакие не искусственные интеллекты, пока вполне естественные интеллекты. Наши UX-редакторы читают по 30-50 обращений. В каких-то триггерных тематиках это может быть сотни и больше. Людей - обычно триггерят деньги, потому что, если люди хотят вернуть деньги, там вообще все самое интересное. Поэтому так и называется мой доклад. Мы видели всякое.
- Если мы, например, прочитали штук 20 обращений и понимаем, что, в принципе, повторяются инсайды, то есть люди примерно об одном и том же пишут, может быть, хватит почитать 30. Если мы читаем и понимаем, что на самом деле там внутри гораздо больше тематик, можно прочитать и 100 обращений, просто чтобы собрать как можно больше инсайтов. И в таких ситуациях мы размечаем поток вручную тоже. Допустим, в теме скрываются какие-то 5 других. Можно просто выписывать, я прямо вручную нумерую, сколько было таких, таких, сколько таких, сколько всяких. Что потом из этого всего получается? Вот такая табличка.
Сразу скажу, это я собрала ненастоящую табличку. Если нас смотрит кто-то из команды безопасности, это ненастоящие цифры. Это пример. Соответственно, вот в левом уголочке первый признак. Смотрите, поток обращений вырос —внезапно. В принципе, удовлетворенность пользователя тоже чуть-чуть даже приросла. Как бы стали они довольнее. Но сигнал того, что надо прочитать, это то, что их стало гораздо больше.
И вот мы спустимся на уровень ниже, чтобы узнать, что же там спрашивают про этих наших воображаемых собачек. И вроде как про собачек в целом — ничего. Но подтематика, как найти собачий дом на Авито, мало того, что прирастает, так еще и люди не настолько счастливы, как мы хотели, чтобы они были счастливы (имею в виду метрику csat). И вот в эту тему уже можно пойти. Выгрузить те самые обращения, те самые диалоги. Посмотреть, что же там скрывается.
Представим, что на самом деле поток оказался неоднородный. Что 50% человек, конечно, имели в виду, как найти собачий домик, или имели в виду объявления. Но потом туда попали люди, которые вообще хотели просто купить будку. Попали люди, которые хотели найти отель, где можно заселиться с собачкой. И всякие-всякие другие.
Как вариант — проверяем, как найти, собственно говоря, отель, где можно с собачкой? Возможно, стоит сходить на прод, глянуть: - вообще переключатель какой-то есть, хоть какая-то кнопочка, чтобы размещение с животными проверить?
На Авито такая ест. Но если бы мы обнаружили, что на самом деле сортировать недвигу по возможности заезда животных нету, как раз была бы отличная вообще тема, чтобы поглубже еще подкопать и сходить в продуктовую команду. Сказать: вот пользователи не понимают, надо что-то с этим сделать, надо что-то придумать.
3. Наши методы: куда смотрим и как
Как все это принести в продуктовую команду?
Просто написать коллеге, слушай, тут есть такая беда, надо что-то предпринять — это неэффективный путь. Наверное, у каждого, возможно, редактора из нашей редакции есть в своей памяти кейс, когда кто-то написал коллеге на честное слово, что что-то починит, а потом оно забылось и не починили.
- Поэтому мы сначала считаем профит — продуктовые команды очень любят всякие цифры. Наверное, все, кто работает с продуктовыми командами, знают о том, что надо аргументировать именно в цифрах. Команды обычно бывают (не продуктовые, а в целом) двух типов: - те, которые могут заработать денег, и те, которые могут сэкономить денег. Саппортовые команды обычно могут сэкономить денег, если сократят поток в поддержку. Соответственно, мы можем посчитать, сколько стоит одно обращение, и сколько мы сэкономим денег, если обращения от темы не будет, или если количество существенно снизится.
- Затем презентуем, встречаемся с продуктовой командой, обязательно с ссылками на обращения. Если пользователи пишут максимально жестко, прикрепляем, потому что это очень впечатляюще действует на продактов. Они прям пропитываются этой болью и хотят что-то делать.
- И обязательно договариваемся о том, чтобы что-то случилось. Идеально получить подтверждение, что нас услышали. Для нас это обычно задача в Jira. Если сказали, что сделают через полгода, это реалистичный срок. Полгода — это конкретика. Если говорят, что это nice to have, не ведитесь. Требуйте зафиксировать это и, если возможно, получить конкретную ссылку.
- Ну и потом начинается прекрасный этап, ожидания. Если есть время, например, и вам реально сказали "через полгода сделаем, когда будут ресурсы", то я бы, наверное, посоветовала где-то месяца через три переснять цифры. Бывает такое, что проблема рассосалась. Ну вот все пользователи, например, столкнулись с каким-то обновлением, побухтели. Но потом смирились, приняли. То есть это в принципе уже не надо лечить, там через три месяца вопросов нет. Все мы знаем, что такое ресурс разработки. Можно вернуться к команде и уточнить, решился ли вопрос или нет, и приоритизировать задачи для быстрого решения.
4. Про реальные кейсы
Первый кейс, о котором я хочу рассказать, это выкуп электроники. На Авито есть сервис, в котором можно быстро продать свой смартфон буквально в течение суток. И основная его классная деталь — это то, что партнеры Авито выкупают эти самые смартфоны. Если кто-нибудь хоть раз выкладывал на Авито свой телефон на продажу, возможно, вам писали в огромных количествах перепукупщики, что подъедут за 13 минут, если вы продадите на 20 тысяч - дешевле. В общем, сервис - был сделан против этого. По флоу партнеры достаточно быстро связываются с пользователм, поэтому во флоу решили не включать отмену заявки, но пользователи начали писать "Отмените мне заявку. Я оформлял заявку на выкуп, но я передумал."
Пошли исследовать обращения глубже и выяснили, что на самом-то деле пользователи переживают по другому поводу. Они просят отменить, потому что хотят, чтобы их объявления видели другие потенциальные покупатели, например, чтобы предложили им за это побольше. Логично и очень понятно.
Мы с продуктовой командой сделали в одном из флоу кнопочку «Возврат объявления», чтобы его стали видеть, и юзеры стали счастливее, по крайней мере, на цифрах поток у нас уменьшился по этой проблематике. Это был успешный рисерч, потому что на поток повлияло, и, мне кажется, в целом на это флоу тоже.
Есть еще одна очень классная история — онлайн-бронирование. Наверное, многие видят, что на Авито можно снять себе какое-то жилье, и мы очень хотим, чтобы арендодатели были нормальные, классные, адекватные люди. Чтобы люди, которые арендуют, сталкивались с хорошим отношением, с хорошим сервисом. Для этого есть уровень сервиса, и, соответственно, уровень сервиса влияет на то, если ли вообще у арендодателя доступ к бронированию. Когда прикрутили уровень сервиса, люди стали писать, что вообще-то вот они не такие, у них уровень не такой, они гораздо лучше, чем мы думае. Благодаря UX-редактору продуктовая команда получила этот прекрасный фидбек. И действительно доработали, докрутили систему расчетов, учли какие-то тонкости, про которые писали хосты, сейчас уровень сервиса считается более точно, и, соответственно, поток тоже по тематике конкретно стал меньше.
Ну и еще один замечательный кейс – ассистент Авито для продавцов и покупателей. Те, кто состоят в каких-то наших с вами профессиональных тг-каналах, связанных с UX, наверное, могли видеть посты про того самого бота Авито. Бот Авито, который помогает покупателям и продавцам закрывать сделки (он правда помогает, продуктовая команда все посчитала перед раскаткой!). Тем не менее, когда бота включили, пользователи стали писать нам в поддержку. Наверное, они немножко одушевили его, и им было некомфортно, что в уже существующий диалог между покупателем и продавцом пришел кто-то третий. Не важно, что это третий, в принципе, чат-бот. Люди писали, что им не нравится бот именно в этом флоу, когда уже есть диалог. Команда тоже прислушалась, поменяли триггеры отправки, если диалог уже начался, если есть исходящее сообщение либо от продавца или покупателя, и ответ с другой стороны, бот - больше не приходит. Тоже люди, надеюсь, стали по этому поводу немножечко счастливее.
5. Как быть если нет доступа к метрикам/обращениям
Как же поступать, если очень хочется что-то порисерчить, но доступа нет?
Во-первых, если вы работаете в какой-то относительно большой команде, большой компании, попросите, попробуйте найти саппорт, аргументируйте, зачем вам это нужно, может быть, все-таки дадут. Если никак, есть прекрасные источники, они, конечно, не сопровождаются метриками, но для поиска прямой речи вполне подходят.
- Оценки приложений в сторах. Люди любят писать, что им там не нравится, особенно после очередного какого-нибудь обновления.
- Отзывы на сайтах типа iRecommend. Как раз, в принципе, это место, куда люди приходят делиться мнением, там что-то может быть годное.
- Комментарии в группах продуктов в соцсетях. Скорее всего, ваши маркетологи наполняют соцсети, и поэтому там не так много фидбэка по фичам, но и там тоже может быть какая-то вообще жемчужина, какая-то истина, которую бы хорошо было собрать.
- Ну и если ментальное здоровье редактора позволяет — VC, Пикабу, комментарии на всех подобных прекрасных ресурсах. Главное не принимать близко к сердцу то, что пишут про вас, про ваш сервис. Потому что можно очень расстроиться. Там люди пишут вполне валидные вещи, просто в резкой форме. Но это люди, которые пользуются нашими с вами сервисами.
Соответсвенно в чем же профит?
Мне кажется, что профит вообще есть для всех. Для бизнеса это деньги. Если ваша команда зарабатывает и вы можете найти какую-то фичу из вот этих вот обращений, которые позволят зарабатывать больше, это круто. Если ваша команда саппортовая, как моя, и экономит деньги, это тоже круто. Для продукта это шанс найти классные корнер-кейсы.
Когда запускался прекрасный кошелек Авито, мы пришли в продукт и сказали, что, надо будет предусмотреть (мы это с продуктовой командой обсуждали). Надо предусмотреть тот случай, когда люди придут и будут спрашивать, могут ли приставы арестовать кошелек Авито. Продуктовая команда сказала, да кто это спросит вообще.
Но мои коллеги из контента поддержки, которые занимаются как раз регламентами и шаблонами, были настойчивы, предусмотрели кейс с приставами. Скажу честно, поток неошеломительный по этой теме. Но люди приходят и спрашивают, могут ли арестовать кошелек Авито, найдут ли эти деньги судебные приставы. Мы к этим вопросам подготовились. Учесть, конечно же, вообще все корнер кейсы невозможно, и как раз именно из вот этих сообщений пользователей можно насобирать классных корнер-кейсов, отнести их в продукт, чтобы сделать его лучше.
Ну и, в общем, в сердцах всех юиксеров, конечно, улучшение пользовательского опыта — помочь людям как-то лучше справляться с сервисом и лучше себя чувствовать. Это тоже супер-важно.
Правда, мы видели всякое: там пишут такое, потому что, наверное, люди не думают, что кто-то еще это прочтет. Мы читаем. Мы все видим. Я верю в то, что слышать и слушать пользователей очень важно, даже если в обращении что-то ругачее. Про деньги всегда люди максимально как-то жестко пишут. Но, с другой стороны, и люди, которым забанили объявление про раздачу котиков даром...- Вы бы знали, что пишут эти добрые люди. Какие формулировки они используют, отводят душу на наших операторах, гордых и смелых, как могут. Все равно верю в то, что среди всего этого можно выцеплять классные вещи, классные инсайты, и таким образом тоже улучшать свой продукт.
6. Вопросы
1) Скажи, пожалуйста, как мне вовлекаться в это эмоционально? Может есть какие-то техники, потому что я слушала звонки в техподдержку нашей компании. Я знаю, как это тяжело.
Аня: Только с опытом приходит понимание, поскольку, когда я впервые вышла в Авито, мне казалось, что все плохо и нужно менять почти все, так как люди жаловались. Однако со временем я поняла, что жалобы — это нормальная реакция. Большинство пользователей на самом деле довольны.
Люди редко пишут положительные отзывы, к сожалению, чаще выражают недовольство. Поэтому важно помнить, что это не касается лично тебя и даже не компании в целом. Жалобы связаны с конкретными проблемами, с которыми столкнулся человек.
Вот человек, у которого что-то не получается, ему это суперважно. Вот он отвел душу на операторе поддержки. Я всячески не одобряю людей, которые отводят душу на поддержке, потому что оператор поддержки может не все. Мне когда-то казалось, что оператор может, но не хочет. На самом деле часто оператор просто не может сделать то, что люди от него ждут. То есть, соответственно, помнить, что это, во-первых, про самого человека, который вот так себя ведет.
Во-вторых, с опытом приходит умение фильтровать информацию. За полтора года в Авито я прочитала более пяти тысяч диалогов. В какой-то момент ты начинаешь отсеивать несущественные жалобы и фокусироваться на главном. Если человек жалуется на что-то конкретное, это говорит больше о нем, чем о ситуации в целом.
2) Спасибо за интересный и вдохновляющий доклад. Радует возможность влиять на продукт и отзывать идеи, если они не сработали. У меня возник вопрос:
На примере с отелем и собачками, да, представим, что был период новогодних праздников, все поехали отдыхать, всем нужен отель с собачками, куча обращений, вы их увидели, отдали в продуктовую команду, через три месяца посмотрели, а через три месяца март, все сидят дома, уже никому не надо, и вы отзываете задачу. А потом наступают майские праздники, все опять едут отдыхать, и опять валят отели с собачками.
Вопрос вот в чем, как разграничить вот эти истории, когда проблема действительно рассосалась, а как отличить, когда это была сезонная проблема, она вернется, или на нее повлияли какие-то там другие факторы?
Аня: Отличный вопрос о сезонности. Действительно, важно взглянуть на ситуацию с высоты птичьего полета и проанализировать данные за год. Если проблема возникает только в декабре, это может быть связано с сезонностью,
и стоит учитывать этот поток обращений, но если она, например, каждые праздники, то это уже, скорее, более валидная вещь, и надо бы сделать.
Также мне помогает поддержка продакт-менеджеров, которые понимают важность улучшений. Когда ты объясняешь, что необходимо починить, это воспринимается как разумный шаг. Аргументация о необходимости улучшения пользовательского опыта для UX-редактора — это мощный инструмент. Если проблема не связана с сезонностью, или если она повторяется в праздничные дни, стоит учитывать, что в нашей стране много праздников, и мы отдыхаем чаще, чем в других странах. Если у вашей продуктовой команды есть ресурсы для улучшений, это тоже стоит рассмотреть.
3) Поделись, пожалуйста, с твоей любимой цитатой использователя, которая ушла в народ?
Аня: Цитата, которая ушла в народ... - я думаю, что те, кто здесь, они догадываются, что я скажу. Кто-то из пользователей как-то написал большую ругачку, и там среди всех ругательств написали, что все, что у нас тут происходит, это гнилые движения. В общем, гнилые движения, ушли в народ. У нас есть теперь эмодзи-реакция с надписью «Гнилые движения», которой мы помечаем те сообщения, которые нам не нравятся. Наверное, вот это. Но, правда, бывает вообще очень много.
Я как-то наткнулась на список ругательств, не конкретно пользовательских, а в целом список ругательств. И была удивлена, сколько всего я не знаю! Народ у нас креативный. Но если есть возможность, ищите в тексте добрые слова: "спасибо", "вы классные". Это очень полезно для ментального здоровья, ведь хороший фидбэк тоже есть. Когда пользователи пишут что-то доброе, сразу хочется поделиться со всеми: "Смотрите, какую милоту нам написали!". И тогда редакторское сердце радуется, понимая, что всё это не зря."
4) Ты сначала сказала, что никто не смотрит обычно все обращения без цели. И мне стало интересно, как вы чаще всего определяете, на что вы приоритетно будете смотреть. То есть это чаще какие-то задачи от продактов или вы сами, не знаю, с какой-то регулярностью что-то анализируете? Как вот у вас это чаще происходит?
Смотрим по потоку. Если поток обращений внезапно растёт, это 100% сигнал обратить внимание. Если падает сатисфакция, то есть пользователи внезапно стали жмякать дизлайки, что-то происходит, надо бы туда глянуть, почему это, вдруг они стали несчастливы. Надо посмотреть.
От продактов. Бывают продуктовые команды, которые просят сами разметить, почитать, посмотреть. Но обычно это мы приходим к продуктовой команде и говорим, смотрите, что люди пишут. Надо бы заняться. Но да, тоже есть такая вообще вещь, как инициатива внешняя, таски приходят на ресёрч.
И ещё у нас есть в Авито прекрасные люди, которые называются customer service business partners. Это те люди, которые соединяют продукты, бизнес и поддержку. И вот от них тоже бывают такие запросы. И они как раз дашборды мониторят всякие. И видят цифры, тоже могут прийти и сказать, слушайте, давайте копнём что-то там подозрительное.
5) Почему такой аналитикой занимаются именно UX-редакторы, а не аналитики? Чем это связано?
Сложно сказать. Когда я пришла, это уже делали. Я думаю, что на самом деле UX-редакторы делают , потому что у UX-редакторов, во-первых, есть некоторые представления про пользовательский путь и пользовательский опыт, чуть больше, чем у аналитиков.
Во-вторых, у нас связь аналитиков и продуктовых команд, может быть, ну, не слабее, чем связь команд продуктовых и UX-редакции, но, по крайней мере, отличается.
У нас есть регулярные встречи с продуктовыми командами. Это банально быстрое взаимодействие. Мы можем передать этот фидбэк. Может быть, у вас это были какие-то аналитики, которые, правда, были очень тесно завязаны именно на фидбэк.
Все наши аналитики, которых знаю я, это люди, которые делают огромные сложные дашборды, считают какие-то сложные цифры. Ты им говоришь, дорогой аналитик, посчитай вот это, "пожалуйста". Они такие "сейчас все будет", и уходят делать эту задачу. Творят магию. Мне кажется, у нас аналитики прям совсем с этим не сталкиваются, с конкретными обращениями, но это может быть на самом деле просто какая-то тоже особенность компании. Why not? Если у аналитиков есть доступ и, главное, есть желание читать вот это все, это хорошо.
Источник подкаста: https://www.youtube.com/watch?v=y_05bDJR7MA