У каждого свое качество

Есть 2 более-менее популярных определения качества, ориентированных на клиента:

Первое: на сколько то, что мы делаем соответствует нашим обязательствам. Например, если мы пообещали — но не сделали, значит, не качественно. пообещали — сделали, значит, качественно. То есть надо четко регламентировать себя и выполнять обязательства, которые ты прописал.

Второе определение качества: то, что теряет клиент, когда с нами общается, взаимодействует, покупает. Чем меньше он теряет, тем выше качество, чем больше теряет, тем меньше качество.

• Если он теряет время, общаясь с нами, значит, у нас низкое качество.
• Если наш сайт тормозит, значит, он теряет время, значит, низкое качество.
• Если сайт тормозит, он теряет время и не может купить — очень низкое качество.

Клиент не получает то, что хочет — мы не получаем деньги, за счет которых могли бы еще что-нибудь ему предложить.

То есть мы ориентируемся на второе определение. Качество — это то, что теряет клиент при взаимодействии с нами, и наша цель постоянно это качество улучшать, то есть постоянно уменьшать боль и потери клиента.

Знакомьтесь, команда Качество

Надя Бояркина — скрам-мастер, Руслан Бергутов, Денис Ярославцев, Роман Мясников, Надя Захарова, Тоня Утенко, Ваня Кожевников, Костя Маршалкин, Артем Гриневич, Саша Коротков —командный девопс, Лена Бударова — продуктовнер.

💬 Анатолий Сюзев: Мы считаем, что качеством может управлять тот, кто в процессе, и кто знает, что делает. Из вне можно получать консультации, знания, какие-нибудь крутые инструменты для проверки кода, мониторинга, но само управление качеством может быть только внутри процесса, только теми людьми, кто кровно заинтересован и кто знает этот процесс досконально.

Поэтому цель всех наших действий и команды, которую мы создали, — повышение качества работы с клиентом. Это наш сегодняшний ориентир для разработчиков и для всех, кто участвует в эксплуатации развития сайта Строительного Двора.

Мы считаем, что управление качеством — это не слова, а некие постоянные действия. И основа — такое понятие, как контрольная система. Чтобы контролировать качество, управлять им и улучшать, надо понимать какое оно у тебя сейчас, на сколько сейчас ты не устраиваешь клиента. Соответственно те задачи, которые решаем, мы начинаем с вопросов:

• А на сколько то, что мы хотим сделать, будет улучшать клиента?
• На сколько он сейчас не доволен нами?
• На сколько качество той услуги или продукта, что мы предоставляем, не соответствует его желанию?

Вопрос: как это делать?

Когда клиенты внутренние: консультанты, продавцы, логисты, то получение обратной связи — это наиболее объективный и дешевый способ.

Когда клиенты внешние, и они приходят через интернет, то у нас в моменте получается 300-400 разных пользователей, то есть 400-500 тыс. сессий в месяц, соответственно, опрос пользователей трудозатратен, и нужной информации он может не дать.

В это время у кулера 👇🏼

💬 Анатолий: Видите, вот работа с качеством: мы ухудшили качество работы команды качество. Соответственно вместо того, чтобы его повышать, Руслан будет бегать к кулеру.

💬 Руслан: на 5ый этаж надо кулер вернуть.

💬 Анатолий: Руслан, сперва надо контрольную систему придумать, сколько раз ты бегаешь туда-сюда, фиксировать это, из этого потом снижать. Например, тебе может надо просто быстрее бегать?)))

P.S.: Торговая марка «Руслан Бергутов» принадлежит компании ООО «Строительный двор»

💬 Анатолий: Когда решаем какую-то задачу, мы в первую очередь хотим понять, как будем измерять текущее качество, и как мы увидим, что оно улучшилось.

Лучше привести пример👇🏼

Мы начали с такой задачи, как актуальность остатков на сайте, то есть какие возможны потери:

• клиент видит товар на сайте, а его нет — клиент разочарован уходит от нас;
• клиент не видит товар на сайте, а он есть — клиент тоже не покупает, уходит от нас и мы этого даже не знаем.

То есть если в первом случае он еще мог нам что-то сказать, то во втором — ничего не скажет, мы не узнаем, и опросы здесь не помогут.

Что мы сделали?

Первым шагом сделали контрольную систему: мы знаем, что за остатки на сайте отвечает SAP ERP, и что сайт эту информацию получает каким-то там сложным путем. Мы сделали систему, которая с некой периодичностью проводит сверку остатков сайта и сапа в разрезе каждого города, и показывает количество проверенных товаров и количество товаров, где обнаружены расхождения. Первые результаты показали гигантские расхождения на десятки процентов по каждому городу. Но как только эта система появилась, мы ежедневно видим, что она стабильна: каждый раз одни и те же десятки процентов, а не так, что один день десятки, а в другой 0. Соответственно, каждый день у нас стремное качество, а значит, его можно улучшать, потому что система стабильна.

Как улучшается качество?

Тривиально: ищется причина проблемы. Команда качество стали изучать сам процесс: почему вдруг цифра на сайте не соответствует цифре в ERP. Хотя мы считаем, что за 20 секунд любое изменение остатка должно доходить до сайта. На текущий момент можем посмотреть последние данные по всем городам — 0,29% отклонения. По Тюмени больше всего отклонений, по остальным очень мало. Мы понимаем, что Тюмень выбивается из общего числа, но эта цифра ото дня ко дню стабильна — 1,71%.

Сейчас весь контроль качества — раз в день смотрим не изменилось ли что-то. Буквально на днях было нечто страшное — 18%. Это сигнал, что система вышла из стабильного состояния. Оказалось, что там завели новый магазин, и все сломалось. Если у нас не было контрольной системы, мы бы это узнали, например, только через месяц. Сейчас это знаем сразу: тут же исправили, остатки появились. Мы считаем, что клиент будет б��льше доволен, чем если бы этого не было. Это один пример.

Другой пример, это работа со скоростью и ошибками сайта. С помощью откликов и отзывов клиентов мы сами видим, что сайт иногда тормозит, а иногда появляются ошибки 502, 404, и надо что-то сделать. Конечно, хочется сразу броситься разобраться в причинах, все исправить, может где-то подвернуть, и все станет хорошо — идеализм работает в полную меру. Но правда жизни говорит, что нет, и что с помощью таких вещей можно улучшить процесс.

Есть процессы работы листингов — списков товаров, они характеризуются: скоростью работы, как быстро клиент видит список и сколько раз клиент ошибается.

Вот здесь небольшое отступление: стопроцентного качества не бывает, тот кто говорит про это, он либо лжет, либо заблуждается. Это суть мира — всегда есть ошибки, вопрос в их стабильности.

Стабильность ошибок — голос процесса, чем чаще она повторяется, тем стабильнее процесс — это первый момент, а второй — удовлетворяет ли нас такая доля ошибок. Если мы говорим: нам нужно 100%-ое качество, значит, мы не в реальном мире живем. Если хотим улучшать качество, значит, мы должны ухватиться за эту ошибку и начинать ее уменьшать.

Наш пример с листингом был построен также: мы создали контрольную систему, где каждые 1,5 секунды заходит бот на сайт, который делает такие же операции, как пользователь. Порядка 20 тыс таких заходов в рабочее время: он открывает список, проваливается в карточку, добавляет товар и фиксирует время выполнения, а так же ошибку, если она есть.

Еще мы дополнительно сделали: когда ошибка и система не может ничего сделать 10 раз, то она сигнализирует: за последнюю минуту было 12 ошибок, то есть недавно у нас система лежала с 9.38 до 9.46 — 8 минут были проблемы, о которых мы узнали в принципе через минуту. И подправили.

Нормальная тема, когда 7 из 20 ошибок, когда эти цифры видим, мы не волнуемся, то есть никакой исключительной ситуации нет. Это качество вероятней всего устраивает и нас и потребителя, это не значит, что мы все успокоились, но это позволяет нам ставить приоритеты, в данном случае, считаем, что с этим вопросом можно остановиться.

У нас же еще есть вторая тема — скорость. На каждую дату мы замеряем и видим, что она в принципе стала падать. Уже сегодня начались обсуждения, что произошла деградация скорости. И следовательно, скорей всего в следующий спринт будет взята задача по работе со скоростью: выявление причин и исправления. И опять же наша контрольная система позволит увидеть в стабильном состоянии мы или нет.

Мы считаем, что эти вещи надо делать прагматично, применительно к самому клиенту и процессу, в котором он участвует:

• клиент смотрит листинги — смотрит;
• клиент добавляет товар в корзину — добавляет.

Значит, качество надо здесь улучшать, идти сверху от клиента. Дальше все разваливается на технологические какие-то вещи: работоспособность элементов инфраструктуры, кода, баз данных и пр. Эти вещи тоже нужно мониторить, управлять, но они как следствие самого уровня качества, определяемого для клиента.

Вот и все, что делает команда качества — просто улучшает качество жизни клиента.

Сейчас в этом спринте задача — работа с ройстатом. Есть система сквозной аналитики, которая собирает себе данные, откуда к нам клиенты приходят: из рекламы или напрямую и т.д. И сколько мы им продаем через эти каналы. Ройстат — это внешняя система, мы с ней интегрируемся. Сейчас качество интеграции, данные которые мы выгружаем, не соответствует качеству, которое требуют маркетологи. Они считают, что есть расхождения между продажами, которые показывает ройстат, и продажами, которые у нас в системе. Это серьезный вопрос. Это влияет на расходование маркетинговых бюджетов. Маркетинг же бюджеты перераспределяет. Если они видят, что на этот канал, куда тратятся деньги, мало продаж, они эти деньги вытаскивают и перекидывает на другой, а если это из-за того, что система сбойнула, они ложно вытащат эти деньги, и там, где мы несем прибыль себе и пользу клиенту не будет рекламы. Поэтому качество этих данных позволяет точно доносить наше предложение до клиента.

🙏🏻 Анатолий и ребята из команды Качество, спасибо вам большое за улучшение качества для наших клиентов. И пусть вернется кулер на 5ый)))