Hey Voice!

Мэри Поппинс, до свидания! Как голосовые помощники помогают родителям

2023-06-02T07:36:10.447Z

Функциональность голосовых помощников шире, чем поставить таймер или включить музыку. Виртуальные ассистенты могут помочь родителям с воспитанием детей. Рассказываем, у какой колонки больше полезных функций для родителей.

Голосовой помощник как радионяня

Самый известный пример — радионяня в Алисе. Режим радионяни появился в умных колонках Яндекса в декабре 2022 года. С помощью колонки можно слушать, что происходит в детской через вторую колонку Яндекса или через приложение «Дом с Алисой».

В режиме радионяни звук передаётся в приложение и на вторую колонку. Если ребёнок проснётся или позовёт родителей, родительская колонка начнёт светиться.

Алиса ещё долго пригодится ребёнку. Она умеет рассказывать сказки, включает колыбельные, развлекает играми. Дети постарше общаются с Алисой в режиме болталки, слушают музыку, и с её помощью делают уроки. Например, Алиса может подсказать, как пишется то или иное слово, но всё-таки не заменит родителя или учителя и не будет выполнять всё домашнее задание за ребёнка.

«Где мои дети»

В 2021 компания «Где мои дети» настроила интеграцию с Алисой. Родитель может спросить колонку или устройство, где находится его ребёнок, и помощник назовёт адрес или место. Это работает, если ребёнок пользуется приложением «Пинго» или носит детские час с GPS. Сервис «Где мои дети» планирует интеграцию с другими помощниками: с Марусей и Салютом, а также с зарубежными Google Assistant и Amazon Alexa.

К слову, о Марусе

Как и у Алисы, у Маруси появился детский режим, при активации которого помощник распознает детский голос, ограничивая доступ к определённому контенту. В каталоге навыков Маруси есть развивашки (интересные факты, 1000 детских вопросов и так далее), детское радио, игры, сказки по ролям, колыбельные и многое другое.

Create with Alexa

Как и у других колонок, у Алексы тоже есть детский режим с распознаванием детского голоса. Но это ещё не всё.

Полгода назад компания Amazon объявила о запуске нового ИИ-инструмента для детей, который создаёт анимированные истории на основе того, что говорит ребёнок. Инструмент доступен на английском языке, работает в США на поддерживаемых устройствах. Чтобы создать историю, ребёнок отвечает на подсказки помощника, выбирает одну из трёх тем, героя истории, цветовую схему и ряд прилагательных, описывающих ситуацию. Затем помощник создаёт историю с фоновым изображением, анимацией, музыкой и звуковыми эффектами. Сказку можно сохранить в галерее и поделиться ей с близкими. В навыке существуют фильтры контента, так как он ориентирован на маленьких детей.

Google Home и Assistant

Google Ассистент не отстаёт. Помощник предлагает много игр, викторин и другого интерактивного контента. У Google пока нет колонки, специально разработанной для детей, но большинство «детских» функций доступны на всех колонках с определёнными ограничениями. Например, дети до 13 лет не могут запускать с колонок песни с YouTube Music и видео с YouTube. Также им нельзя включать песни из Google Play Music (если в семье нет семейного плана или индивидуальной подписки). Под запретом – покупки с колонки и использование сторонних приложений. Чтобы эти ограничения работали, необходимо создать отдельную учётную запись Google Home для ребёнка.

Также в Google существует специальное приложение для родительского контроля под названием Family Link.

С навыком «Читайте вместе с Диснеем» в Google Home можно разнообразить чтение истории: фоном воспроизводится музыка и звуковые эффекты. Помимо этой функции помощник сам умеет рассказывать сказки и истории, заказывать еду из Domino’s, «подкидывает монетку», помогает заснуть, ищет потерянные вещи, играет в игры.

***

Дети и родители — важная и многочисленная аудитория для разработчиков голосовых помощников. Ассистент способен облегчить жизнь родителю: развлечь или отвлечь ребёнка, проконтролировать, всё ли с ним в порядке. Но до сих пор ведутся споры, как взаимодействие с виртуальным ассистентом влияет на развитие детей, ведь пока что голосовые помощники не столь продвинуты, чтобы с ними можно было свободно общаться, как с живыми людьми.

Согласно исследованию от сентября 2022 года, развитие ИИ может влиять на когнитивное и социальное развитие детей, на их навыки критического мышления и способность к состраданию. Дети очеловечивают устройства, впоследствии подражают им, копируя интонацию и манеру речи. Колонки не ждут от человека вежливого обращения, в результате чего дети учатся реагировать не совсем адекватно. Например, специфически формулируют свои вопросы и всегда в приказном тоне.

Однако разработчики спешат решить эту проблему: например, и для Google, и для Алексы придумали «уроки вежливости». Колонки охотнее отзываются на команды, если сопровождать их «волшебными словами» — «спасибо» и «пожалуйста». Опция доступна в США.

Российские колонки тоже реагируют на грубость пользователя — Алиса всякий раз возмущается и заканчивает беседу, помощники семейства Салют и Маруся тоже не любят, когда им хамят.

С развитием ИИ (нашумевшего ChatGPT) ждём, когда наши помощники станут ещё умнее. Однако стоит помнить самое важное: ни один робот не заменит родительского внимания.

Мария Зубарева, редактор разговорных продуктов KODE

Пробуем написать сценарий разговорного продукта в сервисе для интерактивных книг

2023-05-24T09:00:44.743Z

Интересные решения часто приходят из других отраслей. Не так давно мы писали о том, как проектировать схемы на «космическом» языке ДРАКОН. Сегодня расскажем об инструменте из сферы писательства.

Twine — это бесплатная программа для написания интерактивной литературы. С её помощью создают текстовые игры, образовательные программы и визуальные новеллы. Дизайнеры разговорных продуктов могут использовать Twine для проектирования и тестирования сценариев ботов.

Ограничения

Перед тем, как начать, зафиксируем два важных аспекта:

Twine — не конструктор ботов. Созданный в нём сценарий можно сохранить в HTML-файл, но нельзя интегрировать в мессенджеры.
Twine не подходит для совместной работы. В нём нельзя оставлять комментарии или одновременно работать над сценарием.

Интерфейс

Внешне Twine похож на Miro или Draw.io: те же карточки, соединенные стрелками. Начало схемы выделяется зеленым маркером, а заголовки на карточках помогают ориентироваться в блоках текста. На этом их сходство заканчивается.

В Miro и Draw.io приходится тратить время на организацию пространства: прикрепление стрелок, группировку и выравнивание элементов по цветным линиям. В Twine эта рутина сведена к минимуму — карточки аккуратно прилипают к невидимым направляющим, а стрелки автоматически соединяют элементы между собой.

Проектирование сценариев

Чтобы спроектировать сценарий, нужно создать карточки с шагами и связать их с помощью ссылок. Если указать ссылку на несуществующую карточку, Twine создаст её автоматически.

Подобное решение удачно передает то, как устроено взаимодействие в разговорных продуктах. Каждая ссылка — это реплика пользователя, кнопка или саджест. Так на рисунке выше изображен бот, который по разному реагирует на запросы о погоде.

Реплика бота и возможные ответы пользователя находятся в одном окне, что помогает глубже погрузиться в ситуацию и предусмотреть больше вариантов ветвления диалога.

Twine поддерживает JavaScript и несколько форматов (story format), каждый из которых использует собственный язык. С их помощью, например, можно добавить в сценарий переменные:

Тестирование сценария

Собранный сценарий можно протестировать прямо в браузере. В углу экрана при этом отобразятся текущие значения переменных, шаг сценария и прочая информация.

Другая интересная функция — режим вычитки (Proof). Он выводит на экран содержимое всех карточек, что значительно упрощает вычитку текста и поиск ошибок.

Применение

Twine — удачное решение для проектирования последовательных сценариев. В нём можно быстро собрать прототип диалога с несколькими вариантами запросов пользователя и тут же протестировать его на удобство. В Twine удобно работать с большими объемами текста — в карточках можно хранить варианты реплик бота и искать в них ошибки с помощью режима вычитки.

Преимущества:

наглядность и легкость освоения;
комфортная работа с текстом;
удобные режимы тестирования и вычитки;
можно работать оффлайн;
бесплатно и с открытым кодом

Недостатки:

нет функций для командной работы;
нет интеграций с мессенджерами и другими сервисами;
нет сохранений «в облаке»;
подходит только для древовидных сценариев.

Twine можно бесплатно скачать с GitHub или запустить в браузере.

Кирилл Богатов, дизайнер разговорных продуктов KODE

Как голосовые помощники помогают людям с инвалидностью

2023-05-17T08:00:42.264Z

И как люди пользуются ими на самом деле.

Когда мы начали изучать, как люди с ОВЗ пользуются голосовыми помощниками, познакомились с Еленой Сичкар. Она переводчик, копирайтер, а ещё незрячий человек.

Елена замужем, у её мужа тоже инвалидность по зрению. Все домашние дела они делают сами, лишь иногда родные помогают им по видеосвязи. При этом многие технологии всё ещё недоступны для этой семьи.

Мы пообщались с Еленой, узнали об её опыте использования голосовых помощников и изучили, что производители голосовых ассистентов делают для слабовидящих людей.

11 миллионов людей с инвалидностью проживает в России
300 тысяч россиян — инвалиды по зрению
данные Росстата

Крупные компании думают об инклюзивности и выпускают программы и устройства, которые облегчают жизнь незрячим людям. Айтрекеры заменяют клавиатуру и мышь — следят за движениями глаз человека перед экраном. Дисплей Брайля помогает читать и писать тексты. Озвучить текст на экране могут скринридеры.

Считается, что восприятие голоса и голосовое взаимодействие — привычный паттерн поведения для людей с нарушениями зрения. Елена тоже пользуется голосовым ассистентом — колонкой от Google. Колонка помогает ей поставить таймер и узнать погоду. Это полезные и удобные сервисы, но они не облегчают жизнь в разы.

Елена Сичкар, копирайтер и автор телеграм-канала «Копирайтер в чёрных очках»:

Отношения с голосовыми помощниками у меня довольно сложные. Мешает психологический барьер. Когда прошу гугловскую колонку включить радио, чувствую себя сумасшедшей. Со временем становится полегче, хотя раньше даже попросить было проблемой.

Голосовые помощники могут гораздо больше, чем просто поставить таймер. Например, Алекса помогает слепым людям выполнять рутинные задачи: распаковать продукты или приготовить еду. Для этого у колонки есть функция Show and Tell. Чтобы ее активировать, нужно разместить предмет перед оснащенной камерой колонкой Echo Show и спросить: «Алекса, что у меня в руках?». Голосовой помощник ответит. Однако Show and Tell пока доступна только пользователям в США.

По данным ООН, большинство людей с инвалидностью — старше 60 лет. Amazon также делает доступными голосовые технологии для старшего поколения. Компания запустила проект Alexa Smart Properties for Senior Living и устанавливает колонки Echo в домах престарелых, чтобы облегчить жизнь пожилых людей. Пользователи могут общаться с медицинским персоналом через колонки, управлять «умным домом» через голосового помощника. С помощью функции Alexa-to-Alexa можно звонить через колонку родным и близким.

Елена Сичкар:

Было бы здорово, если бы голосовой помощник мог изменять настройки программ и приложений, например, поменять язык. Иногда сама сделать это я не могу — где-то не понимаю, где-то недоступны элементы управления.

Сейчас включила Сири на iPhone и спрашиваю: «Что ты умеешь?», а она отправляет меня читать информацию на сайте. Назвала ее ленивой заразой, она закрылась, обиделась, наверное. Вот и поговорили.

Алиса и другие голосовые помощники должны сделать компьютеры и смартфоны доступными для людей с нарушениями зрения. Например, Яндекс в 2022 году адаптировал 10 своих приложений для слабовидящих пользователей. Эти сервисы стали полноценно работать со скринридерами.

Елена Сичкар:

Иногда подумываю купить колонку с Алисой, но мой бюджет пока не позволяет. Хотя, судя по рассказам друзей, она может гораздо больше.

Когда я узнала, что Алиса может управлять кухонной техникой, это меня реально порадовало. Мы с мужем оба незрячие, живем вдвоём. Со всем справляемся сами, но большую часть приборов приходится использовать наугад или звонить по видео родственникам. Понятное дело, новые приборы из-за Алисы покупать не станешь, но когда придёт пора менять, надо будет вспомнить об этом.

Благодаря тому, что компании думают об инклюзии, незрячим людям становятся доступны функции, которые раньше они вообще не могли использовать. Так, в Google разработали технологию, которая помогает пользователям с нарушениями зрения делать селфи. Функция называется Guided Frame. Это своего рода голосовой помощник, который подскажет, как правильно держать телефон. Также помощник самостоятельно спустит затвор и сообщит пользователю, что фото готово.

Голосовые помощники частично упрощают жизнь слабовидящих людей. К сожалению, некоторые технологии, как например Show and Tell для Алексы, пока недоступны в России. Однако пользователей с ОВЗ довольно много. Компании хотят получить эту аудиторию и адаптируют свои сервисы, чтобы ими могли пользоваться все без ограничений. Возможно, развитие искусственного интеллекта ускорит этот процесс.

Мария Зубарева, дизайнер разговорных продуктов KODE

Чем голосовые помощники в отелях отличаются от домашних

2023-04-20T12:11:38.820Z

Новая фишка последних лет — появление голосовых помощников в отелях. Как правило, ассистенты выполняют рутинные задачи: включают ТВ, музыку, сообщают прогноз погоды, управляют устройствами и микроклиматом в номере (например, включают свет, задёргивают шторы), также выполняют задачи консьержа (помогают вызвать такси или получить услуги в номер). В некоторых случаях такие помощники могут рассказать об отеле или посоветовать интересную экскурсию.Сейчас голосовых помощников — от Алисы до Алексы — можно встретить в отелях по всему миру. Разобрались, что они умеют и чем отличаются от тех, что мы используем дома.

Alexa for Hospitality

Первый пример интеграции с системой отеля — Alexa от Amazon. Специальная версия помощника для управления электроникой в номере появилась в 2018 году. Под эту задачу в Amazon отдельно дорабатывали ассистента.

Голосового помощника можно кастомизировать под определённые гостиницы. Для управления устройствами в номере и для заказа услуг в номерах устанавливают колонки Echo.

Первые данные об использовании помощника появились в 2019 году. Большинству гостей отеля Wynn Las Vegas понравились номера с Алексой:

5 тысяч устройств было в отеле;
86% гостей Wynn считают Alexa простой в использовании;
84% были довольны обслуживанием;
67% из 40 000 респондентов сказали, что предпочитают комнату с Alexa.

Интерес к голосовым ассистентам в отелях вырос после пандемии коронавируса. Голосовое взаимодействие стало удобной и безопасной альтернативой традиционному общению с сотрудниками на ресепшене и контакту с разными поверхностями: выключателями, дверными ручками, пультами управления.

Согласно опросу, проведённому по заказу Американской ассоциации отелей и жилых помещений (AHLA), 85% гостей чувствовали себя в большей безопасности в отелях, которые используют бесконтактные технологии.

В 2021 году Alexa for Hospitality была встроена в систему «Пиратского отеля» от Legoland (США). Помимо управления электроникой номера и заказом услуг, Алекса дарила дополнительные впечатления от отдыха в отеле: рассказывала пиратские сказки, выдавала тематические шутки, организовывала квест с поиском сокровищ в номере.

Hey, Disney!

Также в 2021 году в Amazon представили новый кастомный голосовой ассистент на базе Алексы — Hey, Disney. Запустить его можно на домашней колонке Echo или в сети отелей Walt Disney World Resort. У него свой голос, персона и активационные фразы. С помощью ассистента пользователи получают доступ к интерактивным приключениям и другому контенту: шуткам, интересным фактам и сюрпризам. Можно слушать истории, играть в викторины. Также этот помощник умеет выполнять повседневные задачи, как и Алекса.

Google Assistant

С 2020 года развивается применение Google Assistant в отелях в рамках партнёрства Google и Volara. Запустив Google Nest Hub, гости отеля могут попросить популярного голосового помощника сделать звонок, включить музыку, запустить шоу и получить все необходимые услуги, а также управлять техникой в номере.

Алиса и СберСалют

В российских отелях функции консьержа выполняют Алиса и СберСалют. В 2019 году Алиса внутри «Яндекс Станции» появилась в нескольких номерах отеля Crowne Plaza Moscow WTC. Колонка подключена к телевизору. Гостям доступны все функции колонки, а также заказ услуг в номер.

В 2021 году Сбер представил аналогичное решение для отелей и ресторанов с ассистентами Салют. Система «Салют Отель» работает на «Салют ТВ», на колонке с экраном SberPortal и на приставке SberBox. Салют интегрируется с PMS-системой отеля: гости могут заказать услуги, воспользоваться устройством как обычным голосовым помощником (включить музыку или фильм), а также узнать информацию об отеле, просмотреть рекламные материалы и памятки.

***

Пока что гостиницы, оснащённые системами умного дома и колонками с голосовым помощником, — скорее редкость. Если пандемия обозначила спрос на автоматизацию отеля, то 2022 год внёс свои коррективы в развитие гостиничного бизнеса. Возможно, в дальнейшем Алиса или Сбер в отеле станут такой же обыденной вещью, как ключ-карта для входа в номер.

Навык «Чистая Москва»: теперь Алиса помогает сортировать мусор

2023-03-14T06:54:41.142Z

Навык создан, чтобы у жителей Москвы был быстрый и легкий доступ к информации о том, что делать с отходами. А также чтобы привлечь внимание детей к теме экологии и переработки мусора.

Алиса расскажет, как правильно сортировать отходы, куда выбросить конкретные предметы и поможет найти ближайшую контейнерную площадку в Москве. Навык заинтересует и маленьких пользователей: Алиса поделится занимательными фактами о переработке, проведёт викторину и включит добрые эко-сказки, которые озвучил телеведущий и ученый Николай Дроздов.

«Информация всегда была ценным ресурсом, а об отходах практической информации крайне мало. Людям важно понимать, можно ли выбросить в синий контейнер не вскрытый стаканчик йогурта с истекшим сроком годности или, скажем, старую зубную щётку. Такая информация должна быть доступной и простой».

— Наталья Беляева, эксперт научно-технического совета Росприроднадзора, эколог-аудитор.

Всем ликбез по переработке и сортировке

В навыке много полезной информации, она подается простым и понятным языком. Удобно, что теория поделена на части: маленькие блоки воспринимаются лучше, чем длинная лекция от Алисы или полотно текста на экране.

В конце каждой части Алиса называет следующую тему и просит сказать «Дальше», чтобы пользователь мог решить, будет ли слушать следующую часть теории:

Это хорошо, что пользователь может управлять процессом. Но в последнем сообщении используется более подходящий приём — «Хотите, я расскажу вам о …?» звучит более человечно и создает ощущение живого диалога: пользователя не учат, что ему говорить, и он может ответить по-разному. Наша рекомендация относится в первую очередь к голосовым ассистентам и навыкам с детально проработанной персоной. Для небольшого утилитарного навыка фраза «скажите “Дальше”» тоже подходит, если это консистентно остальному диалогу.

Чтобы помочь пользователю не потеряться, вместо команд можно использовать саджесты. Их в навыке встречается довольно много:

Саджесты — это такие кнопки с подсказками возле клавиатуры. Ещё их называют chips. Они предлагают пользователю варианты реплик и показывают возможные направления в сценарии.

Во многих сценариях есть саджесты «Назад» и «Начало», они находятся в самом конце ряда подсказок. Команда «Назад» возвращает пользователя на один шаг, и навык повторяет предыдущую реплику. Её также можно запустить фразой «Предыдущий шаг». Команда «Начало» переносит в главное меню.

На наш взгляд, стоит также добавить другие слова и фразы для запуска этих команд, например: вернись, вернись в начало, начни сначала, заново и другие. Таким образом, если пользователь забудет команду и скажет своими словами, навык всё равно поймёт его намерение.

Один серый, другой — синий. Сортируем отходы

Также «Чистая Москва» помогает сортировать отходы и рассказывает, что с ними делать дальше. Навык умеет распознавать естественные запросы: можно просто говорить, не угадывая, как сказать правильно.

Из одного сценария можно переходить в другой, разговор в основном получается плавным.

Для пользователей, которые только учатся разделять отходы, есть ответвление сценария с простым и запоминающимся объяснением:

При сортировке пластика навык задает уточняющий вопрос про маркировку:

Возможно, здесь стоит добавить «шорткат» (краткий путь, от англ. shortcut). Это сценарий, который позволит срезать путь и сообщить всю информацию сразу в одном сообщении. В таком случае, пользователь сможет миновать уточняющий вопрос, особенно если он пользуется навыком на регулярной основе, а не в целях обучения, и ему просто нужно всё отсортировать.

Алиса, найди ближайший контейнер

После ответа на вопрос о сортировке навык предлагает поискать ближайшую контейнерную площадку. И в целом, навык практически всегда после своей реплики задаёт вопрос и «перекидывает мяч» пользователю. Это практичная формула для реплики ассистента — вопрос в конце направляет разговор в нужное русло и уменьшает вероятность попадания в тупик.

Чтобы найти ближайшую контейнерную площадку, нужно назвать свой адрес, а потом выбрать из найденных. Однако, если человек хочет найти контейнеры для второго адреса, то ему нужно выйти из сценария и ~~«зайти нормально»~~ пройти его заново. Было бы удобнее, если бы навык мог распознать намерение пользователя и поискать вторую площадку сразу.

Если адрес найти не получилось, навык честно признаётся, что ещё не знает всего, а затем скидывает ссылку на карту города с пунктами приёма отходов, чтобы пользователь всё-таки смог найти нужный адрес:

В результате пользователь всё равно получит нужную услугу, хоть это и не вышло напрямую в диалоге. Такой сценарий называется «error handling» — обработка ошибок. Пользовательский опыт в таком случае с большей вероятностью будет положительным, чем, например, при ответе «Извините, не могу найти адрес».

Резюме

В целом навык справляется со своими задачами, и это подтверждается высокими оценками в каталоге Алисы (4.8 баллов из 5). В навыке есть как полезные функции, так и развлекательные: занимательные факты, викторина и сказки вовлекают детей в тему экологии и переработки.

Что сделано хорошо:

длинные реплики с теорией поделены на части, пользователь может управлять процессом с помощью команды «Дальше»;
много саджестов, которые помогают ориентироваться в навыке и показывают возможные направления в сценарии;
есть навигационные команды «Назад» и «В начало»;
навык распознаёт естественные запросы, из одного сценария можно переходить в другой;
навык часто после своей реплики задаёт вопрос и «перекидывает мяч» пользователю: это направляет разговор в нужное русло и уменьшает вероятность попадания в тупик;
есть обработка ошибок в сценарии с поиском адресов на карте: навык отправляет ссылку на карту, если не получилось найти нужный адрес.

Что можно улучшить, на наш взгляд:

добавить вариации фраз для запуска команд «Назад» и «В начало»;
сделать шорткат при сортировке пластика: пользователь сможет называть маркировку сразу и попадать в нужный сценарий;
добавить возможность назвать другой адрес при поиске контейнеров, не выходя из сценария.

Диана Лукманова, дизайнер разговорных продуктов KODE

Изучаем сервис для создания кроссплатформенных ботов

2023-02-22T09:36:26.727Z

Продолжаем тестировать и рассказывать об сервисах для создания разговорных продуктов. Сегодня на очереди — Flow XO, конструктор чат-ботов с необычным подходом к проектированию и интеграцией с инструментами для электронной коммерции.

Назначение

Flow XO позволяет создавать кроссплатформенных ботов для сайтов и мессенджеров. Сервис в первую очередь ориентирован на проекты для электронной коммерции — собранные в нём боты могут не только отвечать на вопросы клиентов, но и вести продажи.

Создавать навыки для голосовых помощников в Flow XO нельзя.

Рабочий процесс

Архитектуру бота обычно проектируют в визуальном редакторе: добавляют блоки и соединяют их стрелками. В итоге получается древовидная схема со всеми возможными событиями.

Flow XO работает иначе. Каждый поток (вариант развития диалога) проектируется отдельно, в виде простой последовательности шагов:

отправить пользователю сообщение;
отправить фото, видео или карточку;
задать вопрос;
перевести диалог на оператора;
принять платёж;
выполнить продажу;
отправить данные на почту.

Шаги диалога отображается в левой части экрана (1). В соседней области (2) выводится тест возможных реплик пользователя и ответы бота. Проверить работу бота можно с помощью тестового чата (3).

Потоки можно создавать с нуля или на основе шаблона.

Потоки хранятся отдельно от ботов. Одни и те же потоки можно использовать сразу на нескольких платформах (каждая платформа считается отдельным ботом).

Для каждого действия в Flow XO предусмотрен набор свойств и фильтров. Свойства определяют поведение бота, а фильтры — условия его срабатывания. Их многообразие одновременно шокирует и завораживает: «Зачем нужны шорткаты? Что такое “нотификационный токен”? Как работают триггеры? Что это за значок в виде рыбки?».

Ситуацию усугубляет отсутствие русской локализации. Google Переводчик помогает, но не всегда:

This setting will NOT cancel an unanswered question, it will simply temporarily bypass it, so the user's next response will still be treated as a response to the original question.

Этот параметр НЕ отменяет вопрос, оставшийся без ответа, он просто временно игнорирует его, поэтому следующий ответ пользователя по-прежнему будет рассматриваться как ответ на исходный вопрос.

Пользователи отзываются о FlowXO неоднозначно. Одни считают его интуитивно понятным, хвалят за гибкость. Другие отмечают, что часть модулей работает нелогично, из-за чего на создание простого бота уходит слишком много времени.

Интеграции

Помимо стандартных действий, Flow XO поддерживает интеграцию с Jira, MailChimp, WooCommerce, Trello, сервисами Google и сотней других инструментов.

Недавно в Flow XO добавили интеграцию с OpenAI. С её помощью можно генерировать изображения и текст, а также модерировать сообщения пользователей, реагируя на нежелательный контент.

Стоимость

На бесплатном тарифе можно создать 5 ботов и провести 500 диалогов с пользователями. За увеличение лимитов придётся платить от $19/месяц. Российские карты к оплате не принимаются.

Резюме

FlowXO неоднозначен. Это гибкий инструмент, который можно интегрировать со множеством сервисов. С другой стороны, ему не хватает наглядности.

FlowXO можно посоветовать тем, кто разрабатывает ботов для омниканальных продаж — здесь вы найдете как готовые блоки для проведения сделок, так и дополнительные модули вроде WooCommerce. Если же вы хотите создать простого бота для общения с клиентами, то на рынке есть много более удобных и недорогих альтернатив.

Кирилл Богатов, дизайнер разговорных продуктов KODE

Перевод речи в текст: сложность и обзор существующих сервисов

2023-02-15T12:53:57.260Z

Автоматический перевод речи в текст — сложная задача. Устная речь не структурирована, для неё характерны случайности, неточности, пропуски слов, инверсия, слова-паразиты, оговорки. Иногда люди говорят так быстро, что проглатывают слоги или целые слова, а качество произношения влияет на качество распознавания.

Автоматический перевод из речи в текст лучше всего получится, если человек говорит в микрофон чётко, без акцента, с нормальным темпом. Также в записи не должно быть музыки, шумов, чужих разговоров.

Для перевода устной речи в текст используются модули расшифровки. Они содержат акустические модели, словари произношения и языковые модели.

Мы изучили несколько сервисов и рассказываем об их достоинствах и недостатках.

Бесплатные сервисы

Голосовой ввод в Google Docs

Доступен в браузере Google Chrome. Чтобы запустить опцию, во вкладке «Инструменты» выберите «Голосовой ввод». Установка отдельных плагинов не требуется.

Поддерживает множество языков, в том числе диалекты наиболее распространённых, например 13 вариантов английского языка, от американского и британского до кенийского английского.

Понимает команды «новая строка», «запятая», но не «тире», применяя вместо него дефис.

Бессовестно меняет тире на дефис

Качество распознавания нормальное, но нужно говорить правильно и чётко, перепроверяя знаки препинания.

Speechpad

Speechpad доступен в браузере Google Chrome, а также как приложение для iOS и Android. Можно установить Speechpad как расширение для браузера или утилиту для ПК. Поддерживает транскрибацию аудио- и видеозаписей. Сервис распознает речь на 15 языках, также доступны различные настройки. Результат распознавания — более-менее корректный текст на русском языке, ошибка в английском названии нашего канала и снова проблемы с тире.

Google Translate

Из полезных фич гугл-переводчика — наличие синхронного перевода. Это здорово помогает общаться иностранцами, если не знаете язык.

Ну что, в Стамбуле не пропадем

Однако с собственно преобразованием речи в текст не всё так гладко: сервис не понимает команды про знаки препинания, английское название канала Hey voice! не разобрал совсем. Зато поддерживает большое количество языков, как и голосовой ввод Гугла.

Dictation.io

Dictation.io — ещё один онлайн-сервис для перевода речи в текст. Тоже не распознал команды про точки и запятые (хотя якобы должен это уметь), результат диктовки можно легко обнулить по неосторожности. С транскрибацией аудио- и видеофайлов не работает. Поддерживает 30 языков.

Snatchbot.me

Сервис Snatchbot.me поддерживает 120 языков, а также умеет обрабатывать аудиофайлы. Распознал текст более-менее корректно, но без пунктуации. Умеет автоматически определять язык

Платные сервисы

В последнее время в сфере автоматического преобразования речи в текст заметен прогресс. Если раньше большинство решений было доступно для английского языка, сейчас есть возможность приобрести программы для транскрибации на русском.

Например группа компаний ЦРТ предлагает системы аудио- и видеопротоколирования «Нестор.BRIEF» и «Нестор.Правосудие». «Нестор.BRIEF» разработана для протоколирования совещаний и формирует их архив. «Нестор.Правосудие» не только делает протоколы судебных заседаний, но также ведёт видео- и аудиозапись и формирует из данных архив.

Также у ЦРТ есть такие разработки, как «Цезарь-Р» (комплект для преобразования речи в текст), VOCO (Windows-приложение для преобразования речи в текст) и Voice2Med (программа для голосового заполнения медицинской документации). Перевод речи в текст с помощью Voice2Med уже используется в московских поликлиниках и стационарах, экономя время врачей на заполнение различной документации.

***

Для применения в быту ускорить расшифровку можно с помощью любого из бесплатных сервисов, описанных выше. Полностью автоматизировать процесс не получится, всё равно будут мелкие ошибки и проблемы с пунктуацией. На наш взгляд, русский язык обрабатывается в Google Docs наиболее корректно. Однако обработка видео и аудио не предусмотрена. Правда, в интернете делятся лайфхаками: достаточно включить воспроизведение нужного файла поближе к микрофону.

Для более объемных задач, скорее всего, подойдёт Speechpad. Блокнот хорош и качеством распознавания речи, и благодаря другим функциям, позволяющим как настроить утилиту, так и использовать её в качестве плагина или приложения для разных ОС.

Что касается платных решений, они больше используются для специализированных сфер: в медицине, в судебной системе, на крупных предприятиях. Здесь уже есть требования к распознаванию терминологии, к безопасности хранения данных, да и объемы этих данных совсем другие.

Мария Зубарева, дизайнер разговорных продуктов KODE

Этика голосовых помощников: от рабов к сильным личностям

2023-02-01T14:58:34.033Z

Наличие голосового интерфейса с индивидуальностью стало ключевым отличием бизнеса. Но слишком часто компании отбрасывают эту личность, опасаясь кого-нибудь обидеть.

Эмоциональная привязанность

Устройства с человеческими чертами пробуждают любопытство, заставляя нас спрашивать о них больше, что в итоге помогает сформировать эмоциональную привязанность. Так, директор по управлению продуктами Alexa Дарен Гилл отмечает, что процент «неутилитарных» взаимодействий c помощником (смолтоков) выражается в «двузначных числах».

В самом популярном на данный момент комментарии к Amazon Echo упоминается, что Алекса не просто идеальный компаньон, но и «идеальный супруг». Мнение автора поддержало 46 000 пользователей.

Характеры персон голосовых помощников сильно отличаются. Алекса — умная, полезная и скромная. Сири — дерзкая, самоуверенная и категоричная. Но так было не всегда.

Формула идеальной привлекательности

Первое поколение голосовых ассистентов было ориентировано на универсальность. И действительно существует проверенная формула, позволяющая добиться именно этого.

Голос должен быть женским. Исследования показывают, что женские голоса кажутся более теплыми и менее опасными, возможно, из-за простого эволюционного факта, что человеческий мозг настроен на тоны матери.
Личность должна быть подчиненной. Людям становится некомфортно, если робот ведет себя на равных или доминирует.
Личность должна быть экстравертной. Это вызывает больше доверия, делает взаимодействие более увлекательным и снижает негодование пользователей в случае ошибки.
Личность должна немного льстить пользователю. Люди воспринимают «льстящие» им машины как более качественные.

Однако, соблюдение универсальных норм может привести к обратным результатам, если сами эти нормы увековечивают предрассудки. В результате дизайн, ориентированный на симпатию, может ослабить бренд.

Зачем нужна этика

Голосовые помощники как правило поощряют только одну динамику отношений — услужливый компаньон. Личность рабского спутника не случайно разыгрывается женским голосом — общество хорошо знакомо с женщинами как «случайными слугами» в роли секретарей, домохозяек и матерей. Как сказал Бен Парр из Octane AI: «Мы обучаем наших детей тому, что они могут давать команды женщине, а она будет отвечать».

В 2017 году журналистка Лия Фессер протестировала Siri, Google, Alexa и Cortana, чтобы увидеть, как помощники отреагируют на флирт, оскорбления и даже словесные оскорбления. Реакция голосовых помощников варьировалась от непонимания до уклонения от комментариев и до кокетливых ответов.

Потворствуя поведению пользователей, создатели голосовых помощников укрепляют стереотип, с которым женщины боролись уже более века.

С точки зрения бренда, стремление к всеобщей симпатии неуместно. В дизайне личности, как и в дизайне бренда, потворство пользователям может привести к саморазрушению. Хорошие бренды не просто следуют. Хорошие бренды похожи на хороших людей. Они во что-то верят и стоят за это.

Отстаивание чего-то поляризует, но это то, что отличает предсказуемого помощника от вдохновляющего.

Мы можем создать универсально безобидную личность, но не должны. Мы должны создавать сильных личностей, которые будут представлять бренд, выполнять свою работу и уважать человеческую потребность в превосходстве и близости.

Как компании борются с негативом и предрассудками

Alexa игнорирует большую часть оскорблений (экрана нет — может себе позволить);
Siri, Google Assistant и Bixby позволяют переключаться между мужским и женским голосом.
Google Assistant является гендерно-нейтральным (не по голосу, но по ответам на вопросы). Это идет вразрез устоявшимся стереотипам о том, что женский голос может принадлежать только женщине. Даже сами варианты голосов для Google Assistant называются «Голос I» и «Голос II», а не «женский» и «мужской».
Echo и Bixby позволяют изменить Wake Word (активационную фразу), а также изменять личность ассистента.

Также стоит отметить Q — первый гендерно-нейтральный голос, который невозможно отнести ни к мужскому, ни к женскому. В перспективе Q можно будет встроить во все основные ассистенты.

Что дальше

В то время как простота использования голосовых интерфейсов будет и дальше ускорять массовое внедрение, проектирование личности голоса и проектирование взаимоотношений между человеком и машиной находятся на очень ранней стадии. Если судить по прошлому, мы можем ожидать огромных изменений в поведении голосового интерфейса пользователя.

Голосовые помощники не всегда могут развиваться в сторону большей индивидуальности. Когда на рынке появляются новые технологии, дизайнеры создают ориентиры в существующем мире, которые помогают пользователям понять, как использовать новую технологию. В графическом дизайне пользовательского интерфейса этой точкой отсчета был скевоморфизм — создание цифровых кнопок, похожих на физические, или собрание книг на iPad на буквальной книжной полке. В конечном итоге скевоморфизм был заменен «плоским» дизайном.

Возможно, что в будущем у нас станет меньше необходимости антропоморфизировать ботов, чтобы комфортно взаимодействовать с ними.

Голосовой интерфейс — это лишь метафора

Ценность голосового помощника не определяется уровнем реализма в подражании человеку. Его ценность заключается в предоставлении решений человеческих проблем в качестве личного помощника, источника знаний, контролера и точки доступа к услугам.

Нет ничего плохого в том, чтобы изначально применять скевоморфизм при разработке голосовых интерфейсов. Но мы увидим тенденцию дескевоморфизации голосовых интерфейсов, точно так же, как мы наблюдали это для визуальных интерфейсов. Это произойдет, как только люди начнут понимать голос как естественный способ взаимодействия с продуктами и услугами и выработают соответствующую поведенческую аутентичность. Дескевоморфизированный голосовой интерфейс будет менее буквальным в имитации людей и больше ориентироваться на ценность, которую он приносит людям.

Важно понимать, что cкевоморфизм (или же персона в случае голосового помощника) — это поверхностный слой, касающийся взаимодействия человека с продуктом или услугой.

Продукт или услуга как таковые являются решением человеческой проблемы. Понимание принципов, лежащих в основе человеческих потребностей и желаний, в конечном итоге приводит к созданию отличных продуктов и услуг.

Эталонным принципом, который можно применять при создании продуктов, является биомимикрия (дословно — «подражание природе»). Биомимикрия проявляется на гораздо более глубоком уровне, чем скевоморфизм, и касается того, как и почему продукт решает человеческие проблемы, в то время как скевоморфизм является первоначальным и временным буквальным пониманием человеческого взаимодействия с ними.

Резюме

Мы привязываемся к голосовым помощникам и переносим на них наши паттерны поведения.
Стремясь угодить всем пользователям, компании закрепляют предрассудки и создают «виртуальных рабынь».
Сильным брендам нужна сильная личность, со своими принципами.
Голосовые интерфейсы в нынешнем состоянии как скевоморфизм. Когда люди привыкнут к этому, изменятся и сами интерфейсы.

Кирилл Богатов, дизайнер разговорных продуктов KODE

Протестировали бота, который помогает заботиться о ментальном здоровье

2023-01-16T11:55:46.847Z

Чат-бот monday4me проводит ежедневный чекап эмоционального состояния. Пользователь каждый день рассказывает о своём самочувствии, в конце недели видит динамику и может проанализировать причины возникающих эмоций.

Основной функционал бота бесплатный. За деньги можно проконсультироваться с психологом или получить новые возможности внутри сервиса: быстрый чекап, запись заметок голосом, персональные вопросы, персональные причины настроения и еженедельные отчёты.

Зачем боту онбординг, искры и маскот

Когда пользователь знакомится с сервисом впервые, бот сразу обращается по имени — мелочь, а приятно (и безусловно важно для бота ментальной поддержки).

Как происходит онбординг

Через онбординг пользователь знакомится с основными фичами — это ежедневный чекап, раздел с советами и бонусные баллы. Бот снимает частые вопросы и объясняет, почему чекапы работают.

Онбординг не сразу получился удачным. Раньше 13% пользователей блокировали бота после 1–2 сообщений и не переходили к основному функционалу.

После улучшений и UX-тестов команда пришла к такому формату:

онбординг состоит всего из четырёх сообщений, чтобы пользователи тратили меньше времени;
первый экран рассказывает о главной фиче бота, акцент сделан на пользе;
в конце есть мотивационная часть в виде бонусной системы и призыв к действию;
нет упоминаний про тарифы — тесты показали, что пользователи не готовы покупать во время онбординга.

В результате доля отвала на этапе онбординга уменьшилась вдвое.

Как работает помощь других пользователей

Бот объединяет пользователей с помощью интересной механики: прямо в нём можно получить советы от других участников сообщества или ответить на чужой вопрос самому. Вопрос сохраняется в базе данных, а потом отправляется другим пользователям, которые выбрали функцию «Помочь». Когда на вопрос кто-то ответит, бот пришлёт уведомление.

Полученные советы всегда можно перечитать в одноимённом разделе бота. Если у пользователя пока нет заданных вопросов, то появится поп-ап с «пустым стейтом», который побуждает к действию.

Как используются бонусные баллы

У бота есть бонусная система Искры. Она даёт возможность частично оплачивать консультации со специалистом и побуждает пользователя пройти свой первый чекап за бонусные баллы.

Как выглядит маскот сервиса

Маскот сервиса встречает пользователя с самого первого сообщения. У monday4me маскот появился недавно, он также является и персоной чат-бота. Согласно исследованиям, наличие у бота персоны положительно влияет на пользовательский опыт. Персона чат-бота особенно важна, если цель взаимодействия — эмоциональная поддержка и помощь.

Пользователи неизбежно будут приписывать боту черты личности, потому что люди склонны к антропоморфизму.

Об этом рассказывает Кэти Перл в своей книге Designing Voice User Interfaces. Если изначально не создать персону бота, то пользователи сделают это сами. Их представление о характере бота может не совпадать с видением создателей. Это может привести к негативному пользовательскому опыту, поэтому лучшая стратегия — сформировать персону при проектировании.

Частая проблема с использованием маскотов — нарушение tone-of-voice. У бота monday4me такая проблема тоже встречается. В целом тексты консистентные, но иногда они написаны то от лица бота, то от лица сервиса. Лучше сделать их единообразными, отталкиваясь от персонажа.

Почему инлайн-кнопки не панацея

Каждое новое сообщение бота заменяет старое. Также происходит и с инлайн-кнопками. Благодаря этому переписка не засоряется сообщениями, а общение напоминает взаимодействие с интерфейсом приложения.

Во время чекапа тоже используется замена инлайн-кнопок — выбранные опции удобно отмечаются галочками.

На наш взгляд, стоит также предусмотреть распознавание естественных запросов. Это даст возможность переходить в нужные сценарии сразу, не проходя длинный путь по кнопкам — такой сокращённый сценарий называется шорткат. Такой формат будет больше похож на переписку с ботом как с персоной, особенно если человеку в этот момент нужна поддержка.

Как происходит интеграция с Алисой

У monday4me есть возможность подключить свой профиль к навыку в Алисе и проходить ежедневные чекапы, создавая записи голосом, а не текстом.

Для подключения к Алисе каждый раз генерируется новый токен. Обычно токены выглядят громоздко — это длинный код из цифр и букв, а здесь — приятный юзер-френдли формат: цвет + прилагательное + существо — фиолетовая прекрасная птица.

Вот как легко происходит привязка:

Алиса задаёт вопросы и записывает ответы в раздел Дневник в чат-боте.

Интеграция с Алисой не всегда работает гладко. В разделе «Чекап» текст от пользователя, записанный через Алису, не встроился бесшовно в заготовленный текстовый шаблон, поэтому предложение составлено не совсем некорректно.

Похоже, что текст от пользователя «Всё хорошо» распознан как положительная эмоция и заменён на эмоджи. Затем автоматически вставляется предлог «из-за» и добавляется причина эмоции, записанная пользователем через Алису. На второй строчке дублируется причина эмоции и добавляется «вызывает -».

На наш взгляд, для восприятия было бы удобнее сохранять записанные мысли от пользователя в первоначальном виде. Сложно вставить текст в шаблон бесшовно, так как от пользователя ожидается свободная формулировка.

Например, это могло бы выглядеть так:

Как сделать общение с ботом ещё приятнее

Чат-бот справляется со своими задачами, у него есть несколько полезных фичей, а также навык в Алисе.

Что сделано хорошо:

В боте есть замена сообщений и инлайн-кнопок, поэтому переписка не засоряется, выбранные опции при чекапе отмечаются галочками.
Главная фича — чекап. Этот сценарий можно проходить текстом через бота и голосом через навык в Алисе. Подключение к навыку и взаимодействие с ним происходит легко.
Тщательно продумана продуктовая часть чат-бота: есть эффективный онбординг в 4 экрана, бонусная система и другие техники, побуждающие к действию.
У бота есть маскот и его изображение.

В целом, сервис спроектирован отлично, и вызывает только положительные эмоции.

У нас есть совсем небольшие рекомендации, которые могут улучшить бот:

Кроме взаимодействия с ботом кнопками, как в приложениях, возможно, стоит добавить возможность распознавание естественных запросов от пользователя. Это поможет пользователю моментально перейти в любой сценарий бота, минуя поэтапные переходы кнопками.
Сообщения пользователя не получается бесшовно вставить в шаблон ответа от бота. Рекомендуем оставлять сообщения, отправленные через Алису, в исходном виде, и сделать шаблон более универсальным.
Тексты бота неоднородны: он пишет то от своего лица, то от лица сервиса. Лучше определить персону бота и унифицировать стиль текстов.

Диана Лукманова, дизайнер разговорных продуктов KODE

Визуальный конструктор в Amazon Lex

2022-12-27T09:30:16.621Z

В этом материале встречаются названия различных сервисов и компонентов. Вот как они связаны друг с другом:

Visual Conversation Builder — это визуальный конструктор диалогов в консоли Amazon Lex.
Amazon Lex — сервис для создания и обучения чат-ботов. Основан на тех же технологиях, что и Алекса, интегрирован с AWS Lambda.
AWS Lambda — сервис для вызова функций и выполнения функционального кода на сервере с целью извлечения и обновления данных.
AWS (Amazon Web Service) — облачная платформа с сервисами для центров обработки данных. Lex и Lambda — одни из таких сервисов.

Ограничения

В Amazon Lex нельзя зарегистрироваться по российскому номеру телефона. Также потребуется привязать иностранную карту.

Сервис поддерживает 27 языков озвучки текста. Лучше всего обстоят дела с американским английским — для него предусмотрено девять голосов (включая два детских) и два варианта синтеза: стандартный и «нейронный» (с более естественными интонациями). Русский язык не поддерживается.

Созданного бота можно развернуть на платформе чата, мобильном клиенте или устройстве IoT. Доступны интеграции с запрещённой в РФ соцсетью с синим логотипом, Slack и Twillo SMS.

Визуальный конструктор

В сервисах вроде Aimylogic мы проектируем весь сценарий на одном экране. В визуальном конструкторе Lex на экране всегда отображается только один интент и связанные с ним события. При этом последующие ответы пользователя в рамках диалога не считаются интентами.

Концентрация на одном интенте упрощает навигацию, позволяет избежать проблем с долгой загрузкой и подвисанием из-за нехватки оперативной памяти.

Пример интента в визуальном конструкторе Lex

В Lex предусмотрено 10 типов карточек: для начала/завершения диалога, заполнения слотов, вызов функций Lambda, проверки условий, переходов в другие интенты и так далее.

Для проектирования сложных диалогов можно использовать карточку «Условия». Она позволяет создавать до четырёх вариантов перехода в другие карточки. Условия записываются с помощью операторов сравнения.

Визуальный конструктор в Lex удобно использовать в сочетании с классическим редактором — это помогает взглянуть на сценарий с разных сторон (чтобы посмотреть примеры реплик пользователя или проверить правила заполнения слотов).

Классический редактор в Lex

Резюме

Amazon сделала простой и наглядный инструмент проектирования. Лучше всего он подойдет для ботов, основанных на небольших разговорных сессиях: FAQ, сбор заявок, виртуальные собеседники. Тем не менее, его также можно использовать и на более сложных проектах. Главное — не потеряться среди длинного списка интентов, визуально не связанных между собой.

Lex не подойдет для проектирование ботов в российском сегменте. Можно справиться с оплатой через зарубежную карту, смириться с отсутствием интеграции с Телеграм, Алисой и другими популярными платформами, закрыть глаза на отсутствие русской озвучки текста. Но зачем, если есть более доступные аналоги?

Материал подготовлен для телеграм-канала Hey Voice