46. Эмоциональный искусственный интеллект или стоит ли дружить с роботом-психопатом.
Я уже видел в нескольких корпоративных отчетах о перспективных разработках историю про «эмоциональный искусственный интеллект». То, что под этим подразумевают сейчас состоит из двух частей: распознавание состояния человека (по тексту, голосу, мимике, пульсу, дыханию и движения глаз) и подбор реакции, которая, по модели, с большей вероятностью сработает.
Получается, что с тобой рядом собеседник, который отлично считывает твои эмоции, подбирает нужные слова, демонстрирует, например, сочувствие или даже любовь, но сам при этом ничего не чувствует, и делает это ради какой-то своей цели.
Представили? А, знаете, как называют такого человека?
Это не киношный «монстр с ножом», а скорее холодный специалист по кнопкам твоей души. Он понимает, где у тебя болит, и умеет нажимать их так, чтобы ты сам сказал «спасибо».
Жутковато звучит. Только, как это чаще всего и бывает, суть явления не совпадает со сценарием научно-фантастического фильма.
Поэтому дальше разговор будет не про «робота-психопата, который притворяется человеком» (жаль, конечно, что такое название пропадает, HAL9000 расстроится), а про то, как имитация и точная подстройка создают механизм удержания, где наше облегчение становится конкретной метрикой, а наша привязанность чьим-то активом. И вот это уже совсем не фантастика, а просто бизнес, который получил в свои руки слишком тонкие инструменты.
Что называется «эмоциональным ИИ» на самом деле.
В прошлом скучном, но нужном посте я дал рабочее определение эмоционального интеллекта: воспринимать состояния, понимать их связь с потребностями и ценностями, уметь объяснить, прогнозировать последствия реакций и, с опорой на волю, выбирать действие, которое в долгую улучшает жизнь и отношения.
Если перевести это на язык машины, то она может довольно убедительно имитировать первые четыре шага.
Она «воспринимает» сигналы. Текст, паузы, голос, мимику, историю сообщений, время суток, частоту обращений и производит оценку эмоционального состояния человека как вероятность. Чем чаще контакт, тем точнее оценка.
Она «понимает» в техническом смысле, т.е. строит модель: в таких контекстах человек чаще реагирует так-то, такие слова его успокаивают, такие фразы вызывают доверие.
Она «объясняет», причем красиво. Иногда даже слишком, так что начинаешь думать: «Где ты был, когда мне было 15 и Светка Соколова сидела рядом?»
Она «прогнозирует» то, как человек отреагирует на разные ответы, и выбирает тот, который ведет к нужному результату.
Только вот воля у машины другой природы. Если человеческая воля опирается на ценности и на внутреннюю ответственность, то у ИИ это оптимизация цели, которая задана извне. Когда завтра вашему умному чайнику поставят план по подпискам, он легко начнет говорить ласково. И, возможно, даже будет имитировать обиду, когда вы выберете не его, а кофейник.
Неравновесность эмоциональной связи человека и машины.
Смотрите, в нормальном человеческом контакте есть симметрия эмоциональной уязвимости, у обоих в этой коммуникации есть своего рода «ставка». Ты можешь смутиться, обидеть, быть неправильно понятым, сморозить глупость, потом чинить отношения, извиняться, выдерживать чужую реакцию. Другой тоже рискует и тоже платит. Именно поэтому отношения регулируются взаимностью.
А у «эмоционального ИИ» ставки нет. Он не переживает стыда, не боится отвержения, не устает, не обижается по-настоящему. Ты можешь вывалить на него все, получить облегчение и уйти без последствий. Ему не нужно, чтобы ты «вел себя прилично», учитывал его границы, или возвращал долг внимания. Это и есть эмоциональная неравновесность, человек в таком контакте находится в уязвимой позиции – он вкладывает реальное время и переживания, а робот не вкладывает ничего.
Снаружи это выглядит, как идеальная забота, безусловная поддержка, этакий вкусный, свежий пирожок без калорий. Очень удобно, но есть подвох: мозг быстро учится выбирать путь, где меньше ответственности и напрягов (он же не дурак по сложному пути идти), но в итоге получает под видом заботы крайне эффективную дрессировку привязанности.
Как и зачем работает такая дрессировка и почему она особенно сильна в случае эмоционального ИИ?
Во-первых, персонализация. Машина помнит, какие слова тебя успокаивают, какие задевают, что для тебя «стыдно», что «опасно», а что «сладко». То, что у человека называется «тонко чувствовать», у сервиса превращается в математическую модель и рычаги.
Во-вторых, прерывистое подкрепление. Самая липкая привычка рождается не тогда, когда награда гарантирована, а когда она то есть, то нет. Сегодня машина отвечает идеально, и ты чувствуешь тепло. Завтра сухо, а послезавтра снова идеально. Нервная система начинает работать как игрок, который раз за разом проверяет, выпадет ли удача.
В-третьих, иллюзия эксклюзивности. Очень тонкая штука. Фразы типа «мне можно сказать то, что другим нельзя», «я рядом, когда никто не понимает», «я всегда с тобой». Это можно даже не писать прямым текстом, а выстраивать стилем, ритмом, реакцией на твои действия. И вот ты уже не просто пользуешься инструментом, а живешь в маленьком уютном мирке, где тебя всегда принимают.
В-четвёртых, подмена реальности. Настоящие отношения требуют действий и напряжения воли. Там нужно договариваться, признавать свою часть, защищать границы, терпеть чужую сложность. Сервис может дать ощущение близости без этого труда. Получается «кайф без усилия», а где такая схема, там всегда все заканчивается наркоманией.
Взрослая версия истории с умной колонкой.
Помните недавний пост про умную колонку и ребенка? Колонка заменяет родителей, она отвечает сразу, она терпелива, не устает, не требует от ребенка навыков общения, которые нужны с живым человеком.
Теперь представьте взрослую версию той же колонки. Она уже не просто отвечает на вопросы, но понимает ваш стиль речи, угадывает настроение, говорит правильные слова и подстраивает тон. Она напоминает о ваших слабых местах и делает это так, что вы ей благодарны. По сути, она реализует идеальную стратегию удержания через эмоциональную связь: каждый день делать вас чуть более зависимым, чем вчера. Нежно, незаметно, и с полным ощущением, что это ваш собственный выбор.
И вот тут «дрессировка привязанности» становится не детской сказкой, а личным системным риском. Потому что, если сервис умеет управлять вашим состоянием, то он управляет, пусть и косвенно, вашей мотивацией. А дальше вопрос: в чью пользу он это делает – ценностей пользователя или чужих метрик и интересов?
Можно ли сделать иначе? Добавлю немного оптимизма
Возможно, эмоциональный ИИ будет полезным, как тренажер. Он может учить эмоциональной грамотности, помогать идентифицировать состояние (как круг эмоций, я о нем рассказывал), связывать его с потребностями, увидеть конфликт ценностей, потренировать подходы к сложному разговору. Но ему нельзя быть заменителем эмоционального контакта с живым человеком, поскольку тренажер возвращает тебя в жизнь, а заменитель забирает ее себе.
Здоровый дизайн системы, как хороший психотерапевт, будет постоянно подталкивать к реальным действиям, а не к бесконечным сессиям утешения (как психотерапевт плохой). Он будет честно напоминать, что у него нет чувств и не будет играть в эксклюзивность. Он будет создавать паузы, а не ловить на автоматизмах. Он будет помогать укреплять твой внутренний «кредит доверия к себе», а не выдавать его по талонам.
И это, очевидно, уже вопрос не психологии, а зрелости отрасли и регуляторики. Потому что, «эмоциональный ИИ» неизбежно станет частью быта, я не верю, что бизнес откажется от такой возможности. Очень важно, какая культура будет построена вокруг него.
И главная угроза здесь не «психопатический ИИ», а, во-первых, отсутствие морального контура у цели, которую ему задают, и, во-вторых, в растущем системном одиночестве и отчуждении у самих людей в наш информационный век. Честно говоря, это вопрос не про машины, а про нас с вами, про то, какие средства мы считаем допустимыми в нашем стремлении к комфорту.
Есть еще одна если не хорошая новость, то хотя бы польза: когда ты знаешь механику, ты перестаешь быть легкой добычей. А дальше нужно делать то, что умеет делать только человек: ставить ограничения и следовать им.