1. Заменим сотрудника агентом?
О скрытых архитектурных проблемах AI-автоматизации.
Приятная для глаз картина
Я только что попросил поисковик дать мне 5 типичных хайповых тезисов о внедрении ИИ. Под номером 3 оказался тезис о полной замене сотрудников ИИ.
И это похоже на правду: в последнее время я не раз слышал этот тезис от представителей бизнеса.
Это можно понять. Современные LLM демонстрируют интеллектуальное поведение, прекрасно работают с неструктурированными данными, могут обобщать, делать выводы, планировать свои действия, адаптировать их соответственно изменениям ситуации, и все это на обычном человеческом языке — именно то, что раньше было очень трудно формализовать.
То есть, у нас есть сотрудник, выполняющий некоторую функцию, и ИИ‑инструмент, который ведёт себя как человек. Так почему бы не заменить человека агентом, чтобы теперь он выполнял эти действия? И почему бы вообще не заменить всех людей агентами и не получить ИИ-организацию?
Да, сейчас этот инструмент ещё несовершенен, но:
- человек тоже несовершенен;
- а LLM быстро развиваются и можно ожидать, что со временем поведение агента станет всё менее отличимым от человеческого;
так что, вроде бы, есть основания думать, что такая замена возможна.
Но мы, как архитекторы, должны копнуть чуть глубже уровня банальной очевидности. Особенно, если она исходит от маркетинга.
Организация как система
Допуская такую замену, мы неявно предполагаем, что человек и агент взаимозаменяемы: заменяя человека агентом, мы просто заменяем один инструмент на другой. И, в какой-то степени, это действительно так. Но вот важный вопрос: а в какой именно? и на что это влияет?
А между тем, человек работает не сам по себе, он встроен в организацию. А организация — это сложная открытая социотехническая система; это не только набор функций, но и система управления, исторически построенная вокруг человеческой природы её элементов.
После замены человека агентом организация должна оставаться все так же устойчивой, а это значит, что её система управления должна продолжать работать. И мы делаем неявное предположение, что так оно и будет.
Человек как элемент системы
Человек и агент могут быть эквивалентны в каких-то функциональных аспектах, например, сходным образом рассуждать и действовать. Но они не могут быть полностью эквивалентны во всех аспектах, поскольку имеют разную природу: человек — живое социальное существо, агент — технический компонент, созданный человеком.
Человек встроен в систему организации не только как чистая математическая функция, которая дает определенный выход при заданном входе и на этом все, но и как элемент системы управления. Собственно, организация — это система управления людьми, и, как таковая, предполагает наличие таких социальных элементов, как:
- ответственность (как механизм закрепления решений внутри управленческого контура);
- доверие;
- ценности;
- этику;
- эмоциональные факторы;
- контроль;
- санкции;
- иерархию.
То есть, человек социально встроен в ткань организации. Организация сконфигурирована под человека и активно использует его "нефункциональные" свойства в контуре управления.
Но ведь природа агента не является социальной...
При замене человека агентом меняется конфигурация управляемости — и это не всегда замечают.
Это лишь первый сигнал того, что всё может быть сложнее, чем кажется на первый взгляд.
Противоречие
Если элемент системы управления меняет свои свойства, но контур управления остаётся прежним, то возникает структурное несоответствие. Система продолжает работать, но её управленческие механизмы начинают опираться на элемент иной природы.
Получается, что если заменить человека агентом, не меняя архитектуру управления, то:
- нарушается механизм закрепления ответственности внутри управленческого контура;
- размывается контур управляемости;
- возникает иллюзия контроля.
(здесь речь не о юридической или моральной ответственности, а о её кибернетической функции как элемента замыкания контура управления в системе)
И проблема здесь не в качестве модели, а в архитектуре — то есть в способе, которым в организации замыкаются контуры управления.
Может возникнуть мысль, что это мелочь, которая ни на что не повлияет. И тут у меня есть такие вот аргументы за то, что все не так просто:
- организации, как любые сложные системы, характеризуются свойством нелинейности: даже малое нештатное для системы изменение может привести к катастрофическим последствиям;
- организация создавалась для людей, поэтому изменение природы ключевого её элемента является для неё нештатным случаем — система управления рассчитывает на другие свойства элемента управления;
- и, наконец, нет никаких оснований считать, что обнаруженная нами потенциальная проблема системы управления является единственным следствием отличий природы агента и человека — напротив, есть все основания думать, что таких отличий много и они будут влиять на самые разные аспекты поведения организации как системы (анализ этих отличий — тема отдельной статьи).
И самое опасное здесь то (и это тоже свойство сложных систем):
- на уровне отдельных задач все может выглядеть корректно — да, агент ошибается, как и человек, и ошибки плюс-минус сопоставимы; но на уровне компании вдруг может обнаружиться, что там, где человек совершил две разных ошибки, агент совершил одну ошибку, но 1000 раз за одну минуту;
- какое-то время все может работать нормально, и вдруг система неожиданно, без каких-либо видимых причин, начинает вести себя неуправляемо в рамках прежней архитектуры.
Выводы
Простота замены человека агентом может оказаться лишь иллюзией. Агент не эквивалентен человеку, и мы не можем просто заменить одно на другое. И причина не в качестве ИИ-модели, а в архитектуре организации. Человек и агент — это не просто два разных инструмента в вакууме, а элементы системы, которые глубоко и сложным образом в неё интегрированы, и различия их свойств имеют для системы значение.
Если агент не является просто более умным инструментом, то, возможно, мы неправильно понимаем сам объект автоматизации.