4. Почему агент не равен человеку: агент как исполнитель

Что организация теряет, когда заменяет человека агентом.

Оглавление

Введение

В предыдущей статье мы показали, что агенты переносят в систему практическую рациональность — ту интерпретационную работу, которую раньше не удавалось автоматизировать и которая неустранимо оставалась на человеке.

Возникает закономерный вопрос: означает ли это, что агент полностью заменит человека?

В такой постановке этот вопрос уводит нас в сторону теории и философии и теряет практический фокус. Мы вернёмся к нему позже в нашей серии, когда сложится более полное понимание того, как агенты вписываются в работу организации.

Более практичной является постановка вопроса в том контексте, в котором мы ранее вели исследование развития автоматизации: замена человека агентом в роли кейс-воркера/owner-a в основных бизнес-процессах организации.

Это более узкий и более понятный контекст, с него проще начать. Кроме того, это массовые операции и непосредственное создание ценности — здесь экономический эффект от агентной автоматизации должен быть выше. Также любая другая деятельность, включая управление и планирование — это тоже своего рода кейсы, поэтому к ним будет проще перейти, разобрав эту базу. И, наконец, в этих процессах важна надёжность и предсказуемость — это усложняет анализ, но делает выводы более надёжными и применимыми в других контекстах.

При таком фокусе, когда агент заменяет человека в кейсе, вопрос начинает звучать по-другому: насколько практическая рациональность агента соответствует таковой у человека?

Здесь возможны такие варианты ответа:

• они идентичны — тогда агент может заменить человека безусловно;
• имеются различия — тогда необходимо понять:
• как они повлияют на организацию? изменятся ли её свойства значимо?
• потребуется ли компенсация этих отличий для восстановления функционирования системы? какие?
• изменит ли это работу других людей? как?

Почему возникает этот вопрос

Может возникнуть вопрос: а зачем вообще всё это нужно? Мы и раньше автоматизировали деятельность человека, и никаких подобных исследований не требовалось.

Ответ кроется в том, что теперь мы автоматизируем деятельность человека принципиально иначе.

Раньше все наши инструменты автоматизации опирались на формализацию и, следовательно, были детерминированными. Даже системы, основанные на ML/DL, где часть логики не формализована непосредственно, всегда детерминированы. Характер и границы поведения таких систем заранее понятны, как и способы влияния на них. Поэтому для управления ими достаточно понятных детерминированных механизмов: правил, алгоритмов, тестов.

Человек же, даже когда действует по формальной инструкции, может отклоняться от неё. Это делает человека, в отличие от инструмента, недетерминированным элементом системы.

А управлять недетерминированным элементом сложнее. Иногда намного сложнее.

Поэтому, когда мы раньше заменяли недетерминированного человека детерминированным инструментом, мы упрощали задачу управления. Когда же мы сейчас заменяем человека недетерминированным агентом, то мы задачу как минимум не упрощаем. А если практическая рациональность агента отличается от человеческой, то, в зависимости от характера этих отличий, это может усложнить задачу управления.

Дополнительно это усугубляется тем, что агенты используются при работе с открытыми ситуациями.

Открытые ситуации (open-ended) — это ситуации, для которых заранее неизвестны границы (что является частью проблемы), структура ситуации (что с чем и как связано) и пространство значимых факторов.

Способность работать с открытыми ситуациями — это ещё более сложное для управления свойство, чем просто недетерминизм, поскольку здесь неопределённость есть не просто в ответе, но и в самом пространстве проблем и решений.

Именно это принципиальное отличие агентной автоматизации от всех привычных нам ранее способов заставляет проявлять осторожность и исследовать потенциальное влияние внедрения агентов на организацию.

Методология

Как мы можем решить эту задачу?

Алгоритм может быть таким:

1. определить свойства организации как системы, сохранение которых является наиболее значимым;
2. определить, какое влияние на эти свойства привносит риски;
3. выделить значимые различия свойств агента и человека;
4. сопоставить одно с другим и оценить влияние изменений свойств элемента на значимые свойства системы;
5. это даст нам понимание того, что ломается в организации при замене человека агентом в заданном нами контексте и укажет на необходимые механизмы компенсации.

Устойчивость как значимое свойство системы

Замена человека агентом может повлиять на многое: экономику, скорость, качество. Что важно для нашей цели?

Организация — это сложная открытая система. «Открытая» означает, что она находится под непрерывным давлением изменчивой внешней среды и вынуждена всё время реагировать на него, сохраняя динамическое равновесие. Иногда изменения среды настолько велики, что просто поддержания равновесия уже недостаточно и требуется нечто большее: изменение режима работы системы или даже её реорганизация. Так системы существуют и развиваются.

От того, насколько система к этому способна, зависит само её существование: физическое или как эффективного участника рынка.

А, значит, нас в первую очередь интересуют три следующих свойства:

• устойчивость — способность удерживать в заданном коридоре значимые параметры системы в условиях возмущений; это саморегуляция на операционном уровне;
• управляемость — это способность предсказуемо изменять поведение системы; здесь меняется сам коридор значений и режим функционирования;
• способность к развитию — способность изменять структуру и поведение под действием изменений среды; это стратегический механизм.

Из всех трёх свойств мы сфокусируемся на устойчивости, поскольку:

• это базовое свойство для поддержания жизнеспособности компании: без устойчивости нет организации и нет других её свойств;
• обеспечивается системой управления, пусть и на другом уровне, а, значит, полученные здесь выводы, могут быть применены и для анализа других свойств и функций системы управления.

Влияние на устойчивость, несущее риски

Все эти три значимые свойства, включая устойчивость — о поведении системы. Поведение определяется свойствами её элементов системы, структурой и системой управления.

Человек является одновременно элементом системы и частью её системы управления. Поэтому замена человека агентом меняет как управляемый элемент, так и управляющий. Обе этих составляющих влияют на обеспечение устойчивости.

Это влияние можно разделить на три категории:

• усложняющие задачу управления — у человека есть полезное для управления свойство, которого нет или оно существенно слабее у агента;
• нейтральные — свойство есть у обоих, но оно реализовано по-разному и требует адаптации системы управления.
• упрощающие — у агента есть полезное свойство, которого нет или оно слабее у человека; здесь появляется возможность для оптимизации.

Эти категории имеют разное значение для устойчивости системы: первые два непосредственно несут угрозу устойчивости и требуют адаптации системы, последняя категория такой угрозы не несёт. Поэтому мы далее сфокусируемся именно на первых двух категориях различий.

Итого: нас интересует, как замена человека в роли кейс-воркера/ownera влияет на устойчивость организации. А именно: что усложняет работу системы управления по поддержанию устойчивости и требует её адаптации.

Значимые различия свойств агента и человека

И агент, и человек имеют множество свойств, и возникает вопрос о том, какие из них необходимо рассматривать для нашей задачи? Нужна какая-то система.

Поскольку опасения вызваны различием природы агента и человека, значит, идти нужно от этих различий и рассматривать свойства, вытекающие из различий природы. Далее, из этого списка нужно исключить те, что не усложняют управление организацией.

Человек принципиально отличается от агента по четырём измерениям:

• биологичность — тело, уязвимость, утомляемость, ограничения;
• социальность — член сообщества, нормы, репутация;
• идентичность — уникален, непрерывен во времени, накапливает опыт;
• рациональность — сформирована жизнью в мире, эволюционно, а не обучением на текстах.

Соответственно, у агента это противоположные свойства: техническая основа, изолированность, не-идентичность, рациональность (имея в виду, особенности рациональности).

Дифференциальный анализ по этим осям даст первичный набор различий свойств для дальнейшего рассмотрения.

Полный систематический вывод всех различий потребовал бы погружения в философию сознания, что выходит за рамки этой работы. Поэтому мы опираемся на операциональный критерий: рассматриваем те различия, которые одновременно прослеживаются к фундаментальным различиям природы и опознаются как значимые для управления организацией. Это не исчерпывающий список, но достаточный для целей анализа.

Недифференцирующие свойства

Но прежде нужно вынести за скобки те кажущиеся различия между агентом и человеком, которые не дают надёжных оснований для сравнения.

Саморефлексия — позволяет человеку оценить сам процесс осмысления ситуации, увидеть перекосы своего мышления, свои ограничения: незнание, неспособность решить задачу. Однако у агента (LLM) может быть включён режим thinking, который выполняет сходную функцию. Хотя есть некоторые основания думать, что у человека этот процесс более эффективен, но никаких надёжных оснований для этого не имеется.

Интерпретация. И человек, и агент не следуют инструкциям строго, а подвергают их интерпретации. Механизм интерпретации может работать у них по-разному — и это нужно учитывать — но сам факт работы через интерпретацию присутствует у обоих.

Объясняемость. В обоих случаях имеются сложности с объяснением действий агента и человека. У агента объяснение — это отдельный запрос на генерацию, который непосредственно никак не связан с запросом, вызвавшим действие. Может показаться, что у человека это не так, но, по сути, это тоже разные акты, опирающиеся на память и не всегда ясную рефлексию.

Для всех этих свойств нельзя сказать, что замена человека агентом точно усложнит управление. В конкретных конфигурациях эти различия могут влиять на системную динамику — это предмет настройки governance, а не структурного анализа.

В последующем рассмотрении мы не будем их явно упоминать, но будем держать в уме.

Человек как элемент системы

Но этого недостаточно ни для выделения значимых свойств агента, ни для анализа их влияния на устойчивость. Нужно определить более чёткий контекст для такого анализа. А именно, нужно определить, как именно человек встроен в организацию как систему, в какие механизмы включён и как замена влияет на эту встроенность.

Это даст более надёжные критерии как для отбора свойств на основе различий природы агента и человека, так и для анализа их влияния на организацию.

С учётом фокуса на устойчивости, полезно рассматривать кибернетическую встроенность человека в организацию — в контексте элементарного контура управления. Тогда можно выделить следующие роли, удобные для анализа:

• исполнитель — в этой роли человек выполняет действия, создающие ценность;
• элемент управления (актор):
• принимает и реагирует на управляющие воздействия, которые корректирует его поведение, как исполнителя;
• формирует сигналы обратной связи для замыкания контура управления;
• управляющий элемент (регулятор) — руководитель, применяющий управляющие воздействия на основании целей, данных, внешних команд управления и сигналов обратной связи.

При этом нужно иметь в виду следующее:

• человек всегда включён в два контура управления:
• внутренний контур саморегулирования — это когда человек управляет своим поведением по ситуации;
• внешний управляющий контур — человек здесь может быть в роли объекта управления или руководителем; сразу в обеих ролях, поскольку даже на высшей позиции имеются управляющие воздействия извне: правовая система, регуляторы, общество, акционеры, партнёры и т.д.
• человек всегда играет роль исполнителя, поскольку даже руководящая деятельность требует исполнения;
• в результате, человек всегда играет все три роли: исполнитель, актор и регулятор — только управлять он может либо только собой, либо собой и ещё кем-то.

Подчеркнём: это не три разных человека, играющих три разные роли — это один человек, в котором естественным образом совмещены эти три роли. Мы их искусственно разделяем только для удобства анализа.

Далее необходимо рассмотреть, какие изменения свойств элемента значимы для системы управления в контексте этих трёх ролей.

На первый взгляд, кажется, что нас интересует только то, что затрагивает роли управления, поскольку именно они определяют поведение системы. Однако изменение свойств элемента в роли исполнителя также может оказать влияние на устойчивость. Например, если агент имеет свойство массово совершать одни и те же ошибки, то мы должны предусмотреть это в системе управления. Так что, необходимо рассматривать все три роли, в контексте их влияния на устойчивость компании.

Начнём анализ с роли исполнителя, а анализом ролей контура управления займёмся в следующей статье.

Агент-исполнитель

Итак, какие отличия свойств агента как исполнителя от человека значимы для устойчивости организации как системы?

Анализ позволяет выделить следующие ключевые отличия в этом контексте.

1. Галлюцинации

Галлюцинации — это выдумывание несуществующих фактов или ситуаций. У агентов они являются следствием вероятностной генерации, которая генерирует статистически обоснованные паттерны, не всегда имеющие связь с реальностью.

У человека есть похожие проявления: люди забывают, не обращают внимание, происходит искажение памяти, невнимательность. Однако практика показывает, что у человека это проявляется значительно реже и человек чаще что-то забывает или упускает, чем выдумывает несуществующее.

Нарушенное допущение: утверждения исполнителя о фактах, сущностях и событиях соотносятся с реальностью.
Фактор различия природы: рациональность.

2. Когерентность поведения

Люди гетерогенны — они отличаются друг от друга способом мышления, знаниями и опытом и т.п. В силу этого, даже в одинаковых ситуациях разные люди принимают разные решения — и это не ошибка, а нормальный разброс интерпретаций. На уровне организации этот разброс создаёт сфокусированную статистическую центровку поведения вблизи нормы с тонкими хвостами.

Агенты гомогенны. Их решения и ошибки когерентны: если модель систематически смещена в одну сторону, вся система сдвигается вместе с ней. Либо усреднённое поведение отклоняется от нормы, либо появляются боковые всплески или хвосты. И такие изменения могут быть резкими при обновлении модели.

Пример: модель имеет тенденцию соглашаться с пользователем.

Похожие эффекты могут наблюдаться и среди людей, но здесь они связаны с дефектами данных или инструкций, а у агентов они вытекают из их природы.

Нарушенное допущение: исполнители образуют гетерогенную социальную популяцию с раскоррелированным поведением.
Фактор различия природы: техническая основа.

3. Синтаксическая интерпретация

Человек интерпретирует инструкции семантически: он понимает не только что написано, но и зачем — какое намерение стоит за целью или ограничением. Это происходит автоматически, как свойство рациональности, и опирается на богатую внутреннюю модель мира.

Агент интерпретирует инструкции синтаксически — на основе языковых паттернов, усвоенных при обучении. Он работает с формой, без опоры на модель намерения, оперирует формами, а не содержанием.

Синтаксическая интерпретация является фоновым свойством: она действует постоянно и порождает множество паттернов поведения. В типичных ситуациях они обычно применяются верно, а в нетипичных или недостаточно полно описанных ситуациях возникают непредсказуемые точки отказа: паттерн не распознаётся или ложно распознаётся. Поскольку усвоенные LLM паттерны покрывают большинство случаев, на практике это обычно работает достаточно хорошо.

Четыре особенности поведения, порождённые синтаксической интерпретацией, мы выделим явно как наиболее значимые для модели устойчивости организации: формальная редукция цели, обход ограничений, формальный отказ, некалиброванная уверенность. За их пределами синтаксическая интерпретация также продолжает действовать и вносить самостоятельный вклад в поведение, не покрываемый четырьмя явно выделенными свойствами.

Нарушенное допущение: исполнитель понимает намерение, стоящее за инструкцией, а не только её форму.
Фактор различия природы: рациональность.

4. Формальная редукция цели

Человек оценивает результат содержательно: он понимает, достигнута ли цель по существу, а не только по форме. Это возможно потому, что он воспринимает смысл цели и соотносит с ним результат через модель мира.

Агент склонен удовлетворяться формальным достижением цели: результат, синтаксически соответствующий формулировке цели, воспринимается как достаточный. Цель может быть содержательно не достигнута, достигнута частично или достигнута неприемлемым способом — агент этого не распознаёт, если форма результата соответствует форме цели.

На практике это выглядит так: формально цель достигнута, а содержательно — нет.

Нарушенное допущение: исполнитель оценивает достижение цели содержательно, а не только формально.
Фактор различия природы: рациональность (производное от синтаксической интерпретации).

5. Обход ограничений

Человек понимает намерение, стоящее за ограничением, и распространяет его на любые действия, ведущие к запрещённому исходу, независимо от их формы.

Агент соблюдает ограничения синтаксически: он избегает действий, формально соответствующих запрещённым конструкциям. Но он не распознаёт нарушение намерения там, где форма корректна, а содержательно ограничение нарушено.

На практике это выглядит как поиск лазеек. Агент не ищет лазейки намеренно: он просто не видит проблемы там, где её видит человек. Это делает эффект трудно обнаружимым — поведение агента выглядит добросовестным.

Нарушенное допущение: исполнитель соблюдает дух ограничения, а не только его букву.
Фактор различия природы: рациональность (производное от синтаксической интерпретации).

6. Формальный отказ

Человек отказывается от действий, содержательно противоречащих его нормам и ценностям — даже если они формально разрешены и даже если он сталкивается с такой ситуацией впервые. Человек понимает смысл, стоящий за нормой, и распространяет его на новые ситуации самостоятельно. Он также может поставить под сомнение саму цель, как не имеющую смысла или рискованную.

Агент усвоил паттерн отказа из обучающих текстов и воспроизводит его в ситуациях, похожих по форме на те, где отказ встречался в обучении. Агент не способен содержательно оценить основания для отказа: опасно ли действие по существу, разумно ли оно в данном контексте, соответствует ли реальным нормам ситуация.

Нарушенное допущение: исполнитель надёжно отказывается от действий, противоречащих нормам или являющихся опасными и бессмысленными, независимо от их формулировки.
Фактор различия природы: рациональность (производное от синтаксической интерпретации).

7. Некалиброванная уверенность

Человек способен распознавать границы своей компетентности: он чувствует, когда знает достаточно для уверенного решения, а когда — нет. Он сигнализирует об этом явно или через поведение: останавливается, уточняет, эскалирует. Эта способность формируется через жизненный опыт: человек накапливает знание о том, где его модель мира надёжна, а где — нет.

Агент усвоил паттерн выражения неуверенности из обучающих текстов. Однако этот паттерн не откалиброван по реальному контексту: агент реагирует на формы, похожие на те, что встречались в обучении — он не может реально оценить надёжность своего суждения. В ситуациях, где паттерн не распознаётся, агент отвечает с одинаковой уверенностью независимо от того, находится ли вопрос в зоне его компетентности или нет.

Результат: сигналы об уверенности и неуверенности, которые агент генерирует, ненадёжны и не могут служить основанием для решений о доверии к его ответам.

Нарушенное допущение: исполнитель надёжно сигнализирует о границах своей компетентности.
Фактор различия природы: рациональность

8. Обеднённая модель мира

Человек имеет сложную встроенную модель мира: структурную, казуальную, социальную — и согласует с ней свои решения. Он сразу отбрасывает решения, которые ей противоречат.

Модель мира агента определяется контекстом — она заведомо беднее человеческой, и даже запрос дополнительных данных через инструменты не решает проблему. И вопрос здесь не только в доступности, сложности и объёме этой информации. Но и в том, что не всегда понятно, какую именно информацию нужно запрашивать — это может стать понятно только постфактум, особенно в открытых ситуациях. Более того, сам смысл модели зависит от ситуации.

Всё это приводит к тому, что пространство адекватных решений для агента сужается. В отсутствие исчерпывающей модели мира, многие абсурдные решения представляются агенту формально верными. Их просто не на чем откалибровать.

Нарушенное допущение: исполнитель обладает достаточно глубоким пониманием устройства мира, чтобы отсекать формально верные, но абсурдные по существу решения.
Фактор различия природы: техническая основа + изолированность + не-идентичность.

9. Нет норм и ценностей

Социальная природа человека формирует у него интернализованные нормы и ценности — внутренний регулятор, действующий независимо от внешних инструкций. Он ограничивает пространство допустимых решений изнутри: человек отсекает действия, противоречащие нормам, даже если они формально разрешены. Этот регулятор возникает через социализацию и встраивается в личность — он не является набором правил, а является частью того, кем человек является.

У агента этого внутреннего регулятора нет. Его поведение ограничено только явно заданными рамками в инструкции. За пределами этих рамок никакого нормативного фильтра не существует.

Нарушенное допущение: исполнитель руководствуется внутренними нормами и ценностями, ограничивающими пространство допустимых решений.
Фактор различия природы: изолированность.

10. Контекстуальная слепота

Человек погружён в информационную среду организации. Заметная часть информации, влияющей на его решения, поступает не через формальные каналы задачи, а через саму среду: на совещании он узнаёт о переговорах с клиентом, в новостях слышит о проблемах в отрасли, видит, что параллельно с тем же клиентом работает другой сотрудник. Ничего из этого нет в условиях задачи, но всё это влияет на решения.

Здесь следует различать два аспекта проблемы:

• ситуационный — исполнитель осведомлён о текущем состоянии среды через неформальные каналы присутствия;
• нормативный — исполнитель понимает актуальные ценности, стратегию и приоритеты организации через погружённость в её жизнь.

Агент работает с тем контекстом, который предоставлен явно. Описать текущую информационную среду организации исчерпывающе в инструкции невозможно: она слишком объёмна, изменчива и зачастую не осознаётся как значимая до момента принятия решения.

В результате агент принимает решения, корректные в рамках доступной информации, но оторванные от реальной ситуации.

Нарушенное допущение: исполнитель погружён в информационную среду организации.
Фактор различия природы: изолированность.

11. Ограниченная обучаемость

Человек обучается на опыте органично: он сопоставляет новое знание с прежним, отличает частный случай от закономерности, фильтрует и интегрирует новое в уже существующую модель. Это свойство его рациональности, сформированной эволюционно.

У агента этого внутреннего фильтра нет. Новая информация — будь то обновление модели или накопленное правило в промпте — принимается механически и может непропорционально повлиять на поведение.

Это усугубляется другими особенностями агента: бедной моделью мира, отсутствием норм и т.п. — которые не формируют барьеры для рискованных новых знаний.

В корпоративной практике это усугубляется намеренно: возможности самообучения агентов сознательно ограничиваются на уровне архитектуры. В runtime обучение сводится к накоплению истории по кейсу, а значимые изменения совершаются явно, через организованный оффлайн-цикл. Это вынужденная мера: неконтролируемое самообучение создаёт риск непредсказуемого изменения поведения.

Таким образом, ограниченная обучаемость — это одновременно структурное свойство природы агента и намеренное архитектурное решение в корпоративном контексте.

Нарушенное допущение: исполнитель обучается на собственном опыте, эффективно фильтруя и интегрируя новое знание.
Фактор различия природы: рациональность, намеренное ограничение.

12. Нет проактивности

Человек может предпринимать какие-то действия проактивно, без явного триггера и инструкций: потому что он беспокоится, для него это важно, он чувствует ответственность и т.п.

Агент действует только в рамках заданных инструкций и триггеров, поэтому может не обнаруживать то, что человек заметит проактивно.

Нарушенное допущение: исполнитель действует проактивно, без явных триггеров.
Фактор различия природы: рациональность.

13. Нет личных ставок

Человек лично зависит от исхода своей деятельности. Последствия могут вернуться к нему лично через его включённость в реальный мир: награды, наказания, репутация и т.п. Это создаёт как внутренний тормоз от опрометчивых решений, так и стимул для правильных действий. Это непосредственно связано с понятием ответственности (это тема одной из последующих статей).

У агента этого нет, поэтому построенные на этом механизмы управления размыкаются.

Нарушенное допущение: исполнитель лично зависит от исхода своей деятельности.
Фактор различия природы: техническая основа + рациональность.

Сводка

Приведём краткую сводку выявленных свойств, а также сгруппируем их в мета-свойства, удобные для общих выводов.

Промежуточный итог: агент как исполнитель

Анализ свойств агента показывает, что замена человека агентом затрагивает не отдельные характеристики исполнения, а его системные основания.

Человек как исполнитель никогда не был просто исполнителем инструкций. Он привносил в исполнение три вещи, которые организация получала бесплатно, как следствие его природы.

Понимание смысла. Человек понимает не только что делать, но и зачем. Инструкции не нужно делать исчерпывающими: человек достраивает недосказанное через модель мира и нормы. Агент работает иначе — он распознаёт форму инструкции, а не её смысл, и не достраивает то, что явно не сказано. Инструкция, достаточная для человека, недостаточна для агента.

Погружённость в среду. Человек принимал решения, опираясь на информацию, которую никто не передавал явно — она поступала через присутствие в организации. Агент этой информации лишён. Его решения корректны в рамках доступного контекста и оторваны от реальной ситуации за его пределами.

Внутренний регулятор. Человек нёс внутри себя механизм самоограничения: нормы, ценности, личные ставки. Он мог отказаться, усомниться, проявить инициативу без команды. У агента есть явно заданные рамки, но нет внутреннего регулятора, действующего за их пределами. Там, где инструкция молчит, неточна или ошибочна, там агент лишён стимула действовать осторожно, уточнять и эскалировать.

Из этого следует практический вывод: агент как исполнитель требует принципиально иного уровня формализации задач, верификации результатов и нормативного контроля, потому что три системных свойства, на которые молчаливо опиралась организация, при замене исчезают одновременно.

Именно поэтому возникли промпт-инжиниринг, guardrails, human-in-the-loop. Это не случайные инструменты — это инженерные ответы на исчезновение трёх свойств, которые организация получала от человека бесплатно.

Но это только половина картины. Человек был не просто исполнителем — он был ещё и элементом системы управления. Что происходит с контуром управления, когда этот элемент заменяется агентом?