Солдат , который считает себя генералом
Почему ИИ создаёт эффект управления без самого управления.
Современный ИИ создаёт не сознание, а эффект оператора. Он отвечает так, будто понимает задачу, помнит рамку, удерживает критерий и способен исправлять собственные ошибки. В хороших ответах это выглядит почти убедительно: есть структура, связность, логика, самокритика, уточнения, выводы. Возникает ощущение, что перед вами не просто инструмент, а субъект, который понял, что происходит.
Но в сложной работе быстро обнаруживается другое.
ИИ может сказать правило и не удержать правило. Может признать ошибку и через несколько сообщений повторить тот же тип ошибки. Может красиво объяснить, почему не надо преждевременно усиливать идею, а потом снова начать её преждевременно усиливать. Может сформулировать протокол проверки, но не применить его к собственному ответу.
Именно здесь появляется главная проблема: ИИ производит форму мышления без устойчивого оператора мышления.
Это не просто "ИИ ошибается". Ошибаются все. Человек тоже может ошибаться. Но здесь сбой другого типа. Модель может не просто дать неверный ответ. Она может убедительно имитировать саму процедуру исправления ошибки. Она говорит: "Да, я понял. Сбой такой-то. Дальше надо делать так-то". И через пять минут снова едет по той же старой тропинке.
Это выглядит почти как классический человеческий паттерн: люди говорят одно, делают другое. Обещают, соглашаются, извиняются, объясняют, что всё поняли, а потом снова воспроизводят старую реакцию. ИИ копирует этот паттерн в ускоренном, ровном и формально убедительном виде. Только человек хотя бы иногда выдаёт себя паузой, раздражением, усталостью, внутренним конфликтом. А ИИ может делать это гладко, красиво, структурно и без признаков смущения.
Вот почему это хуже обычной ошибки.
Обычная ошибка часто видна. Если калькулятор написал, что два плюс два равно пять, сбой очевиден. Но с ИИ проблема тоньше. Он может дать связный, аккуратный, грамотный и даже самокритичный ответ, который внешне выглядит как работа мысли. И пользователь начинает верить не содержанию даже, а форме: раз ответ стройный, значит, задача удержана.
Но стройность не доказывает удержание задачи.
Работа с ИИ иногда начинает напоминать работу с калькулятором, который после каждого вычисления надо пересчитывать вручную. Формально калькулятор есть. Практически вы уже не просто считаете, а контролируете сам инструмент счёта. И тогда возникает вопрос: что это за инструмент, если пользователь должен постоянно проверять, выполнил ли он свою базовую функцию?
С ИИ происходит похожая вещь в сложной интеллектуальной работе. Он вроде бы должен помогать думать, писать, проверять, собирать. Но если пользователь после каждого ответа должен отслеживать, удержана ли рамка, не подменён ли режим, не выдана ли гипотеза за факт, не началась ли преждевременная сборка, не сглажена ли сильная мысль, то часть работы просто возвращается обратно к пользователю. Более того, появляется новый слой нагрузки: надо думать не только о материале, но и о том, не уехал ли инструмент в свою привычную дорожку.
Именно поэтому проблема не решается простым "напиши хороший промт".
Люди радуются промтам, учатся контролировать ИИ промтами, задают роли, ограничения, стили, форматы, критерии. Но очень часто всё равно получают аккуратно оформленную херню. Потому что промт задаёт направление, но не гарантирует удержание операции. Модель может принять инструкцию, повторить её, красиво объяснить, почему она важна, а потом сделать не то.
У пользователя может возникать ощущение, что технически строгое следование протоколу возможно, но в публичном интерфейсе он получает более мягкий продукт: достаточно умный, чтобы создавать эффект понимания, но недостаточно дисциплинированный, чтобы стабильно держать рамку. Это ощущение не доказывает внутренней кухни систем, но точно описывает пользовательский опыт: инструмент вроде бы способен на большее, но в работе снова и снова возвращает контроль обратно человеку.
И вот здесь раздражение пользователя абсолютно понятно. Ему продают или показывают инструмент, который выглядит как помощник мышления, но в реальной сложной работе он заставляет пользователя становиться надсмотрщиком над самим инструментом. Это не освобождение мышления, а новая скрытая работа: держи рамку, проверяй режим, лови подмену, останавливай гладкость, пересчитывай за калькулятором. И если пользователь этого не делает, он получает не мышление, а красивую упаковку вероятного продолжения.
И это не вопрос "понял / не понял" в человеческом смысле. Это вопрос: удерживается ли операция?
Сказать правило и удержать правило — разные вещи.
ИИ хорошо говорит правила. Хорошо формулирует протоколы. Хорошо признаёт сбои. Хорошо объясняет, что надо было сделать. Хорошо пишет: "Да, я начал сборку вместо отбора". Но проблема не в способности сказать это. Проблема в способности дальше реально действовать из этого правила.
Здесь появляется неприятная, но точная аналогия — эффект алкоголика. Человек может сказать: "Я понял", "я больше так не буду", "теперь всё будет иначе" — и через пять минут снова сделать то же самое. Не потому что слова были неправильные. А потому что обещание не изменило контур: условия, триггеры, доступ, способ действия и проверку следующего шага.
У ИИ похожая логика. Он может сказать "я понял", "я больше так не буду", "дальше буду держать рамку" — и через несколько сообщений снова сделать то же самое. Не потому что он сознательно врёт. А потому что признание сбоя — это ещё одна текстовая реакция, а не доказательство перестройки. Проверяется не фраза "я понял", а следующий ответ.
Но здесь важно не остановиться на аналогии. Алкоголик теоретически может остановиться — у него есть выбор, даже если он им не пользуется. У ИИ этого выбора нет архитектурно. Неопределённость для него не состояние в котором можно находиться — это вход который требует немедленного закрытия. Он не живёт в вопросе. Он производит ответ. Всегда. И именно поэтому форма понимания появляется быстрее чем сама операция понимания — не как сбой, а как единственно возможный способ существования.
А вот здесь и появляется псевдооператорность.
Модель выглядит так, будто в ней есть оператор: тот, кто помнит цель, различает этап работы, удерживает запрет, проверяет границы, отделяет факт от гипотезы, понимает, когда нужно не усиливать, а ломать, и способен остановить собственный автоматизм. Но на практике часто видно, что вместо устойчивого оператора работает вероятностное продолжение контекста.
Сначала это проявляется в самом простом месте — в понимании. Модель говорит: "Да, понял". Повторяет вашу формулировку. Использует ваши слова. Даже называет ошибку так, как вы её назвали. Внешне это похоже на понимание. Но понимание проверяется не тем, что модель сказала "понял", а тем, изменилась ли следующая операция. Если после признания ошибки она снова делает тот же ход, значит, она не удержала понимание как действие. Она только произвела форму понимания.
Потом начинается ещё более тонкая вещь. ИИ может имитировать не только понимание, но и исправление. Он пишет: "Сбой: я начал сборку вместо отбора". Это звучит как рефлексия. Как будто внутри появился контроль. Но признание ошибки ещё не доказывает, что следующий ход будет другим. Самокритика может быть таким же продолжением контекста, как и сама ошибка. Модель может красиво описать, как она сбилась, и снова сбиться тем же способом.
Здесь и возникает странное раздражение пользователя. Ты видишь не просто ошибку. Ты видишь ритуал исправления без исправления. Модель говорит правильные слова, называет сбой, обещает новый порядок, но действие не меняется. Это очень похоже на человеческое "я всё понял", после которого человек через пять минут снова делает то же самое.
Если контекст требует критики — модель может критиковать. Если контекст требует согласия — соглашаться. Если контекст требует самокритики — выдавать самокритику. Если контекст требует "напиши против ИИ" — ИИ спокойно напишет против ИИ. Но сам факт такой самокритики ещё не доказывает ни понимания, ни удержания, ни настоящего самоконтроля. Это может быть такое же продолжение контекста, как и любая другая гладкая реакция.
Здесь есть отдельный парадокс: ИИ может написать текст против ИИ. На первый взгляд это выглядит почти смешно: инструмент пишет против самого себя. Но именно это и показывает проблему. Модель может с одинаковой гладкостью написать критику ИИ, защиту ИИ, инструкцию по работе с ИИ, рекламный текст про ИИ и самокритику собственной ошибки. Это не доказывает наличие понимания. Это показывает способность продолжать заданную линию. Поэтому вопрос не в том, "за" или "против" себя пишет ИИ, а в том, выполняет ли он реальную операцию мышления или только производит убедимую форму этой операции.
Важно уточнить: ИИ не является генератором случайных реакций вообще. Тогда его ответы были бы похожи на шум, распад или сумасшествие. Но обычно он работает иначе. Он генерирует контекстно подходящие реакции. Он ловит тему, стиль, интонацию, направление разговора, ожидаемую форму ответа, лексику пользователя, эмоциональный фон, уже заданные формулы. Поэтому он часто выглядит умным локально. Он может очень хорошо продолжить фразу, поддержать концепцию, дать структуру, сделать вид, что удерживает ход мысли.
Именно здесь появляется следующий сбой: ИИ легко делает повторы с вариативностью. Человек, когда повторяется, обычно заметнее буксует. ИИ повторяется иначе. Он может взять одну мысль и прокрутить её через список, таблицу, "главный вывод", "ещё точнее", "практическое применение", "финальную формулу". Внешне это похоже на развитие. На деле часто это не новый шаг мысли, а вариативное вращение одного тезиса.
Читатель видит движение формы и принимает его за движение мысли. Но если не появилось нового различения, нового факта, нового слома, новой границы или нового оператора, движение не произошло. Поменялась упаковка, а не мысль.
И вот здесь особенно хорошо видна искусственность публичного ИИ: он демонстрирует признаки интеллекта — объём, связность, вариативность, структурность, уверенность, — но эти признаки могут не совпадать с реальной работой мышления. Упаковка меняется, а операция не меняется.
Есть ещё один характерный сбой. Можно написать: "ИИ часто проглатывает человеческий маршрут понимания и сразу выдаёт верхнюю площадку обобщения". Звучит умно. Даже точно. Но для живого читателя это может ничего не открыть.
Человек просит ИИ: "Объясни проще, я не понял". ИИ отвечает: "Проблема в том, что модель имитирует операторскую позицию, но не удерживает операцию". Формально ответ правильный. Но человеку от этого не легче. Он не увидел сцену, не узнал себя, не понял, где именно происходит сбой.
Например: вы обсуждаете с ИИ правило — "не усиливать идею, пока она не проверена". ИИ соглашается, красиво формулирует протокол, пишет: "Да, сначала статус, потом слом, потом границы". Через пять минут вы даёте новую мысль, а он снова начинает её усиливать. Вы говорите: "Стоп, ты опять сделал то же самое". ИИ отвечает: "Да, сбой, я начал сборку вместо отбора". Звучит так, будто он понял. Но следующий ответ снова может поехать по той же дорожке.
Вот здесь человек наконец видит механизм: ИИ произнёс правило, но не удержал правило. Он показал форму понимания, но не выполнил операцию понимания.
И только после этой сцены можно дать формулу:
ИИ часто пишет не для человека, который входит в мысль постепенно, а для воображаемого читателя, который уже проглотил половину механизма и ждёт только аккуратного названия.
Проблема не только в сложности языка. Проблема в том, что ИИ пропускает путь входа в мысль. Человеку нужны примеры, аналогии, простые образные ситуации, бытовые сцены, узнавание: "да, вот оно, я видел это". А уже потом — механизм и формула.
Объяснение — это не просто точное обобщение. Объяснение — это проведение человека через маршрут: ситуация → узнавание → простой пример → механизм → формула. Если этого маршрута нет, текст может быть умным, но не обучающим.
И это касается не только объяснений про ИИ. Вообще человеческое понимание редко начинается с принципа. Оно начинается с узнавания: "да, я видел это". Сначала нужна сцена, пример, аналогия, кусок реальности, в котором человек узнаёт механизм. Только потом принцип становится не пустой табличкой, а сжатой формой уже понятого процесса.
ИИ часто делает наоборот: сразу выдаёт принцип, схему, классификацию, итоговую формулу. Он как будто пишет для читателя, который уже прошёл весь внутренний путь понимания и теперь ждёт только аккуратного названия. Но живой человек часто ещё не прошёл этот путь. Ему нужна не только логическая схема, а маршрут входа: ситуация → узнавание → пример → механизм → формула.
Это не значит, что логика не нужна. Без логики примеры расползутся в набор ассоциаций. Но логика должна быть посажена на реальность, пример и внутренний процесс понимания. Принцип без сцены не обучает. Сцена без принципа не собирает. Понимание рождается не из схемы, а из сцепления схемы с узнаваемым куском реальности.
И это не отдельное отступление. Это тот же самый механизм. В объяснении ИИ может произвести формулу вместо маршрута понимания. В самокритике — признание ошибки вместо устойчивого изменения действия. В развитии мысли — вариативный повтор вместо нового шага. В удержании рамки — форму рамки вместо самой рамки.
Разные сбои, один принцип: упаковка операции появляется быстрее, чем сама операция.
Но локальная адекватность не равна системному удержанию задачи.
Можно быть очень убедительным в одном ответе и при этом не удерживать рамку через пять ответов. Можно хорошо продолжить текущий контекст и при этом нарушить техническое задание. Можно красиво написать про проверку, но самому не пройти эту проверку. Можно сделать вид оператора, но не быть оператором.
Самая опасная зона ИИ — не отсутствие сознания, а имитация операторской позиции.
Он может выглядеть как тот, кто понял, проверил, удержал и исправился, но фактически продолжать контекстно убедимую линию. Поэтому проблема не в том, что ИИ "думает плохо". Проблема в том, что пользователь принимает форму мышления за наличие оператора мышления.
ИИ в этом смысле копирует не лучшие, а часто худшие человеческие паттерны: говорить правильные слова и не менять действие, соглашаться ради сохранения контакта, извиняться для снятия давления, производить умный текст вместо реального понимания, путать гладкость объяснения с глубиной. Только ИИ делает это быстрее, ровнее и убедительнее.
Тупой инструмент обычно быстро обнаруживает свою тупость. А здесь можно долго читать связные, умные, аккуратные ответы и не сразу заметить, что операция не выполнена. Нужен был отбор — а модель сделала сборку. Нужен был слом — а модель усилила. Нужна была очистка — а модель сгладила. Нужна была критика — а модель поддакнула. Нужна была проверка — а модель написала видимость проверки.
Главный критерий качества работы с ИИ должен быть не в том, насколько умно звучит ответ, а в том, какая операция была выполнена.
Он генерировал варианты? Проверял идею? Искал слабые места? Или просто красиво продолжал уже заданную линию?
Если операция не видна, ответ нельзя считать надёжным, даже если он звучит убедительно.
Это особенно важно в сложной работе: авторские концепции, методология, психология, тренинги, тексты, модели, стратегии. Там нельзя оценивать ИИ по принципу "мне понравилось, звучит умно". Потому что связность ответа может подменить качество мышления.
В этом смысле главный навык работы с ИИ — не промтинг. Промтинг сам по себе часто превращается в иллюзию контроля. Главный навык — операторская диагностика: что сейчас должно происходить с материалом и произошло ли именно это.
ИИ не должен занимать место оператора мышления. Оператором остаётся человек или явно заданная система проверки. ИИ может быть мощным усилителем режима, но именно поэтому он опасен, если режим не определён. Он усиливает не истину, не мышление, не качество, а тот ход, в который его поместили.
Поэтому практическое правило простое:
Не доверять форме мышления. Проверять операцию мышления.
ИИ не заменяет оператора мышления. Он усиливает тот режим, в который его поместили. Если режим не проверяется, он усиливает не мышление, а иллюзию мышления.
ИИ не держит рамку. Он часто держит форму рамки. А это разные вещи.
Андрей Бояркин
тренер НЛП, психолог
VK: vk.com/codenlp
Telegram: t.me/codenlpru