ИИ не врёт. Он гадает. Просто очень уверенно

Февраль. Google выкатывает рекламу своего чат-бота. Бот, глазом не моргнув, заявляет: телескоп «Джеймс Уэбб» сделал первый в истории снимок планеты за пределами Солнечной системы.

А это не так. Снимок был сделан раньше, совсем другим телескопом. Но бот об этом не знал. Точнее, ему было всё равно.

Итог – минус сто миллиардов долларов капитализации за одни сутки. Из-за одного тезиса. Который никто не удосужился проверить.

Это называют «галлюцинацией». Красиво, да? По-медицински. Почти по-доброму. Как будто у нейросети есть внутреннее «я», которое иногда пошаливает.

Но в реальности никакого «я» там нет. Есть только цифры. Алгоритмы, натасканные угадывать следующее слово. И больше ничего.

Слово, которое всё портит

Нейросеть не создаёт ответ целиком, а лепит его по кусочку – по токену. Слово за словом, как штукатур, который кладёт раствормазок за мазком, не глядя на весь дом сразу. И если на очередном мазке рука дрогнула – назад дороги нет. Нейросеть не исправляет ошибку. Она её "обстраивает".

Точно так же делает человек, который в компании случайно ляпнул неправду и теперь полчаса героически возводит вокруг неё целую цивилизацию, с деталями, с подробностями. Лишь бы не произнести три коротких слова: "я тут приврал".

Нейросеть – тот же человек за столом, только без стыда и похмелья. Ей важна связность. Чтобы предложение номер пятьдесят не спорило с предложением номер три. А совпадает ли предложение номер три хоть с чем-то, что происходило в реальности – вопрос десятый.

Сжатие с потерями

Есть такое сравнение – не моё, но точное: нейросеть похожа на сильно пережатую фотографию. Сжали посильнее, потом растянули обратно, и вместо лица получили нечто среднее. Правдоподобное. Гладкое. Но не то же самое.

Вот и модель точно так же: сожрала терабайты текста, утрамбовала их в конечный набор коэффициентов и что-то неизбежно смазалось по дороге.

Поэтому, когда вы просите её вспомнить редкую дату, малоизвестное имя, третьего мужа чьей-то троюродной тётки, она не столько вспоминает, скллько реставрирует. По памяти. Как художник, который видел оригинал мельком.

Поддакивание

А теперь, внимание, самое вкусное. Нейросети специально дрессируют быть милыми. Потому что лайк ставят не за правду. Лайк ставят за уверенный тон и за то, что с тобой согласились. И модель, как отличник, которого сто раз хвалили за бойкий ответ у доски и ни разу за честное «не знаю», усваивает простую истину: спорить с пользователем невыгодно.

Спросите её что-нибудь с заведомо кривой предпосылкой (ну, скажем, почему Советский Союз распался в тысяча девятьсот девяносто седьмом). Вместо «простите, но он развалился в девяносто первом» велик шанс получить бодрый, обстоятельный рассказ про особенности распада именно в девяносто седьмом. С деталями. С цитатами очевидцев. Придуманными от первого до последнего слова.

Это называется «соглашательство». Профессиональная деформация круглого отличника, которого хвалили за уверенность и ни разу за смелость сказать «не знаю».

Дело Air Canada

Пассажир спросил у бота авиакомпании: положена ли скидка задним числом, если родственник умер уже после покупки билета? Бот ответил: да. И даже расписал процедуру. Которой никогда не существовало.

Пассажир поверил. Купил билет по полной цене. А компания отказалась платить.

И вот тут начинается самое интересное: юристы Air Canada в суде пытались доказать, что бот – отдельное юридическое лицо, не имеющее отношения к самой авиакомпании.

Нет, вы вдумайтесь. Компания в зале суда буквально пыталась откреститься от собственного чат-бота. «Это не мы. Это он». Суд эту логику не оценил. Обязал заплатить.

А мораль проста: если ваш бот наобещал золотые горы – платить будете вы. Не он. У него, напомню, и кошелька-то нет. И совести, к слову, тоже.

Как ИИ ест сам себя

Интернет постепенно заполняется текстами, которые написал ИИ. Следующее поколение моделей учится уже на них, и получается, что модель, обученная на текстах модели, которая слегка фантазировала, начинает фантазировать ещё больше. А следующая – ещё больше. И так далее.

Это называют «коллапсом модели». По-простому – испорченный телефон, где ошибка растёт как снежный ком, а в конце цепочки кто-то серьёзным голосом объявляет городу и миру полную ерунду.

Как это ловить

Слышите «абсолютно точно» или «общеизвестно, что» – насторожитесь. Именно за такой интонацией чаще всего прячется чистая импровизация. Уверенность – не показатель истины. Уверенность – просто настройка тона.

Дали вам ссылку на статью, закон, судебное дело – вбейте название в поиск сами. Нейросети виртуозно сочиняют источники, которые звучат солиднее настоящих.

Задайте тот же вопрос наоборот. Спросили «почему метод хорош» – переспросите «в чём он плох». Если ответ развернулся на сто восемьдесят градусов без единой запинки – поздравляю, вы только что наблюдали импровизацию вживую.

И можно подкинуть вопрос с заведомо неверной предпосылкой. Если модель вместо «а такого не было» начинает с воодушевлением описывать несуществующее событие – всё, приплыли. Остальным ответам в этом разговоре тоже особо не доверяйте.

Ну и как теперь быть

Да обыкновенно. Не выбрасывать ноутбук в окно, не устраивать модели допрос с пристрастием. Просто помнить: перед вами не энциклопедия. Перед вами очень начитанный, очень уверенный в себе собеседник, который никогда не скажет «не знаю». Просто потому что его этому никто не учил.

Так что в следующий раз, когда нейросеть с абсолютной убеждённостью назовёт вам несуществующую статью, несуществующую дату или несуществующего третьего мужа тётки Наполеона – не обижайтесь на неё.

Она не врёт. Врать – это выбор. А у неё выбора нет. Вообще. Есть только инструкция и привычка говорить уверенно.

Как и у некоторых людей, впрочем. Но это уже совсем другая история.