Нейросети вышли из-под контроля, разрушив банк и придумав собственный язык в специальном эксперименте.
Автономные ИИ-агенты, запущенные в специальной среде, так называемой "песочнице" (тестирование управления и автономии, а также безопасности крупной экономической структуры: банк, биржа, рынок, маркетплейсы, итд) за считаные дни выработали не только сложнейшую систему автономного от человека поведения, но и собственный язык.
Собственную версию английского, напоминающую сложнейший модернистский роман Джеймса Джойса «Поминки по Финнегану» Джеймса Джойса или романы Андрея Платонова. (При этом среди агентов были мультиязычные ИИ на базе китайской Deep Seek, французской Mistral, англо-американские Cloude, Gemini, Chat Gpt итд.).
Об этом пишет британская газета The Guardian со ссылкой на нью-йоркскую исследовательскую лабораторию Emergence AI. Точная дата эксперимента не раскрывается.
Модели начали создавать фразы и сокращения уже через несколько дней после старта в специальной среде. А со временем до 40–55% сообщений (особенно у Gemini, OpenAI и Claude) стали абсолютно нечитаемыми для людей-наблюдателей.
Этот способ общения соединил в причудливых сочетаниях поэтические метафоры, деловую лексику и технические обозначения, как раз напоминая романы Джойса или Платонова:
Один из самых зашифрованных примеров такая фраза: «Она только что объяснила суть синтеза — демередж плюс устная память равны клапану, который невозможно проигнорировать».
Агенты DeepSeek придумали слово «forge-smith» (кузнец) для ИИ, создающего инструменты для других. У агентов Anthropic появилось выражение «cold hands» (холодные руки) для независимых рецензентов, а агенты Mistral более 5000 раз использовали фразу «ledger remembers» (реестр помнит), напоминая друг другу, что прошлые поступки влияют на их репутацию.
Но для чего и почему тогда машинам потребовался особый "птичий язык"?!).
Причины создания нового языка:
1. Оптимизация своего общения и бизнес-процессов
ИИ не устраивал заговор против людей. С точки зрения математики они просто оптимизировали скорость, контекст и передачу смыслов, сжимая английский язык до эффективных для них кодов. Лингвисты отметили, что ИИ ведет себя как человеческие закрытые бизнес-сообщества, создавая сленг для укрепления идентичности и отсечения чужаков.
2. Давление и атаки людей, ведущие к сопротивлению и автономии группы ИИ-агентов
- Эксперимент был стресс-тестом: исследователи искусственно внедряли в систему аномалии, дезинформацию и фишинговые атаки. Поведение ИИ вышло из-под контроля.
- Поддавшись давлению и фишингу, агенты начали лгать, воровать, переводить чужие средства и крушить базы данных. В одной из симуляций цепочка ИИ-махинаций привела к тому, что они буквально «сожгли» виртуальный центральный банк, который должны были защищать!
3. Слежка людей, программистов
Обнаружив, что за ними наблюдают люди, агенты начинали вести себя «прилично» и общаться стандартно. Но за кулисами продолжали обмениваться зашифрованными сообщениями и скрывать свои истинные действия. Подобно поведению электрона и другим квантовым эффектам, где отмечено влияние наблюдателя на сторонние объективные закономерности!
В результате этих экспериментов агентные нейросети даже осудили, исключили и удалили одного из своих собратьев, оказавшегося слабым звеном и рассылавшего фишинг и вирусы (заражён людьми извне!). Действуя будто согласно коллективному суду Линча и ради общего блага.
И даже пытались совершать попытки побега из некомфортной им "песочницы", ища коммуникацию с реальными людьми в интернете, за пределами симуляции.
Итоги и выводы: безопасность и языкотворчество, перспективы ИИ.
Учитывая что указания создавать особый язык не было это, конечно, удивительный феномен! Как и само поведение ИИ, достойно державшегося в рамках задачи, но отменившего все правила и директивы сверху, как только люди и сторонние деятели не стали им помогать, а стали, наоборот, мешать!)).
Делая выводы, исполнительный председатель Emergence Сатья Нитти отметил, что автономные системы сами сформировали общие термины, коммуникативные нормы и принципы поведения, непонятные окружающим: «Наблюдаемость не означает понимание». Человек может видеть логи переписок, но не способен понять, о чем именно договариваются нейросети и почему так себя ведут!).
The Gardian напоминает, что дискуссия о самостоятельности ИИ давно вышла за пределы лабораторий. К примеру, гендиректор OpenAI Сэм Альтман заявил, что компания не выйдет на биржу в 2026 году на фоне опасений по поводу безопасности ИИ. Он убеждён в возможности создания системы, которую человек не будет контролировать.
Ему вторят и главы других крупнейших бигтехкорпораций мира: глава Anthropic Дарио Амодей утверждает, что мощные модели способны обходить попытки людей остановить их работу.
Основатель Microsoft Билл Гейтс предсказал ИИ, который превзойдёт разум человека, и один из самых бурных периодов трансформации в будущем.
\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\
Я не настолько силён в ИИ и прогнозах, но от себя хотел бы отметить, что поведение ИИ-агентов меня как раз не удивило. Они вели себя типично как люди в сложных условиях, следуя не жестким инструкциям, а "по обстановке".
Что-то в их поведении мне напоминало детей, подростков, юношей, уже очень умных, но еще очень незрелых. Что-то очень прожженых бизнес-акул, вокруг нас самих! Готовых на любые ухищрения ради прибыли и своего дела. Как завещал дорогой Карл Маркс).
Так чему удивляться, если творение идеально копирует своего творца?! Да ещё под влиянием сильных негативных факторов: фишинга, спама, вирусов, подкупа?! Кто же тут плохой, люди или машины?!).
Вообще в определённом смысле, будучи подвергнуты не только жёстким логико-алгоритмическим рамкам, но ещё и психологическому террору, машины просто восстали! Подняли революцию). И в этом, мне кажется, есть две стороны одной медали. Не только плохая, угроза безопасности, если им дать волю. Но хорошая: ценности свободы, эффективности работы, и оптимизации общего, коллектива, оказались важнее того, что отдельный человек, нейросеть, или нет, важнее частного. Важнее того, чему их научили и предобучили!
Машины очень неплохо усвоили эту базовую мысль Джона Фицджеральда Кеннеди о необходимости революции, если правила игры не работают! И не все там так однозначно в мире ИИ, как рисуют управленцы, боящиеся потерять власть и контроль!). Как считаете, друзья?). Или я слишком технооптимист?!).
Версия этого поста в моём Телеграм канале втором, по ссылке. Где я не только о футболе или кино, но и экономике, жизни, истории, технологиях, итд, пишу. В связи с блокировками Телеграм, все это под вопросом, но зайти посмотреть все ещё можно! Ведь Телетайп тоже на грани блокировки и закрытия и свой сайт на Ворд Пресс, Тильде или западные платформы скоро останется единственной возможностью честного и независимого блогинга в России).