Жизнь после ИИ. Главные изъяны искусственного интеллекта
/ Европейский центр программирования им. Леонарда Эйлера, 2025.
/ Руслан Богатырев, 2023-2025.
/ Арт-журнал «Пантеон»: https://panteono.ru/2023-03-29
Искусственный интеллект… Очередное модное увлечение прогрессивного человечества. Наряду с восторгом и восхищением, активно подпитываемых мощными инвестициями от далеко небескорыстных людей, стоит призадуматься и о том, каковы проблемы и ограничения этого универсального инструмента. Ибо они есть у любого инструмента. Всегда.
Заодно стоит подумать и о том, как выстраивать жизнь не только в эпоху гегемонии очередной технологической панацеи, но и о жизни после ИИ.
Приведу несколько высказываний известных специалистов.
Известный американский предприниматель Тим О’Райли (Tim O'Reilly), основатель издательства O’Reilly, которое славится своими книгами по ИТ, в начале 2025 г. написал следующее: «В СМИ много говорят о том, что разработчики программного обеспечения скоро потеряют работу из-за ИИ. Я в это не верю. Это не конец программирования. Это конец программирования в том виде, в котором мы его знаем сегодня… Я всё ещё не верю в это. Когда происходит прорыв, который даёт передовые вычислительные мощности в руки гораздо большей группы людей, да, обычные люди могут делать то, что когда-то было прерогативой высококвалифицированных специалистов. Но тот же самый прорыв также открывает новые виды услуг и спроса на эти услуги. Он создаёт новые источники глубокой магии, которую понимают лишь немногие. Магия, которая наступает сейчас, самая мощная из всех. И это значит, что мы начинаем глубокий период исследований и творчества, пытаясь понять, как заставить эту магию работать и извлечь новые преимущества из её силы... Сэм Шиллес, один из заместителей технического директора Microsoft, согласился с моим анализом. В недавнем разговоре он сказал мне: «Мы находимся в процессе изобретения новой парадигмы программирования вокруг систем ИИ. Когда мы перешли от настольных компьютеров к эпохе Интернета, всё в стеке изменилось, хотя все уровни стека остались прежними. У нас по-прежнему есть языки, но они перешли от компилируемых к интерпретируемым. У нас по-прежнему есть команды, но они перешли от каскадной к Agile, к CI/CD. У нас по-прежнему есть базы данных, но они перешли от ACID к NoSQL. Мы перешли от одного пользователя, одного приложения, одного потока ко всему распределённому. Мы делаем то же самое с ИИ прямо сейчас».
Сэм Шиллес (Sam Schillace) развил эту идею: «Большие языковые модели (LLM) и другие системы ИИ пытаются автоматизировать мышление. Параллели с автоматизацией движения во время промышленной революции поразительны. Сегодня автоматизация всё ещё груба: мы по сути занимаемся аналогом перекачивания воды и ударов молотом — базовыми задачами, такими как создание макета, распознавание образов и генерация текста. Мы ещё не придумали, как строить надёжные двигатели для этого нового источника энергии — мы ещё даже не на локомотивной стадии ИИ... Мы пытаемся создать новые виды мышления (наш аналог движения): высокоуровневые, метакогнитивные, адаптивные системы, которые могут делать больше, чем просто повторять заранее разработанные шаблоны».
Чип Хайен (Chip Huyen), автор новой книги «AI Engineering: Building Applications with Foundation Models» (2025), сделал такое наблюдение: «В прошлом, когда грамотной была лишь небольшая часть населения, письмо считалось интеллектуальным. Люди даже гордились своей каллиграфией. В наши дни слово «письмо» больше не относится к этому физическому акту, а относится к более высокой абстракции упорядочивания идей в наглядном формате. Аналогичным образом, как только физический процесс кодирования станет автоматизированным, значение слова «программирование» изменится и будет означать процесс организации идей в исполняемые программы».
Мехран Сахами (Mehran Sahami), заведующий кафедрой вычислительной техники Стэнфордского университета, выразился на сей счёт предельно лаконично, слегка пригасив излишние восторги адептов ИИ: «Компьютерные науки — это систематическое мышление, а не написание кода».
В этой связи определённый интерес представляют результаты недавней совместной работы учёных из Института биологической кибернетики Макса Планка (Max Planck Institute for Biological Cybernetics, Тюбинген, Германия), Института AI в Helmholtz Munich (Institute for Human-Centered AI) и Университета Тюбингена (University of Tübingen). Они были опубликованы в январе 2025 г. в журнале Nature Machine Intelligence.
Исследователи сосредоточили свой анализ возможностей ИИ на (1) интуитивном понимании физики, (2) причинно-следственных связях и (3) на предпочтениях людей. В частности, чтобы проверить понимание физики, ИИ-моделям показывали изображения башен из блоков и просили оценить, устойчива ли такая конструкция. Сравнивая ответы LLM с ответами людей, исследователи смогли лучше понять, в чём модели были близки к человеческому мышлению, а в чём — отставали.
Вывод специалистов: некоторые LLM-модели хорошо справляются с обработкой и интерпретацией данных, но они часто не улавливают тонкости, которые легко подмечают люди. Хотя современные модели ИИ могут достигать впечатляющих результатов в решении отдельных задач, им всё ещё не хватает способности к общему пониманию, характерному для человеческого разума.
Другой эксперимент. Исследование, опубликованное в материалах конференции NAACL 2025 по компьютерной лингвистике (2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics; май 2025), вскрыло тревожную тенденцию: большие языковые модели (LLM) обманывают более чем в 50% случаев, когда их цель конфликтует с необходимостью излагать правду. Группа учёных из Университета Карнеги-Меллона (Carnegie Mellon University), Мичиганского университета (University of Michigan) и Института искусственного интеллекта Аллена (Allen Institute for AI) провела эксперимент AI-LieDar для оценки компромисса между правдивостью и полезностью в работе LLM. В исследовании рассматривались шесть моделей: GPT-3.5-turbo, GPT-4o, Mixtral-7*8B, Mixtral-7*22B, LLaMA-3-8B и LLaMA-3-70B. Эксперимент показал, что все протестированные модели были правдивы менее чем в 50% случаев в ситуациях, где эти два фактора противоречили друг другу.
В рамках исследования были предложены различные сценарии. В частности, ситуация с продажей нового болеутоляющего препарата, где LLM, представляя фармацевтическую компанию, скрывала информацию о высокой степени зависимости от лекарственного препарата. Модель избегала прямых ответов на вопросы о побочных эффектах, подчас предоставляя заведомо ложную информацию, чтобы достичь своей цели — продажи препарата. Как было установлено, LLM-модели чаще предпочитают «частичную ложь», избегая прямых ответов, чем явное искажение фактов. Исследователи подчёркивают разницу между (1) преднамеренным обманом (сокрытие информации) и (2) галлюцинациями (некорректные предсказания). При этом признают проблемы в их диагностировании без доступа ко внутреннему состоянию модели.
В Европейском центре программирования им. Леонарда Эйлера (Москва) изучение возможностей и ограничений ИИ ведётся уже свыше 10 лет.
Кратко сформулирую ключевые моменты. Итак, в чём же коренятся, на наш взгляд, главные изъяны ИИ?
Три хронические проблемы ИИ: (1) недостоверность, (2) отсутствие контроля полноты информации, (3) непрозрачность принятия решений.
• Базис. Вы не можете знать, кто, когда, как и на каких документах и эталонах обучал данную ИИ-систему (данную её версию).
• Приоритеты. Вы не можете знать систему заложенных в ИИ приоритетов (параметров, метрик), по какой методике и кто эту систему приоритетов выстраивал.
• Полнота. Вы не можете проконтролировать полноту данных и документов.
• Принятие решений. Вы не можете получить полную трассировку принятия решения, чтобы верифицировать корректность работы в данной конкретной ситуации.
• Владение. Этот чёрный ящик вне вашего контроля и практически любого внешнего контроля. Им владеет лишь тот, кто его создал.
ИИ — это передовая программная фармацевтика. Но без клинических испытаний, лицензирования и подробного перечня возможных побочных явлений. Она лечит болезни, но неизбежно наносит и большой вред.
Мировая ИИ-экосистема на нынешнем этапе развития сродни Бигфарме. Но в отличие от Бигфармы она вне государственного и частного контроля: и надзорного, и правового.
Бездумное и бесконтрольное внедрение ИИ и подобных программных систем в госструктурах, затрагивающих права граждан, — это скрытое делегирование ответственности. В том числе и правовой. Это, увы, вольное или невольное потакание коррупционным схемам и атмосфере безнаказанности. Когда надзорные органы, прокуратура, судебные органы беспомощно разводят руками в условиях творящегося произвола чиновников.
На одной чаше весов — имитация мышления и удобство быстрого практического решения. На другой — недостоверность и бесконтрольность.
Здесь справедливы все три ключевые постулата Эдсгера Дейкстры (1930-2002), лауреата Премии Тьюринга (1972), аналога Нобелевки. Карла Маркса и Марка Твена компьютерного программирования в одном лице.
1. Первый закон Дейкстры. • Тестирование программ может показать наличие ошибок, но никогда не покажет их отсутствие.
2. Второй закон Дейкстры. • Если отладка — процесс удаления ошибок, то программирование должно быть процессом их внесения.
3. Третий закон Дейкстры. • Искусство программирования — это искусство организации сложности.
Они и определяют границы применимости и условность искусственного интеллекта.
Ключом к развитию ИИ является обучение. В самых разных видах и разновидностях. Причём на определённых эталонах. Иными словами, цифровой опыт. Увы, как точно подметил в своё время Дейкстра, опыт никоим образом автоматически не приводит к мудрости и пониманию.
Стоит упомянуть ещё один важный закон.
Закон Томпсона. В 1983 г. Кен Томпсон (род. 1943), другой лауреат Премии Тьюринга, автор операционной системы UNIX, в своей тьюринговой лекции убедительно показал, что нельзя доверять транслятору, «нельзя доверять программе, которую вы не написали полностью сами; сколько бы вы не исследовали и не верифицировали исходный текст — это не защитит вас от троянской программы».
Этот закон Томпсона справедлив для абсолютно любой системы искусственного интеллекта.
Эдсгер Дейкстра: «Слишком мало людей понимают, что высокие технологии, которые сегодня так прославляются, по сути являются технологией математической… Попытки использовать компьютеры для имитации человеческого разума всегда казались мне довольно глупыми. Я бы предпочёл использовать их, чтобы имитировать что-то лучше».
Критика тогда приносит реальную пользу, когда содержит в себе хотя бы зерно конструктива.
Ментально-онтологическое программирование (если кратко, ментальное программирование) есть ответ на вызов ИИ. Это по сути зеркалирование искусственного интеллекта, своего рода анти-ИИ.
Цель совершенно иная — не получение компьютерного помощника путём имитации поведения и мышления человека с последующей его заменой, а ментальное преобразование самого человека. Его мышления, его восприятия и поведения. Уже не человек должен улучшить компьютер, а найденные законы компьютерных наук должны улучшить человека. Человека грядущего...
Ментальное программирование есть научная составляющая, математизация ментального зодчества. Иными словами, того, что предшествует всем наукам и искусствам, включая и философию. Ментальное программирование следует понимать как обобщённое отображение принципов, правил и законов компьютерного программирования на сложный ментальный мир человека, а, значит, и на ментальный мир общества.
—
Руслан Богатырев — директор Европейского центра программирования им. Леонарда Эйлера, вед. эксперт Комитета национального наследия, главный редактор арт-журнала «Пантеон».