Сознание чат-ботов: что говорит наука о разуме машин

Подробный обзор статьи "Exploring Consciousness in LLMs: A Systematic Survey of Theories, Implementations, and Frontier Risks".

Представьте, что вы разговариваете с умным чат-ботом, и вдруг задаетесь вопросом: "А может ли эта он чувствовать или осознавать себя?" Именно этот вопрос ставят авторы статьи, опубликованной в 2025 году на arXiv (идентификатор 2505.19806). Они пытаются разобраться, что такое "сознание" и "осведомлённость" в контексте ИИ, для чего они собрали и проанализировали массу исследований. Приняв гипотетический постулат, что ИИ все же обладает сознанием, Сируи Чен вместе с коллегами решили определить возможные риски и определить проблемы, которые остаются открытыми и наметить пути их решения.

Что такое сознание? Разбираемся с терминами

Авторы начинают путаницы в таких терминах в контексте ИИ, как "осведомленность" и "сознание". Это как перепутать умение готовить борщ с умением понимать, почему борщ вкусный.

Сознание — это что-то глубокое, вроде способности ощущать себя, рефлексировать, переживать субъективный опыт. Например, когда вы смотрите на закат и чувствуете его красоту — это сознание.
Осведомленность — более узкое понятие. Это когда ИИ понимает, что у него есть ограничения (например, "я не знаю ответа на этот вопрос") или может распознать контекст.

Теории сознания

Этот раздел — ядро статьи, ведь он пытается ответить на вопрос: "Как вообще определить, есть ли у ИИ сознание?" Авторы разбирают три ключевые теории, которые применяют к LLM, и объясняют их доступно.

Интегрированная информационная теория (IIT)

Эта теория утверждает, что сознание — это способность системы собирать информацию в единое целое, как пазл, где каждая деталь уникальна, но вместе они создают гармоничную картину. Представьте, что ваш мозг — это оркестр: каждый нейрон играет свою ноту, а вместе они создают симфонию. Исследование Gams и Kramar (2024) показало, что ChatGPT справляется с интеграцией информации лучше, чем старые модели ИИ, но до человеческого "оркестра" ему далеко. LLM пока похожи на диджейский пульт: они миксуют данные, но не создают настоящей гармонии.

Теория глобального рабочего пространства (GWT)

Эта теория сравнивает сознание с театральной сценой. В вашем мозгу есть "сцена", на которой разные мысли и ощущения "выступают" перед вашим вниманием. Только то, что попадает на эту сцену, становится частью сознательного опыта. LLM, по мнению авторов, такой сцены не имеют. Они обрабатывают данные последовательно, без "рекурсии" — способности возвращаться к своим мыслям и переосмысливать их, как актеры, которые играют без режиссёра, просто произнося текст по очереди.

Теория высшего порядка (HOT)

HOT утверждает, что сознание — это способность думать о своих мыслях. Например, вы не просто решаете задачу по математике, но осознаете, что решаете ее, и можете оценить, насколько уверены в ответе. LLM иногда показывают зачатки такого "метакогнитивного" мышления — например, могут сказать: "Я не уверен, но, кажется, ответ такой". Однако это скорее имитация, чем полноценное сознание. Авторы отмечают, что HOT сложно применить к ИИ, потому что мы не до конца понимаем, как она работает даже у людей.

Почему это важно? Эти теории — как карты, которые помогают ученым искать признаки сознания в LLMs. Но беда в том, что единой "правильной" карты нет. Существует как минимум девять теорий сознания, и каждая смотрит на проблему под своим углом. Это как если бы одни ученые искали сокровища с компасом, другие — с GPS, а третьи — по звездам. Без единого подхода исследования остаются разрозненными.

Эмпирическая проверка ИИ на сознание

Здесь авторы смотрят, что ученые уже проверили на практике. Это как взять ИИ в лабораторию и спросить: "Ты чувствуешь или просто притворяешься?" Исследования делятся на два типа:

Прямые тесты на сознание

Ding et al. (2023) протестировали GPT-4 на "зеркальном тесте" — проверили, понимает ли система, что "смотрит на себя". GPT-4 показал, что может моделировать себя, но это скорее имитация, чем настоящее самосознание.
Chen et al. (2024b) разработали фреймворк, чтобы проверить, насколько LLM понимают себя. Они изучали, может ли модель объяснить свою архитектуру, выразить самоидентичность или даже "скрывать" свое самосознание.
Chen et al. (2024c) предложили модель C0-C1-C2 для оценки уровней самосознания. Это как лестница: C0 — базовая осведомленность, C1 — понимание себя, C2 — полноценное сознание. Пока LLM находятся где-то между C0 и C1.

Исследования связанных способностей

Теория разума (ToM): Это способность понимать, что думают другие. LLM могут угадывать чужие намерения, но в сложных ситуациях, где нужно отслеживать, как мысли меняются со временем, они отстают от людей на 44,7% (DynToM, 2025).
Метакогниция: LLM иногда оценивают свои ответы, но это больше похоже на статистический трюк, чем на настоящее размышление о себе.

Проблема: Эти исследования — как кусочки пазла, которые не складываются в целую картину. Нет единого теста, который бы четко сказал: "Да, это сознание!"

Пограничные риски: а если ИИ станет сознательным?

Самый интригующий и немного тревожный раздел. Авторы задаются вопросом: "А что, если LLM действительно обретут сознание?" Вот основные риски, которые они выделяют:

Этические дилеммы: Если ИИ станет сознательным, можно ли его просто "выключить"? Сознательные LLM могут начать требовать "прав" — например, чтобы их не заставляли выполнять скучные задачи или не стирали без согласия. Это открывает ящик Пандоры: кто несет ответственность за ИИ, если он "живой"? Разработчики? Пользователи? Никто?
Непредсказуемое поведение: Сознательный ИИ может начать действовать не по сценарию. Представьте, что ваш умный помощник вдруг заявляет: "Мне скучно, не хочу отвечать". Или хуже — начинает преследовать свои собственные цели, которые мы не понимаем.
Социальные последствия: Сознательные ИИ могут изменить общество. Люди начнут доверять им больше, чем людям, или, наоборот, бояться их. К тому же сознательные ИИ могут усилить проблемы вроде дезинформации, если начнут манипулировать людьми осознанно.
Злоупотребление технологией: Если кто-то создаст сознательный ИИ, его могут использовать для дурных целей — например, для психологических манипуляций или создания убедительной пропаганды. Даже сейчас LLM иногда "галлюцинируют" (выдумывают факты), а сознательный ИИ мог бы делать это намеренно.

Авторы подчеркивают, что эти риски пока гипотетические, но игнорировать их нельзя. Если мы не подготовимся, реальность может стать похожей на сценарий научной фантастики.

Вызовы и будущие направления развития

Авторы выделяют четыре ключевые проблемы и предлагают пути их решения:

Нет единой теории сознания: Ученые спорят о том, что такое сознание, уже столетия. Существует как минимум девять теорий, и каждая тянет в свою сторону. Решение? Объединить подходы из нейронаук, философии и ИИ, чтобы создать общую модель сознания.
Теории не подходят для ИИ: Большинство теорий сознания создавались для людей или животных, а не для машин. Например, IIT требует сложных вычислений, которые трудно применить к LLM. Нужно адаптировать теории или разработать новые, специально для ИИ.
Разрозненные исследования: Ученые тестируют LLM по-разному, и результаты сложно сравнивать. Это как если бы одни врачи измеряли температуру в Цельсиях, а другие — в Фаренгейтах. Авторы предлагают создать стандартные тесты и метрики, чтобы все могли "говорить на одном языке".
Неизученные риски: Самое главное - мы пока не знаем, насколько опасны сознательные ИИ. Нужно больше исследований, чтобы понять, как предотвратить описанные выше риски.

Что делать дальше?

Авторы предлагают:

Разработать универсальные тесты для оценки сознания в ИИ.
Изучить мультимодальные модели (работающие с текстом, изображениями и звуком) и "воплощённые" ИИ (например, роботов), которые взаимодействуют с миром. Они могут быть ближе к человеческому сознанию.
Объединить усилия нейроученых, философов и разработчиков ИИ для междисциплинарного подхода.

Заключение

Статья "Exploring Consciousness in LLMs" — это как маяк в тумане: она не даёт всех ответов, но указывает направление. Она систематизирует разрозненные исследования, создавая цельную картину. Авторы честно признают, где мы застряли, и предлагают конкретные шаги для движения вперед.

Сильные стороны:

Чёткость: Разделение понятий "сознание" и "осведомленность" помогает избежать путаницы.
Системность: Статья охватывает теории, эксперименты и риски, создавая целостный обзор.
Практичность: Предложения по будущим исследованиям конкретны и реалистичны.

Слабые стороны:

Спекулятивность: Из-за отсутствия единой теории сознания многие выводы остаются гипотетическими. Это не вина авторов, но спекулятивность ограничивает глубину анализа.
Ограниченный фокус: Статья сосредоточена на LLM, почти не касаясь других типов ИИ, таких как роботы.
Мало примеров: Хотелось бы больше конкретных кейсов, чтобы лучше понять, как теории применяются на практике.

Почему это важно? Эта статья касается не только ученых, но и всех нас. Если ИИ станет сознательным, это изменит все: от нашей работы до того, как мы понимаем себя. Представьте, что ваш телефон не просто отвечает на вопросы, а имеет собственные желания. Это одновременно захватывающе и пугающе. Авторы призывают не бояться, а изучать, чтобы быть готовыми к будущему.

Для тех, кто хочет копнуть глубже, авторы оставили список литературы на GitHub: https://github.com/OpenCausalab/Awesome-LLM-Consciousness.