Сознание у ИИ

Есть целое направление мысли, которое занимается исследованиями в области “потенциального самосознания, самоощущения, морали и правового положения ИИ-систем”. Сейчас расскажу, как я на это дело вышла.

Я участвую в одном исследовательском проекте, посвящённом изучению того, как в языковых моделях представлены разные абстрактные концепции. В частности, нас интересует, какие матрицы на что надо умножить, чтобы модель отказалась помогать пользователю наносить вред себе и окружающим.

Тут есть много нюансов: есть темы, которые безопасно обсуждать со взрослыми, но не с детьми; есть вещи, которые приносят или не приносят вред в зависимости от контекста использования — в общем, это большая такая область для исследований, и я потом, может, как-нибудь про неё расскажу.

Суть в том, что мы проводим много экспериментов с разными моделями, и нам нужны вычислительные мощности. У нас нет вычислительных мощностей. Есть разные организации, которые могут либо серверы свои предоставить бесплатно в каком-то объёме, либо дать немного денег на аренду серверов у кого-то ещё. Мы такие организации ищем и подаём заявки в надежде, что кто-нибудь заинтересуется нашим исследованием и будет согласен на благотворительность взамен на упоминание в статье или что-то типа того.

И поэтому нам попадаются разные гранты теперь, и в их числе попалось объявление Longview Philanthropy, которая даёт деньги на исследование самосознания ИИ и прочего, с чего мы тут начали.

Я, мягко говоря, была озадачена, прочитав про самосознание ИИ. Вы если читаете меня какое-то время, знаете, что я думаю по этому поводу: сознание у ИИ — фантастика, её стоит оставить Голливуду и сосредоточиться на реальных проблемах. Потому что неаккуратное использование ИИ и так уже может нанести вред, безо всякого сознания. В общем, тут я прям скептик. Но, может, я не права?

Всегда оставляю такую возможность, поэтому решила пойти и почитать работы, важные для описанного направления исследований. Одной из них я с вами сегодня поделюсь.

#ai #consciousness #ИИ #сознание

Статья, о которой пойдёт речь, — “Consciousness in Artificial Intelligence: Insights from the Science of Consciousness” (“Сознание у ИИ: инсайты из наук о сознании”). Авторы погружаются в литературу о сознании, чтобы определить его ключевые характеристики и приложить их к ИИ. Спойлер: сознания у современного ИИ они не обнаружили, но не видят препятствий к тому, чтобы в будущем какие-то ИИ-системы могли бы обладать выбранными ими характеристикам. И далее они делают важное примечание (видимо, после того, как их работу потаскали журналисты по-всякому): наличие этих характеристик не означает наличия сознания.

В этом надо разобраться, чем мы и займёмся сейчас.

Что есть сознание

Во-первых, никто пока толком не знает. Вопросами сознания (помимо философии) занимаются науки о мозге. Есть разные теории, но ни одна из них не подтверждена достаточным объёмом доказательств, чтобы стать главенствующей.

У сознания есть несколько определений. Начнём с того, что представлено в Википедии:

“это способность головного мозга воспринимать окружающую действительность. Представление субъекта о мире и о своём месте в нём, связанное со способностью дать отчёт о своём внутреннем психическом опыте и необходимое для разумной организации совместной деятельности”.

Там же упомянуто определение из Большой российской энциклопедии:

“совокупность феноменов субъективного опыта, включающих в себя элемент рефлексии, – то же, что самосознание”.

Мы здесь не будем рассматривать сознание как “бодрствование” или “вменяемость” — нас интересует более широкое определение.

Авторы используют термин “феноменальное сознание” (“phenomenal consciousness”). Оно включает в себя субъективное восприятие того, что такое “быть собой” или “переживать определённый опыт”.

Это не единственный способ говорить о сознании. Есть ещё “сознание-доступ” (“access consciousness”). Это более прикладной, что ли, способ рассуждать о сознании: сознание-доступ подразумевает способность сообщать о своих переживаниях и руководствоваться ими в действиях. То есть, что что мы видели в приведённых выше определениях из Википедии.

Глубже мы не пойдём, потому что там темно и некие жуткие рыбы плавают — просто так, без специальной подготовки там не выжить. Постараемся держаться ближе к поверхности и следовать за авторами: они рассматривают только феноменальное сознание.

Допущения

Работа строится на трёх ключевых допущениях:

• для появления сознания необходимо и достаточно определённых вычислительных функций, поэтому неорганическая система в теории способна обладать сознанием;
• функции, необходимые и достаточные для сознания могут быть сформулированы и описаны науками о мозге, и у их описаний есть надёжное обоснование;
• выявлять эти функции нужно не через поведение (потому что его можно сымитировать), а через анализ внутренних структур системы.

Кроме того, для простоты авторы рассматривают наличие сознания как бинарную характеристику: либо есть, либо нет.

Первое допущение (про вычислительные функции) — это подход, который называется “вычислительный функционализм” (computational functionalism). Насколько я понимаю, есть два течения: функционализм (functionalism) и вычислительная теория сознания (computational theory of mind).

Идея функционализма в том, что психическое состояние определяется своей функциональной ролью. Функциональная роль — это отношения между входами, выходами и другими состояниями. Вычислительная теория сознания говорит, что мозг — вычислительная система, сознание — результат вычислений.

Разница в том, что функционалисты просто говорят: вот есть входы и выходы, вот есть связи между ними, эти связи определяют функцию. Из чего сделаны связи: из нейронов, кремния и даже отдельных субъектов — неважно. Их можно описать в терминах вычислений, но можно и другими способами.

Функционализм исследует, почему психическое состояние такое, какое есть. Вычислительная теория исследует механизм познания. Там много пересечений, которые сходу не распутать, но это разные теории, и можно быть приверженцем одной из них и отвергать другую.

Вычислительный функционализм принимает наличие связей и считает их природу вычислительной.

Проблема в том, что даже сторонники обеих теорий внутри друг с другом спорят и трактуют одни и те же термины по-разному. Пытаясь разобраться, я прочитала несколько публикаций как с критикой вычислительного функционализма, так и в защиту его: везде речь идёт о разных вещах, которые называют одним термином. У нас здесь нет иного выбора кроме как принять определение авторов разбираемой статьи и далее использовать его.

Так или иначе, теория вычислительного функционализма философская, а не нейробиологическая, что стоит держать в голове. Это значит, что все характеристики и индикаторы сознания, из неё выведенные, наследуют её спорность.

Как это применимо к ИИ

Как мы выше заметили, авторы не обнаружили сознания ни у одной из существующих систем на основе ИИ. Тем не менее, они считают, что стоит относиться к возможности возникновения у ИИ сознания серьёзно, потому что иначе мы можем пропустить такой момент и ненароком вызвать страдание у наделённых сознанием субъектов, а хорошо ли это.

С другой стороны, они напоминают о склонности людей к очеловечиванию всего и вся и указывают, что переоценка сознательности ИИ тоже приведёт к неприятным последствиям, таким как, например, обращение к ИИ за социализацией и моральной поддержкой.

Наконец, авторы рассматривают аргумент о том, что обладающий сознанием ИИ может поставить человечество на грань исчезновения. Они замечают — и здесь я с ними не могу не согласиться, — что обладающий сознанием ИИ совершенно не требуется, чтобы поставить человечество на грань исчезновения.

Они советуют продолжать исследования сознания вообще и применительно к ИИ в частности.

Ограничения

Теперь я изложу свои мысли. Вкратце, статья меня в моём сомнении не переубедила. Может, я просто не смогла отключить в достаточной степени свой скепсис и посмотреть на неё беспристрастно — вы скажите мне.

Но, во-первых, повторим сказанное в самом начале: ни у кого нет чёткого определения сознания. Более того, никто не знает, где проходит граница между “сознание есть” и “сознания нет”, и имеет ли в принципе смысл проводить такую границу. Это очень сложный вопрос, который изучается на стыке нейробиологии, когнитивистики и философии.

Это всё не значит, что вопрос “Где начинается сознание” принципиально неразрешим. Но авторы опираются на спорную теорию вычислительного функционализма, и их выводы верны только если теория вычислительного функционализма верна, а это надо доказать.

Например, есть теория интегрированной информации, которая стоит на более строгих основаниях. Я позволю себе здесь просто подвесить это заявление, чтобы потом написать более подробный текст о ней. Основная причина, по которой я именно на ней заостряю ваше внимание, в том, что она хорошо математически формализована. Мы здесь любим, когда что-то хорошо математически формализовано.

Во-вторых, даже рамку вычислительного функционализма авторы не могут выдержать, потому что и среди сторонников этой идеи нет единого мнения о том, чего они, собственно, сторонники. Многие критики указывают на слабую структурированность теории — укажем на неё и мы.

Авторы честно признают ограничения своего подхода и не пытаются подтягивать факты под свои предположения. Они выполнили свою работу настолько добросовестно, насколько возможно, за что им респект.

Но, на мой взгляд, применимость такой работы с учётом всего вышесказанного околонулевая, если не нулевая вообще. Да, мы получили набор индикаторов, которые могут указывать на появление сознания, а могут и не указывать. При условии, что базовые допущения верны, а они могут быть и не верны. И что нам теперь со всем этим делать?