«Китайская комната»
Представьте, что вы переписываетесь с ранее незнакомым собеседником
Рассказываете о себе, задаете вопросы, сами отвечаете, делитесь впечатлениями
Непроизвольно у вас в голове возникает образ собеседника – его внешность, характер, манера поведения, устремления
Но, теперь представьте, что ваш реальный собеседник совсем не соответствует возникшему у вас в голове образу
Более того он совсем не знает русский язык и не понимает о чём вы беседуете
Сёрл описал это в виде комнаты, в которой некий человек получает послания и отвечает на них
Смысл посланий ему не знаком, ответы же он подбирает с помощью имеющейся у него книги с инструкциями
В этой книге для каждой возможной полученной фразы указано, каким должен быть ответ
Если быть более точным, Сёрл представил в виде такого человека-оператора себя, сидящего в специальной комнате, получающего через щель карточки с непонятными ему китайскими иероглифами и отвечающего на них по имеющейся инструкции
Описание соответствует техническим реалиям 1980 года, сейчас вполне можно заменить щель с карточками на клавиатуру и дисплей
Более того, практическая реализация задачи сопоставления вопросов и ответов для компьютера проще технически
У Сёрла в примере язык был китайским, поэтому и аргумент называется «Китайская комната»
Язык, конечно, здесь второстепенен
Основная идея заключается в том, что выполнение определенной функции (подбор ответов на вопросы) само по себе не рождает понимания и не свидетельствует о его наличии
Это близко к утверждению, что у программы не может быть разума, поскольку это просто алгоритм, вычисления
Но мысленный эксперимент «Китайская комната» глубже
У нас не возникает сомнения, что находящийся внутри китайской комнаты человек разумен и обладает сознанием
Однако его сознание возникает не в результате механической алгоритмической работы
Searle, J. R. (1980). Minds, brains, and programs. Behavioral and brain sciences, 3(3), 417-424.
Мысленные эксперименты дают лишь предположения, как могут развиваться события при определённых исходных условиях
Это отправная точка для рассуждений и дискуссий
И Китайская комната (Chinese Room) оказалась в этом плане очень продуктивной, она упоминается более чем в 12.000 научных публикаций
Нет смысла упоминать все аспекты и стороны рассмотрения
Это и разделение на синтаксис и семантику
И соотношение части и целого (Сёрл внутри комнаты является лишь частью системы, с которой взаимодействует сторонний наблюдатель)
Но, пожалуй, самый забавный аспект для рассмотрения предложил Д. Чалмерс
Он обратил внимание, на то, что в рецепте приготовления торта или кекса нет свойства рассыпчатости, но оно появляется в процессе приготовления
То есть некоторые свойства системы, не описанные синтаксическими правилами, могут проявляться в процессе её функционирования
Тест Тьюринга, конечно, заслуживает отдельного разговора
Если кратко, эксперт, переписываясь с двумя собеседниками, пытается определить, кто из них является живым человеком, а кто нейросетью
Регулярная ошибка эксперта в этой задаче традиционно рассматривалась как свидетельство возникновения сильного ИИ, то есть нейронной сети, обладающей разумом
Идея теста Тьюринга неявно опирается на представление, что за используемыми нами словами всегда стоит какое-то внутреннее понимание
Однако ход мыслей Сёрла предполагает, что на основе формального оперирования словами можно создать такую систему, речевое поведение которой не будет отличаться от осмысленного
Этот не очевидный вывод из Китайской комнаты сейчас фактически подтвердился с развитием современных чат-ботов
Генерируемый ими текст выглядит весьма осмысленно
Его машинное происхождение мы можем предположить скорее по косвенным признакам
Забавно, что если в XX веке таким признаком могли быть ошибки в построении фраз, то сейчас это скорее отсутствие ошибок
Если мы отрицаем наличие разума у современных нейронных сетей, это означает только одно
Тест Тьюринга не годится для обнаружения сильного ИИ, нам нужно придумать новые способы
В 2021 году вышла статья Эмили Бендер и соавторов, посвященная рискам при использовании больших языковых моделей (название класса нейронных сетей, используемого для создания чат-ботов)
В этой статье системы, которые хорошо генерируют выглядящий связанным текст, но не понимают его значения, были названы стохастическими попугаями
Неспособность таких систем к пониманию может приводить к ошибочным решениям людей или формированию у них ложных убеждений
Термин стохастический попугай мало чего добавляет к уже имеющимся
Но он стал крайне популярным из-за яркого образа и стечения ряда обстоятельств
Меньше чем за три года с момента выхода, исходная статья была процитирована почти в 3.000 научных публикаций!
Bender E.M. et al. (2021) On the dangers of stochastic parrots: Can language models be too big?
In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623)