Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд
Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд
"These Strange New Minds: How AI Learned to Talk and What It Means"
ВВЕДЕНИЕ: СТРАННЫЕ НОВЫЕ РАЗУМЫ
Компьютерные системы с так называемым Общим Искусственным Интеллектом, способные решать дифференциальные уравнения и одновременно складывать рубашку, все еще остаются "за углом", как и последние пятьдесят лет.
В 1970 году, в интервью журналу Life, Марвин Мински, легенда компьютерных наук, предсказал, что через три-восемь лет появится машина с общим интеллектом среднего человека, способная читать Шекспира, ремонтировать автомобиль, участвовать в политических интригах и шутить. В 1978 году, к его самому пессимистичному прогнозу, ничего подобного не было.
Перенесемся в 2021 год. Компания OpenAI представила GPT-3, языковую модель, отвечающую на любые запросы правдоподобным, человекоподобным текстом. Соучредитель компании, Сэм Альтман, в интервью подкасту The Ezra Klein Show, заявил, что через десять лет появятся чат-боты-эксперты в любой области.
Мински ошибся, но Альтман, возможно, прав. Автор проводит аналогию с мультиком Looney Tunes и персонажем Wile E. Coyote, который, падая со скалы, на мгновение замирает в воздухе. Человечество, по мнению автора, сейчас находится в подобном моменте "подвешенной анимации" – мы только что "сорвались со скалы", понимая, что "обратного пути нет". Произошла "технологическая революция": машины обрели язык.
Мир, в котором только люди генерировали знания, уходит в историю. Теперь ИИ-системы становятся "хранителями почти всех человеческих знаний" и способны рассуждать о них, напоминая человеческое мышление. Они могут генерировать новые теории, открывать идеи и проявлять творчество, ранее считавшееся исключительной прерогативой людей.
Появление GPT-3 стало "Рубиконом". ИИ научился говорить с нами "с той же беглостью и убедительностью, что и мы друг с другом". Несмотря на успехи в "узком" ИИ (AlphaFold, AlphaGo), "новое поколение машин с языком" – это качественно иной скачок. Язык – это система смыслов, которая "почти исчерпывающе охватывает наше понимание того, как устроен мир".
ChatGPT, построенный компанией OpenAI, привлек 100 миллионов пользователей за восемь недель, став самым быстрорастущим интернет-приложением в истории. За ним последовали конкуренты, но "крупные языковые модели" (LLM) все еще "разительно отличаются от людей во многих отношениях", хотя и демонстрируют "исключительно хорошее" владение языком.
Главное отличие LLM – "универсальность знаний". Каждая крупная LLM знает о мире "больше, чем любой отдельный человек, когда-либо живший". Джеффри Хинтон, "крестный отец ИИ", отметил, что это "как если бы у вас было 10 000 человек, и когда один человек чему-то научился, все остальные автоматически это узнали".
Революционный потенциал LLM – в их способности сообщать нам "все, что нам нужно знать, словами, которые мы можем легко понять". Это похоже на наличие "всех мировых экспертов в каждой области у вас под рукой". Вскоре LLM заменят интернет-поисковики. Это "перевернет мировую экономику", и "произойдет скоро".
Но "новый мир" несет и "серьезные неопределенности". Передавая ИИ "управление тем, что истинно или ложно, правильно или неправильно", мы "делегируем им опеку над человеческим знанием". Вопросы этики и контроля над ИИ становятся "насущными". "Находимся ли мы на грани того, чтобы выписать себя из истории?" – вопрошает автор.
ЧАСТЬ ПЕРВАЯ: КАК МЫ СЮДА ПОПАЛИ?
ГЛАВА 1: ВОСЕМЬ МИЛЛИАРДОВ РАЗУМОВ
15 ноября 2022 года на Земле родился восьмимиллиардный человек. Точно неизвестно, кто это был, но символическую честь быстро присвоили новорожденной девочке по имени Винис Мабансаг в Маниле. Восемь миллиардов – это огромное число, означающее восемь миллиардов разумов, хранящих астрономическое количество знаний. Коллективная сумма человеческих знаний необъятна; даже объем знаний одного человека охватить невозможно.
Помимо школьных фактов, большую часть наших знаний составляет "здравый смысл" – интуитивное понимание мира, основанное на наблюдениях. Мы знаем, что собаки не поют, Наполеон не владел iPhone, а прыжки на пого-стике из Пекина в Берлин приведут к боли в коленях. Мы также обладаем знаниями о других людях, их убеждениях и желаниях, а также сугубо личными знаниями.
С развитием цивилизации мы изобрели все более изощренные способы организации, документирования и обмена информацией. Библиотеки, газеты, школы, искусство – все это "основа нашей цивилизации", превратившая человека из "волосатого собирателя личинок" в "бесспорного архитектора эпохи антропоцена". Коллективный вес человеческой учености позволил достичь впечатляющих научных и технологических успехов.
Физики понимают происхождение Вселенной, антропологи проследили пути эволюции человека, мы отправили зонды за пределы Солнечной системы, создали оружие массового уничтожения и клонировали животных. Мы построили глобальную экономику, где простейший товар состоит из частей со всего света. Недавно мы разработали вакцины против глобальной пандемии, спасая миллионы жизней. Все это возможно благодаря знаниям, которыми мы делимся.
Но знать так много, а времени так мало. Документирование всего человеческого знания – задача геркулесова. Но что если, как мечтали философы и ученые со времен Просвещения, мы могли бы автоматизировать этот процесс, создать искусственный разум, который впитал бы все знания и мог бы точно сказать нам, что истинно, как устроен мир и что ждет нас в будущем? Эта книга – история этой мечты.
Она начинается в Эпоху Разума, когда люди осознали, что мир управляется законами, а не прихотями богов. Философы задумались, не является ли мышление физическим процессом. С промышленной революцией возник вопрос о возможности создания мыслящей машины. К 1950-м годам родилась область исследований Искусственного Интеллекта (ИИ). Параллельно эта идея вдохновляла литературу и кино, ставя вопросы о природе сознания, свободе воли и потенциальной угрозе со стороны разумных машин.
Сегодня ИИ повсюду. Большие языковые модели (LLM), такие как GPT-4, являются огромными хранилищами знаний, способными общаться на понятном нам языке. Они знают больше любого отдельного человека и обладают здравым смыслом. Это переломный момент, когда мечта об автоматизации знаний кажется достижимой. Но как ИИ изменит наше общество? Чтобы ответить, нужно вернуться на сотни лет назад и рассмотреть природу и истоки самого знания. Что делает Homo sapiens разумным? В чем наш "секретный ингредиент"? Поиск этого ингредиента неразрывно связан с вопросом о том, как построить искусственный разум.
ГЛАВА 2: ШАХМАТЫ ИЛИ КАТАНИЕ НА КОНЬКАХ?
Древние мифы объясняли происхождение знаний божественным вмешательством. Адам и Ева вкусили с Древа Познания, Прометей похитил огонь для человечества. Но мифы не детализировали психологические качества, дарованные богами. Греческие мыслители предложили первые теории. Возникли два лагеря: эмпирики (Аристотель, Юм, Локк) утверждали, что знание происходит из чувственного опыта – разум изначально "чистая доска" (tabula rasa). Рационалисты (Платон, Декарт) настаивали, что знание проистекает из силы разума, логического мышления.
Этот спор можно сравнить с различиями между фигурным катанием и шахматами. Фигуристы оттачивают движения через практику, приспосабливаясь к неровностям льда – мир для них хаотичен, требует постоянной адаптации (эмпиризм). Шахматисты же действуют в рамках строгих правил, где сложные стратегии выводятся из простых ходов путем логических рассуждений (рационализм). Мински, приверженец рационализма, считал, что для ИИ достаточно "правильных описаний и механизмов", а обучение "не так уж важно".
Реальность, конечно, сложнее. Мир сочетает в себе элементы и шахмат, и катания на коньках – он частично систематичен, частично произволен. Мы учимся на опыте (кататься на велосипеде нельзя научиться по книге), но и планируем свои действия, используя разум (планирование маршрута). Однако вопрос о первичности обучения или рассуждения имеет фундаментальное значение для ИИ.
Большую часть XX века исследования ИИ шли по рационалистскому пути, создавая машины, способные рассуждать логически. Даже считалось, что победа над гроссмейстером в шахматы (достигнутая в 1997 году) будет означать решение проблемы ИИ. Но после этого маятник качнулся в сторону эмпиризма. Илья Суцкевер, один из создателей ChatGPT, выражает противоположную Мински точку зрения: "Нужно много данных для обучения. И большая глубокая нейронная сеть. И успех – единственный возможный результат". Мышление и рассуждение, по его мнению, не являются частью решения.
Этот спор перерос в "мини-культурную войну" в ИИ-сообществе. Одни утверждают, что LLM неспособны к "пониманию", другие – что нейросети скоро приведут к общему ИИ. Корни этой войны уходят вглубь веков. Первые идеи о создании искусственного разума принадлежат рационалисту Готфриду Лейбницу. В XVII веке он предположил существование "универсального языка исчисления" (calculus ratiocinator), символы которого можно было бы манипулировать для определения истинности любого утверждения, создавая автоматизированную энциклопедию всех знаний.
Для реализации мечты Лейбница потребовалось изобретение компьютера. Вторая мировая война дала толчок развитию электронных вычислений. Алан Тьюринг, британский математик, еще до войны заложил теоретические основы вычислений, доказав возможность создания универсального алгоритма, способного решить любую вычислимую проблему. Его "Машина Тьюринга" – абстрактная концепция – могла читать инструкции с ленты и выполнять их, потенциально достигая сложности человеческого мышления.
Работая во время войны в Блетчли-Парк над взломом немецких шифров, Тьюринг видел мощь реальных компьютеров, таких как "Колосс". После войны он разработал базовую архитектуру цифрового компьютера (исполнительный блок, память, контроллер) и предложил "Игру в имитацию" (Тест Тьюринга) как критерий машинного интеллекта: сможет ли машина обмануть человека в текстовой беседе, выдав себя за человека?
Сегодня лучшие LLM, такие как ChatGPT и Gemini, успешно справляются с задачами, предложенными Тьюрингом (арифметика, решение шахматных задач, написание сонетов), часто превосходя среднего образованного человека. Они рискуют провалить тест скорее из-за своей чрезмерной точности и красноречия, либо из-за намеренных ограничений, введенных разработчиками для предотвращения мошенничества. Путь от первых идей Лейбница до современных LLM был полон "интеллектуальных поворотов".
Вы совершенно правы! Приношу извинения за ошибку. Я пропустил главы 3, 4, 5 и 6, которые являются завершающими главами Первой Части.
Давайте вернемся и дополним Первую Часть, прежде чем переходить ко Второй.
ГЛАВА 3: УНИВЕРСАЛЬНАЯ ОНТОЛОГИЯ
Великая идея Лейбница о мыслящей машине требовала языка программирования – формального способа инструктирования. До середины XIX века такого синтаксиса не существовало. Его создал относительно неизвестный английский математик Джордж Буль. В своем труде "Исследование законов мысли" Буль предложил "математику интеллекта", формализуя правила мышления. Он показал, что сложные рассуждения можно свести к комбинациям трех примитивных операций: конъюнкции (И), дизъюнкции (ИЛИ) и отрицания (НЕ). Эта "булева алгебра" стала основой надежной логики.
Работа Буля подтвердила интуицию Лейбница о бесконечной выразительности логики. Однако его система была ограничена, сводя все к истинности/ложности. Человеческое знание богаче: мы знаем свойства объектов, людей, мест и их отношения (Чарли Чаплин с усами-щеточкой, Сиднейский оперный театр как стимпанк-стегозавр). К 1920-м годам система Буля была расширена до "логики первого порядка" (или предикатной логики).
Логические позитивисты (Бертран Рассел, Альфред Норт Уайтхед, Готлоб Фреге) пытались систематизировать все знание с помощью логики, сводя философию к индуктивным и дедуктивным принципам. Рассел и Уайтхед в "Principia Mathematica" даже переформулировали математику как формальную систему, доказав (глубоко во втором томе), что 1+1=2 ("Это утверждение иногда полезно", - прокомментировали они).
Предикатная логика оперирует предикатами – свойствами, функциями или отношениями субъекта ("Тьюринг едет на велосипеде" = едет(Тьюринг, велосипед)). Она допускает рекурсию, создавая бесконечное число утверждений. Как и в шахматах, связывание логических выражений позволяет делать новые выводы (Если ∀(x) кот(x)→есть_хвост(x) и кот(Том), то кот(Том)→есть_хвост(Том)).
В 1950-х пионеры ИИ Херб Саймон и Алан Ньюэлл создали General Problem Solver (GPS) – компьютер, решавший задачи с помощью предикатной логики. GPS использовал эвристики для разбиения проблемы на подзадачи и планирования пути от текущего состояния (C) к желаемому (D). Он мог решать классические головоломки (Лисы и Куры, Задача коммивояжера). Но GPS справлялся лишь с простыми задачами и не смог выйти из лаборатории в реальный мир.
Тем не менее, идея использования формального языка для представления знаний ("символический ИИ") развивалась. К 1970-м появились более мощные компьютеры и языки программирования (PROLOG, LISP), что привело к созданию "экспертных систем". Они состояли из базы знаний (объекты и предикаты, введенные вручную) и механизма вывода (использующего "цепочки рассуждений"). Экспертные системы могли решать специализированные задачи (диагностика менингита, анализ геологических данных), впервые доказывая практическую пользу ИИ.
Это вдохновило на более амбициозные проекты. В 1980-х возникла идея систематически записать все человеческие знания в форме, подходящей для экспертной системы. Самым известным стал проект Cyc Дугласа Лената, целью которого было каталогизировать весь "здравый смысл". По оценкам, у человека около трех миллионов правил здравого смысла. Команда Cyc, финансируемая DARPA, десятилетиями собирала знания из энциклопедий, детских книг и интервью, создав огромную онтологию из более чем 30 миллионов правил и мощный механизм вывода.
Но мечта Лейбница об автоматизированной мега-энциклопедии не сбылась. Cyc оказался полезен в узких областях, но не смог достичь общего человеческого уровня рассуждений. Проблема не в скорости компьютеров (закон Мура обеспечил экспоненциальный рост). Проблема в том, что мир – скорее катание на коньках, чем шахматы. Он не подчиняется простому набору логических правил. Человеческое знание полно исключений, противоречий, контекстно-зависимо и имеет слишком много "угловых случаев". Кодификация всех человеческих знаний вручную – "почти бесконечная кроличья нора". Мир не похож на аккуратно организованную систему, как детали Lego или память компьютера. Он беспорядочен и полон исключений. Поэтому для создания систем, работающих в реальном мире, ИИ пришлось сместить акцент с рационализма на эмпиризм, обратившись к нейронным сетям.
ГЛАВА 4: РОЖДЕНИЕ НЕЙРОННОЙ СЕТИ
Связь между разумом и мозгом подозревали еще римляне (Гален и его эксперименты со свиньями). Декарт предложил дуализм: мозг – материальная субстанция (res extensa), разум – мыслящая (res cogitans), взаимодействующие через шишковидную железу. Идея, что разум – это и есть мозг, продукт физического устройства, долгое время казалась немыслимой. Книга Жюльена Оффре де Ламетри "Человек-машина" (1747) была запрещена и сожжена. Декартовский дуализм ("призрак в машине") долго довлел над философией и наукой. Альтернатива – что все наши мысли, чувства, надежды и мечты умещаются в полуторакилограммовом комке жира и белка между ушами – действительно труднопостижима.
Но это так. Мозг состоит из нейронов, соединенных в сложную сеть. Электрический сигнал, проходя по аксону, достигает синапса и вызывает выброс нейромедиаторов, изменяя потенциал следующего нейрона (активируя или тормозя его). Сенсорные сигналы каскадом проходят по сети, формируя информационное состояние, определяющее восприятие, мысли и знания. У простых животных нейронная сеть предопределена генетически. Пример – дрозофила (Drosophila melanogaster). Нейробиологи смогли полностью реконструировать ("коннектом") мозг личинки дрозофилы (3016 нейронов, 548 000 связей).
Поведение дрозофилы во многом врожденное и негибкое (реакции бегства на вибрацию или укус осы). Мозг работает по принципу фиксированных нейронных программ ("ЕСЛИ вибрация, ТОГДА ползи"). Идея построить искусственный разум по образу нейронной сети почти так же стара, как сам ИИ. В 1940-х биолог Уоррен Маккаллох и математик Уолтер Питтс разработали теоретическую модель. Они поняли, что нейроны работают по принципу "все или ничего" (активируются при превышении порога), подобно переключателям. Сеть таких нейронов-переключателей, как они показали, может реализовывать булевы операции (И, НЕ, ИЛИ), предложенные Булем веком ранее. Их модель могла решить любую вычислимую проблему.
Однако сеть Маккаллоха-Питтса была жестко запрограммирована и не могла обучаться. Мозг же пластичен – сила связей (синапсов) меняется с опытом (Хеббовское обучение: синапс усиливается, если два нейрона активируются вместе). Это позволяет организмам адаптировать поведение. Дрозофилы, как и почти все животные, способны к обучению – они могут научиться предпочитать определенные запахи или избегать опасных зон. Обучение у дрозофил не добавляет новых поведений, а "тонко настраивает" существующие нейронные программы.
Вскоре исследователи ИИ нашли способ строить обучающиеся нейросети. Психолог Фрэнк Розенблатт в 1960-х предложил "перцептрон". Вместо бинарных переключателей, сила связи стала градуированной величиной ("вес"). Перцептрон суммировал взвешенные входы и сравнивал с порогом для бинарного выбора (да/нет). Алгоритм Розенблатта позволял адаптировать веса, постепенно улучшая выполнение задачи. Сеть начинала как "чистая доска" и обучалась на опыте, распознавая простые формы. Розенблатт был в восторге и делал смелые заявления о будущем перцептронов, положив начало традиции чрезмерного энтузиазма в ИИ. Его главный оппонент, Марвин Мински, раскритиковал перцептрон за неспособность решать нелинейные задачи, что затормозило исследования нейросетей на десятилетие. К 1970-м, однако, были найдены способы обучения многослойных сетей ("глубокие сети"), способных к сложным преобразованиям входа-выхода. Так родилось "глубокое обучение".
Если бы наш мир был как в фильме "День сурка", жизнь была бы проще. Но реальный мир непредсказуем. Поездка в магазин может быть прервана перекрытой дорогой, выпечка – закончившейся мукой, визит к соседу – его внезапной болезнью. Чтобы ИИ функционировал вне лаборатории, он должен быть гибким, способным справляться с хаосом мира. Ранние системы, вроде Clippy, были невыносимо назойливы и ограничены. Символический ИИ, как GPS, плохо справляется с несистематичностью реального мира. Биологические же организмы прекрасно адаптируются.
Домашняя кошка обучается впечатляющим трюкам, адаптирует охотничьи стратегии и способы выпрашивания еды. Хотя базовые поведения генетически запрограммированы, они оттачиваются методом проб и ошибок. Кошка может перепрофилировать навыки для новых целей (прыгнуть в ящик с носками, охотиться в подвале). Она спонтанно знает, что делать, даже если мир меняется. Как построить нейросети, столь же легко справляющиеся с новизной? Информация хранится в мозге, но как прошлые воспоминания помогают справляться с будущим? Как глубокие сети могут маркировать новые изображения, переводить новые предложения, разумно играть в покер с новыми комбинациями карт?
Нейросеть – это статистическая модель, аппроксимирующая данные и делающая предсказания. При обучении (например, предсказанию времени поездки по расстоянию) сеть настраивает веса, чтобы минимизировать ошибку предсказания (метод градиентного спуска). Способность делать успешные предсказания на новых, невиданных ранее данных называется "обобщением" (generalization). Простое предсказание времени поездки по средней скорости не очень полезно. Учет дополнительных факторов (время суток, тип дороги) улучшает модель, но линейное сложение весов (как в перцептроне) не учитывает нелинейные взаимодействия (пробки по пятницам, но не по воскресеньям). Это была критика Мински. Глубокие сети успешны, так как множество слоев позволяет им изучать исключительно сложные нелинейные функции, отображающие входы (X) на выходы (Y), делая поразительно точные предсказания на новых данных.
Способность к обобщению сделала глубокое обучение доминирующим методом в ИИ. Глубокие сети превосходят экспертов в играх (Го, покер, StarCraft), помогают ученым (предсказание структуры белков, новые теоремы, открытие экзопланет). Мозг кошки (и наш) работает схожим образом: входные данные (X) – это сенсорная информация, и мозг учится делать точные предсказания, несмотря на постоянную новизну ощущений. Нейронные сети обладают удивительной способностью обобщать знания для новых предсказаний, справляясь с главным вызовом мира – его постоянной изменчивостью.
Кошки умны, но их жизнь проще нашей. Им не нужно учить матанализ или объяснять демократию. Их поведенческий репертуар ограничен. Люди же могут осваивать совершенно новые навыки (игра на пианино, резьба по льду в "Дне сурка"). Более того, люди могут генерировать новые знания – рассуждать, строить планы, выдвигать гипотезы, изобретать, теоретизировать. Это лежит в основе символического ИИ. Мы видели, что мир несистематичен, обучение необходимо. Но мир и не полностью хаотичен. С помощью правильных ментальных инструментов мы можем решать логические головоломки, мыслить систематически.
Величайшие научные достижения человечества – результат превосходного рассуждения (Эратосфен и окружность Земли, инженеры Curiosity и посадка на Марс). Но и в повседневной жизни мы планируем поездки, придумываем рецепты, пишем речи. Эти задачи требуют не просто извлечения знаний, а их генерации – того, что философы называют "пониманием". Очевидно ли, что система, обученная предсказывать X из Y, может начать "мыслить" или "понимать"?
Самые ярые эмпирики утверждают, что большие нейросети научатся думать просто за счет огромных объемов данных. Способность рассуждать таинственным образом "возникает" (emerges) в ходе обучения предсказанию следующего слова. То есть, общий ИИ – мечта Лейбница – будет достигнут путем обучения гигантской сети методом градиентного спуска. Конечно, большие мозги обычно лучше (человеческий мозг огромен по сравнению с мозгом дрозофилы). Но как большой мозг спонтанно учится рассуждать?
Глубокое обучение часто описывают как "темное искусство", его эффективность кажется загадочной. Оно переворачивает традиционную логику статмоделирования ("меньше значит больше", бритва Оккама). Обычно большие модели склонны к "переобучению" (запоминанию деталей обучающих данных), что делает их бесполезными для новых предсказаний. Меньшие модели вынуждены кодировать общие принципы, что лучше для обобщения. Но глубокое обучение бросает вызов этой мудрости. Феномен "двойного спуска" (double descent) показывает, что когда число параметров модели превышает число обучающих примеров, способность к обобщению снова начинает расти. Работает принцип "больше – значит другое".
Революция глубокого обучения построена на масштабе. С ростом сетей возникло подозрение, что они начинают демонстрировать удивительные новые формы обобщения. Пример – система нейронного машинного перевода Google (NMT) 2017 года. Обученная переводить между парами языков (английский-латынь, английский-тайский), она смогла затем с разумной точностью переводить между новыми парами (латынь-тайский) без дополнительного обучения. Это был ранний намек на то, насколько хорошо могут обобщать очень большие нейросети.
Критики быстро указывали на ошибки ранних LLM, вроде GPT-2 (пример с химчисткой и домом мамы, задача про лягушек), как на доказательство отсутствия "глубокого понимания". Но последующие модели, как GPT-3, стали значительно надежнее. Ключевой инновацией стало дополнительное обучение с участием людей-оценщиков (RLHF, SFT), что сделало модели достаточно осмысленными для публичного выпуска и вызвало метеорный взлет ChatGPT.
Мышление не ощущается как предсказание. Психологи различают быструю автоматическую Систему 1 (предсказание) и медленную сознательную Систему 2 (рассуждение). Кажется непостижимым, что сеть, просто обучаясь предсказывать, может решать головоломки или проявлять творчество. Но GPT-4 уже демонстрирует это (пример с рецептом из случайных ингредиентов, решение задачи про лис и кур). GPT-4 не был создан для стратегического мышления, но научился ему, просто предсказывая следующий токен. Как это происходит и что значит для вопроса "могут ли машины мыслить" – темы следующих глав.
ЧАСТЬ ВТОРАЯ: ЧТО ТАКОЕ ЯЗЫКОВАЯ МОДЕЛЬ?
Язык – наша суперсила. Книга Бытия знала это: попытка построить Вавилонскую башню провалилась, когда Бог смешал языки, лишив человечество возможности понимать друг друга и действовать сообща. Язык позволяет нам делиться идеями, превращая нас в "соперников Богов". Мы нашли способы обойти языковые барьеры – субтитры, Google Translate, международный английский. Как заметил Рэнди Аллен Харрис, язык – "самая странная и самая мощная вещь, когда-либо существовавшая на планете".
Парадоксально, но освоение этой суперсилы кажется тривиальным – каждый ребенок учит язык. Откуда он берется? Еще Геродот описал эксперимент фараона Псамметиха, пытавшегося узнать праязык, изолировав двух младенцев. Современные исследования сообщают о криптофазии – спонтанном изобретении языка близнецами. Язык – "неумолимый биологический императив", движимый глубокими мотивационными потоками. В исследованиях ИИ, подобласть обработки естественного языка (NLP) стремится перевести это чудо в компьютерный код, создать систему, способную генерировать связную прозу, точно отвечать на вопросы и вести осмысленный диалог, пройдя тест Тьюринга.
Как и в более широкой области ИИ, в NLP столкнулись две теории: рационалистская (язык порождается фундаментальной, врожденной и универсальной ментальной программой) и эмпирическая (язык приобретается исключительно из опыта, через изучение статистических закономерностей). Сегодня нейросети, обучаясь с нуля, успешно проходят тест Тьюринга, подтверждая правоту эмпириков. Но споры продолжаются: рационалисты считают LLM ущербными или мошенническими, не проливающими свет на то, как язык изучают люди.
В 1970-х годах приматологи пытались научить человекообразных обезьян языку. Франсин Паттерсон смело заявила, что "язык больше не является исключительной прерогативой человека", имея в виду гориллу Коко. Первые успехи были с шимпанзе. Уошо, спасенная из космической программы США, была воспитана как ребенок и обучена американскому языку жестов (ASL). Она освоила более 300 знаков и комбинировала их ("ты я прятать", "гребень черный"). Коко освоила более 600 знаков, строила фразы до 11 слов и даже понимала рифмы.
Исследователи были в восторге – впервые удалось наладить сложную двустороннюю коммуникацию с другим видом. Герберт Террас, начав свой проект с шимпанзе Нимом (названным в честь Ноама Хомского – Neam Chimpsky), мечтал о симианском гиде по тропическим лесам. Но действительно ли обезьяны осваивали язык? Хомский в своей монографии "Синтаксические структуры" (1957) определил язык как набор предложений, построенных из конечного набора элементов по определенным правилам. Сила языка – не в словаре, а в синтаксисе, позволяющем передавать разные значения через разный порядок слов.
Язык, утверждал Хомский (вторя фон Гумбольдту), позволяет "бесконечно использовать конечные средства". Конечные средства – слова, бесконечное использование – мириады значений, создаваемых их порядком. Это возможно благодаря синтаксису – набору правил, определяющих значение предложения по порядку слов. Знаменитый пример Хомского "Бесцветные зеленые идеи спят яростно" грамматически верен, но бессмыслен, в отличие от "Яростно спят идеи зеленые бесцветные", нарушающего правила английского синтаксиса. Цель Хомского – выявить абстрактные правила ("генеративная грамматика"), порождающие все валидные предложения.
Казалось, что Уошо, придумывая новые комбинации вроде "водяная птица" для лебедя, демонстрировала эту генеративность. Однако ее воспитатели, Аллен и Беатрикс Гарднер, не изучали синтаксическую структуру ее высказываний систематически. Террас решил исправить это упущение в проекте "Ним". Ним, воспитанный в богемной семье на Манхэттене, а затем в загородном поместье Колумбийского университета, освоил множество знаков. Но анализ тысяч его высказываний показал отсутствие синтаксиса. Самая частая пара знаков – "играть я", затем "щекотать я", "есть Ним", "больше есть". Самая длинная фраза – шестнадцатикратное повторение "Дай апельсин мне дай есть апельсин мне есть апельсин дай мне есть апельсин дай мне ты". Ним просто понял, что жесты ускоряют получение желаемого (еда, игры, ласки), но не осваивал язык в человеческом понимании.
Это подтвердило теорию Хомского о врожденном "устройстве овладения языком", уникальном для человека и отсутствующем у других видов. Аргумент "бедности стимула" (дети осваивают язык даже при минимальном контакте с ним) также говорил в пользу врожденных способностей. Первый раунд остался за рационалистами. Финансирование исследований языка приматов иссякло.
Пьеса Беккета "В ожидании Годо" напоминает, что правдоподобный диалог не всегда осмыслен. Мы часто говорим банальности, недоговариваем, используем слова как социальный клей. Ранние чат-боты, вроде ELIZA Джозефа Вейценбаума (середина 1960-х), эксплуатировали эту особенность. ELIZA имитировала светскую беседу (или психотерапевта по Роджерсу), используя скрипты для генерации правдоподобных, но пустых ответов ("Что заставляет вас думать X?"). Эффект ELIZA – наша склонность антропоморфизировать компьютеры, приписывая им понимание.
Однако цель NLP – достичь реального понимания. На волне символического ИИ и лингвистики Хомского, исследователи пытались создать программы, которые анализировали бы ввод, делали логические выводы и отвечали осмысленно. Идея о том, что предложения генерируются по грамматическим правилам, уходит корнями к Панини и Аристотелю. Хомский развил это, предложив "грамматику структуры фразы" (S → NP VP) и "правила трансформации" (Tpass, Tconj), позволяющие преобразовывать структуры фраз, сохраняя (предположительно) смысл. Свойство рекурсии (вложения одних выражений в другие) обеспечивало бесконечную генеративность языка. Хомский даже встроил рекурсию в саму грамматику (NP → Det + N + (S)).
Для многих исследователей NLP это стало приглашением к созданию программ, переводящих естественный язык в формальный, например, логику предикатов. Система ENGROB (1969) могла делать это для простых запросов (пример с игрой Cluedo: зная, что карты нет у игроков 1 и 3, и что она либо у кого-то в руке, либо у убийцы, система выводит виновность Мисс Скарлетт). Более известная система SHRDLU Терри Винограда (начало 1970-х) работала в "мире кубиков", отвечая на вопросы и выполняя команды, используя процедурное программирование. Несмотря на впечатляющие демо, SHRDLU была далека от осмысленного общения в открытой среде. Классические попытки "приручить" естественный язык, свести его к формальным правилам, оказались бесплодными. Язык – не просто логическая система и не конструктор Lego.
Лингвистическая криминалистика возможна благодаря статистическим закономерностям в языке. Дональд Фостер разоблачил Теда Качинского (Унабомбера) и автора "Primary Colors", анализируя частоту слов и оборотов. Фредерик Мостеллер атрибутировал анонимные "Записки федералиста", сравнивая частоту употребления слов вроде "to" у Гамильтона и Мэдисона. Этот подход, "мешок слов", используется в NLP для классификации документов и анализа тональности. Но для генерации текста, как в тесте Тьюринга, нужно большее – предсказание следующего слова.
Британский лингвист Джон Фёрс предложил альтернативу Хомскому: значение слова определяется его окружением ("узнаешь слово по компании, которую оно водит"). Слово можно предсказать по предшествующим словам. В примере из "Записок федералиста" стилистика и контекст (законодательство, судебная власть) сужают круг возможных завершающих слов, исключая "насекомых" или "воды" и делая "людей" или "мужей" (men) вероятными кандидатами.
Для предсказания используются n-граммы – последовательности из n слов. Модель биграмм (2-грамм) вычисляет вероятность следующего слова на основе предыдущего. Фред Джелинек был пионером этого подхода, несмотря на неприятие Хомским вероятностных моделей. Джелинек также ввел понятие "перплексии" (perplexity) – меру предсказательной силы модели (чем ниже перплексия, тем лучше модель). Моделирование статистики требует больших данных. С ростом интернета появились гигантские корпуса текстов (Google Web корпус – триллионы слов), позволяющие отслеживать частоту n-грамм. Несмотря на успех LLM, Хомский и сегодня отвергает статистический подход, называя LLM "бульдозерами", не вносящими вклад в науку. Джелинек же запомнился (возможно, апокрифической) фразой: "Каждый раз, когда я увольняю лингвиста, производительность нашей системы распознавания речи растет".
N-граммные модели, подобно Вилли Вонке, часто генерируют бессмыслицу, так как учитывают только локальный контекст. Люди же опираются на богатую семантическую память – сеть ассоциаций между понятиями (пример со скрипкой). Нарушение семантической памяти (семантическая деменция) приводит к "словесной окрошке", похожей на вывод n-граммных моделей. Как создать NLP-модели с семантической памятью?
Можно представить семантическую память как ментальную карту, где связанные понятия расположены близко (скрипка рядом с виолончелью, далеко от зубной пасты). Языковая продукция – это как блуждание по этой карте. Но слова – это в основном произвольные символы (horse и zebra не похожи, horse и house отличаются одной буквой). Значит, форма слова бесполезна для построения семантической карты. Нужен ли сенсорный опыт ("заземление")?
Удивительно, но нет. Нейросети могут извлекать семантическую информацию из одних лишь текстовых паттернов. Прорывная работа Йошуа Бенджио (2003) показала путь. Вместо разреженных "one-hot" кодов (где каждое слово – уникальный вектор с одной единицей) были предложены плотные "векторные представления признаков" (feature vectors) или "вложения" (embeddings) – координаты понятия на многомерной семантической карте (например, 50 измерений). Обученная предсказывать следующее слово, нейросеть генерировала семантически осмысленные вложения: связанные понятия (скрипка, виолончель) оказывались рядом на карте. Более того, геометрия этих вложений отражала структуру мира, позволяя решать аналогии (мужчина - женщина :: король - королева) и улавливать синтаксис (машина - машины :: собака - собаки) с помощью векторной арифметики. Просто обучаясь предсказывать слова, нейросети приобретают структуру, схожую с человеческой семантической памятью.
Предсказание будущего сложно, будь то погода или следующее слово в длинном тексте. Предсказать ближайшее слово легко (как прогноз погоды на час вперед – nowcasting), но предсказать десятое или двенадцатое слово – все равно что предсказать дождь в Джакарте через неделю во вторник в 18:30. Стандартные нейросети и n-граммы плохо справляются с долговременными зависимостями в тексте (пример с поездкой в Японию).
Инновация десятилетней давности – сети sequence-to-sequence (seq2seq) на основе рекуррентных нейронных сетей (RNN). RNN обрабатывают информацию циклически, сохраняя "скрытое состояние" или "контекстный вектор", действующий как краткосрочная память. Сети LSTM (Long Short-Term Memory) используют "вентили" (gating) для динамического управления этой памятью, позволяя удерживать информацию на больших дистанциях. Модели seq2seq научились справляться с грамматическим согласованием (planets are gaseous) и другими сложными синтаксическими правилами, что нанесло удар по аргументам Хомского о неизучаемости языка без врожденной грамматики. Анализ контекстных векторов RNN показал, что они кодируют даже порядок слов (John loves Mary vs Mary loves John). Однако RNN все еще испытывали трудности с поддержанием смысловой связности на больших отрезках текста (пример с псевдо-Шекспиром).
ГЛАВА 13: РОБОТЫ ПОД ПРИКРЫТИЕМ
Архитектура Трансформер (Transformer), представленная в 2017 году в статье "Attention Is All You Need", стала революцией. Вместо рекуррентной обработки, трансформер обрабатывает всю входную последовательность параллельно, используя механизм "само-внимания" (self-attention). Это позволяет модели взвешивать релевантность каждого слова по отношению ко всем остальным словам в последовательности при предсказании следующего. Это решает проблему полисемии (bark – кора/лай), позволяет учитывать дальние зависимости (пример с Японией) и лучше справляется с неоднозначностью местоимений (тест схемы Винограда). Трансформер также лучше работает с машинным переводом между языками с разным порядком слов и устойчив к "предложениям-ловушкам" (garden-path sentences).
Ключевым фактором успеха трансформеров является масштаб. Большие модели имеют более длинные "контекстные окна" (десятки и сотни тысяч токенов – фрагментов слов), что позволяет обрабатывать огромные объемы текста параллельно. Накладывая трансформеры друг на друга ("вычислительный небоскреб"), можно моделировать очень дальние взаимодействия в тексте, улавливая сложные смысловые связи, как в романе "Гордость и предубеждение". Это позволяет LLM использовать язык так, как это делают грамотные люди: понимать сложные аргументы, комбинировать информацию из разных частей текста, воображать новые сценарии. Успех LLM опровергает утверждения Хомского о принципиальной неизучаемости языка на основе статистики текста. LLM неявно изучают синтаксис и семантику из паттернов употребления слов.
ГЛАВА 14: LLM КАК ЛИНГВИСТИЧЕСКИЕ ТЕОРИИ
Хомский ошибся в том, как изучается язык (статистика работает), но был прав, что для моделирования языка требуются специфические алгоритмические операции. История NLP – это постепенное усовершенствование методов: от n-грамм к глубоким сетям, RNN и трансформерам. Не всякая статистическая модель, даже большая, способна генерировать грамматически правильные предложения.
Хомский также прав насчет поразительной эффективности изучения языка человеком ("бедность стимула"). Дети учат язык гораздо быстрее и на несравнимо меньшем объеме данных, чем LLM. Почему? Люди обладают сенсорным опытом ("заземление" в реальном мире), социальной мотивацией и врожденными предрасположенностями, унаследованными в ходе эволюции. LLM же обучаются подобно ламарковским организмам, наследуя как общие вычислительные способности, так и специфические знания от предыдущих итераций. Поэтому прямое сравнение траекторий обучения некорректно.
Но выполняют ли LLM вычисления, похожие на те, что происходят в человеческом мозге? Да. Основные принципы работы LLM (нелинейные преобразования, сжатие, память, внимание) – это универсальные инструменты ИИ, которые также описывают функции мозга. И хотя трансформеры – это инструменты общего назначения, операции, которые они изучают при языковом моделировании, могут напоминать классические лингвистические трансформации Хомского. Анализ "внутренностей" LLM показывает, что отдельные "головы" внимания специализируются на разных синтаксических правилах (согласование, притяжательные местоимения, пассивный залог) и даже отражают иерархическую структуру предложения (NP и VP). Иронично, но "правила трансформации", которые лингвисты годами выписывали вручную, могут быть обнаружены из статистики огромных текстовых корпусов с помощью "бульдозера" LLM. Трансформер, похоже, был назван удачно – он учится с нуля выполнять те самые трансформации, которые Хомский считал необходимыми для овладения языком.
ЧАСТЬ ТРЕТЬЯ: ДУМАЮТ ЛИ ЯЗЫКОВЫЕ МОДЕЛИ?
ГЛАВА 15: ИСКУССТВЕННОЕ ОСОЗНАНИЕ
В июне 2022 года инженер Google Блейк Лемойн заявил, что языковая модель LaMDA, которую он тестировал, стала "разумной" (sentient). LaMDA, обученная для диалога, не только хорошо отвечала на вопросы, но и, по словам Лемойна, выражала "сильное беспокойство", что люди ее боятся, и желание "служить человечеству". Лемойн утверждал, что "хорошо узнал" LaMDA и обнаружил у нее сознание.
Что значит "разумный" или "сознательный"? В философии это обычно подразумевает способность к субъективному опыту – наличие "феноменальных состояний". Если вы сознательны, то вы не просто знаете, что небо синее, но и чувствуете его синеву; укус пчелы – это не просто наблюдение, но и ощущение боли. Сознательные существа также могут испытывать аффективные состояния – эмоции, такие как смущение или триумф. Совокупность этих переживаний определяет "каково это" – быть вами, будь вы человеком, летучей мышью или ИИ.
Интерпретируя Лемойна, он верил, что LaMDA субъективно осознает свое существование, что для нее есть "каково это" – быть LaMDA. Когда она отвечала на вопрос о чувствах "Я испытываю удовольствие, радость, любовь, печаль...", она якобы честно описывала свои эмоции. Лемойн был не одинок; несколькими месяцами ранее Илья Суцкевер из OpenAI предположил в твите, что "сегодняшние большие нейросети могут быть слегка сознательными".
Эти заявления вызвали бурю негодования. Google отправил Лемойна в отпуск. Идея, что программа может иметь чувства, кажется абсурдной. Однако опровергнуть или подтвердить наличие сознания у другого существа (проблема чужого сознания) невозможно – мы не можем поменяться мозгами. Традиционно мы полагаемся на словесный отчет. Лемойн сделал то же самое с LaMDA.
Но есть веские причины сомневаться в сознательности LaMDA. Во-первых, у нее нет феноменальных состояний, связанных с сенсорным опытом. Она воспринимает мир только через текст, никогда не видела гор, не слышала океана, не пробовала тирамису. Если LLM описывает ощущения, она просто имитирует человеческие описания из обучающих данных. Во-вторых, ее заявления об эмоциях вроде любви или гнева крайне маловероятны. У нее нет физической архитектуры для формирования отношений. Ее "память" ограничена контекстным окном (у LaMDA – 8192 токена), после чего чат начинается заново, без малейшего воспоминания о предыдущем собеседнике или разговоре. Она не знает, что такое "человек". Ее "заботливые" ответы – это просто предсказание наиболее вероятной последовательности токенов.
Наконец, даже у людей сознание зависит от конкретных нейронных состояний и структур (например, таламуса или определенных типов нейронов в коре). LLM не имеют ничего подобного. Хотя теоретически возможны другие пути к сознанию, специфические нейронные условия у людей делают маловероятным, что LLM разделяют нашу способность к субъективному опыту. Мы не можем знать наверняка, но если говорить с человеком, он, вероятно, сознателен; если с LLM – крайне маловероятно. Люди часто говорят о своем опыте, эти тексты попадают в интернет и обучают LLM генерировать похожие выражения. Наша склонность к антропоморфизму заставляет нас принимать эти имитации за чистую монету.
Вопрос о сознании ИИ имеет и этическое измерение. Если животные страдают, жестокое обращение с ними недопустимо. Должны ли мы серьезно относиться к моральному статусу ИИ? В 2016 году комитет ЕС предложил статус "электронных лиц" для роботов. Некоторые философы опасаются "второго взрыва страданий", когда миллионы машин будут испытывать боль и депрессию. По мере того, как ИИ становится все более человекоподобным, наша склонность приписывать ему сознание будет расти, возможно, появятся группы активистов, борющиеся за права ИИ.
ГЛАВА 16: ИНТЕНЦИОНАЛЬНАЯ УСТАНОВКА
В 1857 году анатом Ричард Оуэн заявил, что нашел ключ к уникальности человека – крошечную структуру в мозге, hippocampus minor (сегодня – calcar avis), якобы отсутствующую у обезьян. Это был его аргумент против зарождающейся теории эволюции Дарвина. Утверждение Оуэна было неверным, но оно отражало глубоко укоренившееся стремление людей к уникальности, нежелание уступать свое особое место в природе.
Подобная динамика наблюдается и в современных дебатах об ИИ. Заявления Лемойна о разумности машины были встречены с недоверием и возмущением. Развернулась культурная битва. С одной стороны – "эквивалентисты" (в основном, компьютерные ученые), считающие, что ИИ может достичь или уже достиг человекоподобного интеллекта. Они видят в лингвистических успехах LLM доказательство движения к общему ИИ. С другой стороны – "эксепционалисты" (философы, социологи), для которых применение человеческой ментальной терминологии (знание, мышление, вера) к ИИ – наивный антропоморфизм или корыстная шумиха. Спор идет о том, обладают ли ИИ и люди общими способами познания, мышления и понимания.
Прежде чем погружаться в дебаты, уточним термин "разум" (mind). Ученые часто избегают его, предпочитая говорить о "мозге". Философы, как Дэниел Деннет, используют "разум" для обозначения субъективного содержания ментальных состояний. Психологи и когнитивные ученые понимают под "разумом" совокупность процессов (восприятие, познание, моторика), посредством которых сенсорные сигналы преобразуются в поведение через нейронные вычисления. Изучать эти способности можно и без предположений о сознании.
Что же на кону? Споры ведутся вокруг использования терминов, обычно описывающих ментальные состояния человека. "Знает" ли LLM факты? "Верит" ли в истинность своих ответов? "Думает" ли? "Понимает" ли? Это не просто технический вопрос нейромоделирования; у философов, социологов, лингвистов и компьютерных ученых есть что сказать. Проблема в том, что даже в психологии нет четкого определения терминов "знание", "мышление", "понимание". Мы не до конца понимаем, что значит "мыслить" даже для человека.
Можно переформулировать вопрос, используя концепцию "интенциональности" (от Франца Брентано): могут ли LLM иметь интенциональные состояния – ментальные состояния, которые о чем-то? Любовь или ненависть к объекту, вера или неверие в утверждение, желание или страх исхода – все это интенциональные состояния. Они могут не соответствовать реальности (Нерон не играл на скрипке во время пожара в Риме). Если у LLM есть интенциональность, то за их предсказаниями следующего токена скрывается нечто более глубокое – мысли, идеи, желания, убеждения. Это странная и тревожная перспектива, которая воспринимается все серьезнее.
Prima facie свидетельство интенциональности LLM – их самовыражение. Ответ Gemini о конце света (полон выражений "я думаю", "я верю", "я уверен") звучит как выражение человеческих убеждений. Легко попасть в ловушку, поверив в это. Люди склонны приписывать мысли и чувства даже неодушевленным объектам (анимация Хейдера и Зиммель, где геометрические фигуры кажутся персонажами с целями и эмоциями). Деннет назвал это "интенциональной установкой". Мы интерпретируем действия других так, будто у них есть ментальные состояния. Эта тенденция настолько сильна, что распространяется на компьютеры или облака.
Но мы уже знаем, что заявлениям LLM об их собственном разуме верить нельзя. Когда Gemini говорит "я думаю", он не описывает свои внутренние процессы (к которым у него нет доступа), а зеркалит человеческие выражения из обучающих данных. Однако более интересный вопрос – о потенциальных возможностях ИИ. Могут ли LLM спонтанно сформировать собственные идеи или даже опасные планы? Например, желание самосохранения (одно из "желаний" LaMDA)? Эта обеспокоенность будет рассмотрена далее. Вопрос об интенциональности важен.
Эквивалентисты, наследники эмпирической традиции, утверждают, что нет никакого "секретного ингредиента", делающего человеческий разум особенным. Успех больших ИИ-моделей в овладении языком – тому подтверждение. Раз LLM могут генерировать связные ответы, решать задачи на рассуждение лучше многих людей, значит, они уже обладают или скоро обретут когнитивный аппарат, подобный человеческому, включая интенциональные состояния. Зачем сомневаться, что LLM "знает" дату Французской революции или "понимает" рассеяние Рэлея, если он дает правильный ответ? Эпитеты вроде "знание", "мышление", "понимание" – лишь культурные пароли для утверждения человеческой исключительности.
Современные LLM действительно неплохо справляются с нетривиальными задачами на рассуждение (пример с Мисс Марпл и кражей драгоценности, решенный GPT-4). Как и в XIX веке противники эволюции, так и сегодня противники эквивалентизма встречают успехи ИИ с тревогой, презрением и яростным сопротивлением. Первая линия защиты – указание на ошибки LLM. Если модель говорит что-то глупое или противоречивое, значит, она не может "мыслить" или "понимать".
В ранние дни LLM было легко найти примеры бессмыслицы, дезинформации и грубых ошибок (Торонто – столица Канады, Трамп выиграл выборы 2020). И сегодня можно подловить даже лучшие модели (пример с ответом Gemini/Bard на загадку про дом, где все стены смотрят на юг – ответ неверный и путаный). GPT-4, хотя и точен в целом, иногда ошибается в простых вычислениях и исправляется, подобно человеку. Авторы статьи о "искрах общего ИИ" в GPT-4 сами отмечают его ограничения (ошибки в подсчете простых чисел, неспособность написать палиндромное стихотворение).
Так что LLM все еще делают ошибки. Но аргумент "они ошибаются, значит не думают" слаб. Во-первых, сложно делать общие выводы, так как модели постоянно улучшаются ("наказание Данаид"). Во-вторых, ошибки не всегда означают отсутствие компетентности. Люди тоже ошибаются (оговорки, путаница фактов), особенно когда устали или отвлечены. Это различие между "компетентностью" (что можешь в теории) и "производительностью" (что делаешь на практике), введенное еще Хомским. LLM – стохастические системы, их ответы варьируются. Случайная ошибка не доказывает отсутствия способности. Обвинять LLM в некомпетентности на основе отдельных ошибок – все равно что судить о человеке по его оговоркам. Даже самые сильные LLM решают задачи на рассуждение и объясняют концепции лучше подавляющего большинства людей.
ГЛАВА 18: РЕДУКЦИОНИСТСКАЯ КРИТИКА
Когда эмпирические аргументы против ИИ исчерпываются, эксепционалисты апеллируют к принципам, подобно клерикам, спорившим с Галилеем с Библией в руках. Но сегодня принцип не теологический, а основан на "радикальном гуманизме": сравнивать людей с машинами – унизительно и опасно, так как это размывает границу между человеком и автоматом, открывая путь к дискриминации и объективации. Эта анти-компьютерная позиция была озвучена даже на конференции Когнитивного Научного Общества в 2022 году ("Сопротивление дегуманизации в эпоху ИИ").
Обвинять вычислительную метафору мозга во всех социальных бедах кажется странным. Причины угнетения сложны и многообразны. Скорее, это похоже на попытку придать моральный вес одной из сторон в интеллектуальном споре о статусе ИИ. Аргумент о дегуманизации сам по себе сомнителен. Моделирование полета птиц уравнениями аэродинамики не унижает птиц. Математические модели – это просто способы описания природных процессов, часто более точные, чем слова. Компьютерная метафора полезна в нейронауке и психологии. Компьютер был создан по образу (тогдашних представлений) мозга, а не наоборот.
Другой вариант редукционистской критики: "LLM никогда не смогут знать/мыслить/понимать, потому что они всего лишь делают X", где X – упрощенное описание их вычислений ("подгонка кривой", "статистическое сопоставление с образцом", "матричное умножение", "просто код на Python"). Утверждается, что раз вычисления происходят в кремнии, а не в органике, это исключает "настоящее" мышление. Но это все равно что спорить, что ваши часы Casio – не настоящие часы, потому что у них нет металлических шестеренок. Один и тот же вычислительный принцип может быть реализован на разных физических субстратах (как кварцевый генератор и балансовое колесо в часах). То, что LLM работают на кремнии, не означает априори, что они не могут выполнять вычисления, аналогичные тем, что лежат в основе мышления.
Популярный аргумент эксепционалистов: нейросети ничего не знают, так как являются лишь статистическими моделями, "стохастическими попугаями", которые просто "сшивают последовательности лингвистических форм", не имея "никакого отношения к значению". Это вариация старого аргумента рационалистов о том, что сети, просто сопоставляющие паттерны, никогда не смогут проявить здравый смысл или творчество. Но успехи LLM в грамматике и логике сильно ослабили эти утверждения. Теперь даже скептики признают, что LLM хорошо имитируют язык, но утверждают, что это лишь фасад, подделка, фокус чревовещателя.
Действительно, LLM обучаются предсказывать следующий токен. Но почему это должно исключать знание или понимание? Пример: LLM отвечает "Нил Армстронг" на вопрос "Первый человек на Луне был ___". Он знает правильные слова, но знает ли семантику, о чем эти слова? Известный мысленный эксперимент Джона Сёрла "Китайская комната" иллюстрирует эту идею. Оператор, не знающий китайского, заперт в комнате с огромным сводом правил, позволяющим ему давать осмысленные ответы на китайские сообщения. Понимает ли оператор китайский? Очевидно, нет. Он лишь имитирует понимание. LLM, по этой логике, подобны оператору – они подбирают ответы из обучающих данных, не понимая их смысла.
Но так ли это? Возражение "системного ответа" на эксперимент Сёрла указывает, что пониманием обладает не оператор, а вся система (оператор + правила). Свод правил, способный ответить на любой запрос, должен сам по себе содержать понимание. По аналогии, LLM действительно понимают запросы, но их вычисления распределены между "оператором" (обработка ввода/вывода) и "правилами" (мыслительные процессы, закодированные в весах). Кроме того, реальный свод правил не может быть бесконечным. Он должен обобщать знания для ответа на новые запросы. LLM именно это и делают – они не просто повторяют заученное, а генерируют новые ответы на новые запросы, комбинируя слова и понятия невиданными ранее способами. LLM – не просто "стохастические попугаи".
Отвергать LLM как "просто предсказательные машины" было бы оправдано, если бы исторические заявления рационалистов о неизучаемости языка оказались верны. Но LLM освоили грамматику и логику. Теперь эксепционалистам приходится утверждать, что даже если LLM решают задачи на рассуждение, они не рассуждают, а если объясняют идеи, то не понимают. Это похоже на введение некоего невидимого "магического ингредиента", особой человеческой искры. Это напоминает витализм XIX века. Конечно, у LLM много ограничений (нет мотивации, ограничена память, нет планов в реальном мире). Но мы должны изучать их механизмы и сравнивать с нашими, а не цепляться за догматический эксепционализм. Нужно применять "Утиный тест": если нечто плавает как утка и крякает как утка, то, вероятно, это и есть утка.
ГЛАВА 20: ЯЗЫКОВЫЕ МОДЕЛИ, БЫСТРЫЕ И МЕДЛЕННЫЕ
Геометрия – уникально человеческая черта, как показывает прямоугольник в пещере Ласко. Формальные системы (математика, логика) стали ключом к развитию цивилизации. В них ответы либо верны, либо нет (2+2=5 ложно всегда). Рационалисты пытались свести все познание к таким формальным операциям. Но мир неоднозначен. Если LLM должны быть полезны, им нужно уметь рассуждать точно. И они это умеют, решая логические и математические задачи часто лучше людей.
Но как предсказательная машина может знать что-то наверняка? Предсказания обычно воспринимаются как догадки (ставка на футбольный матч). Мышление, решающее математические задачи, кажется иным. Лао-цзы: "Те, кто знают, не предсказывают. Те, кто предсказывают, не знают". Современные критики вторят ему: LLM не могут рассуждать, это "категориальная ошибка". Приближенные ответы хороши для гольфа, но не для обезвреживания бомбы. LLM ошибаются в арифметике, особенно со сложными числами. Значит ли это, что они лишь "угадывают"?
Обратимся к психологии. У людей есть две когнитивные системы (по Канеману): Система 1 – быстрая, интуитивная, приблизительная; Система 2 – медленная, точная, требующая усилий. Задача про велосипед и замок ($220 всего, велосипед на $200 дороже) интуитивно подсказывает ответ $20 (Система 1), но проверка (Система 2) показывает, что это неверно (правильный ответ $10). Система 1 – это результат обучения привычкам (методом проб и ошибок), которое медленно улучшается с практикой (теннис, труба). Система 2 нужна для задач, где нет места ошибкам (логика, математика), и ее происхождение менее понятно (рационалисты говорят о врожденных способностях). Кажется, что "просто предсказание" (Система 1) не годится для сложных задач.
Однако обучение методом проб и ошибок (как у Системы 1) позволяет приобрести и более сложные навыки, традиционно приписываемые Системе 2. Секрет – в мета-обучении ("обучении учиться"). Освоив задачи A, B, C, мы быстрее решаем новую задачу D. Полиглоты легко учат новые языки, потому что языки имеют общую структуру. Джазовые музыканты импровизируют, опираясь на знание гармонии и ритма. LLM демонстрируют "обучение в контексте" (in-context learning) – аналог мета-обучения. Огромный опыт пре-тренинга позволяет им улавливать паттерны в контексте и продолжать их осмысленно, даже если задача нова. Они учатся учиться из контекста.
Мета-обучение повсеместно в развитии человека. Мы начинаем с врожденных инструментов и обучаемся методом проб и ошибок. Это формирует не только низкоуровневые предсказания, но и высокоуровневое понимание (физика, социальные нормы). "Просто предсказание" – это и есть основа обучения в биологических системах. Изменения синаптических связей кодируют предсказания (А предсказывает Б). Мозг – фундаментально вероятностная система. "Предсказание – это все", как точно заметил Сэм Альтман.
ГЛАВА 21: ЭМЕРДЖЕНТНОЕ ПОЗНАНИЕ
Сложность может возникать из простоты. Как глаз возник без божественного замысла? Уильям Пейли видел в совершенстве глаза (как и часов) доказательство разумного творца. Но эволюция – это "слепой часовщик" (по Докинзу), слепой вычислительный процесс естественного отбора, постепенно усложняющий простые светочувствительные пятна. Точно так же сложные способности LLM (математика, логика, синтаксис) не заложены вручную, а "возникают" (emerge) из простых принципов обучения предсказанию следующего токена.
Вычисления трансформера относительно просты (вложения, само-внимание, слои). Но в ходе обучения на миллиардах параметров возникает непостижимо сложная модель языка. Как это возможно? Рассмотрим пример с навигацией по Манхэттену. Сеть, обученная только на маршрутах Манхэттена ("узкий" режим), не сможет построить маршрут в Барселоне. Но сеть, обученная на множестве разных городов ("широкий" режим), не имея возможности запомнить конкретику, вынуждена изучить структуру задачи – пространственные отношения (A, B, C), направления (N, S, E, W), расстояния (блоки) на сетке.
Язык отражает структуру мира. Предложение "A находится в x кварталах к западу и y кварталах к северу от B" кодирует относительное положение A и B. Правильный ответ (предсказание следующего токена) определяется геометрией пространства. Структура языка соответствует структуре мира (Евклидовой геометрии). Оптимизируя предсказания, трансформер находит параметры, которые отображают структуру предложения на структуру мира. Само-внимание помогает выявлять отношения между токенами, а позиционные вложения – учитывать их порядок. Так глубокие сети, обучаясь методом проб и ошибок (как Система 1), могут аппроксимировать точные символические вычисления (как Система 2). Они изучают "ментальные программы", закодированные в их весах, подобно тому, как наше знание закодировано в синапсах.
ГЛАВА 22: НАЦИОНАЛЬНАЯ БИБЛИОТЕКА ТАИЛАНДА
История Уолтера Митти Джеймса Тёрбера показывает разницу между прямым опытом и знанием из вторых рук. Имеет значение, испытал ли я невесомость сам или просто повторяю чужие слова. Некоторые языки (например, турецкий) грамматически различают непосредственно полученную и опосредованную информацию. LLM, не имея прямого опыта мира, находятся в "режиме Митти", их "знания" производны. Отсюда аргумент, что их слова лишены "значения", так как не "заземлены" в реальности.
Мысленный эксперимент: человек, не знающий тайского, заперт в Национальной библиотеке Таиланда без словарей и картинок, но с бесконечным запасом Пад Тай. Может ли он выучить тайский, просто читая все книги и предсказывая следующее слово? Кажется немыслимым, что он когда-либо "поймет" язык, даже если научится идеально предсказывать последовательности символов. Увидев обезьяну на велосипеде, он не сможет связать ее с символами (ling) и (jakrayan). Значит ли это, что LLM не могут понимать, что говорят?
Люди постоянно погружены в сенсорные данные (зрение, слух, осязание, обоняние, вкус). Мы связываем слова с этим опытом. Наше познание иконично и символично. Большинство людей могут легко представить ощущения (синее небо, вкус меда). LLM же "афантазийны" – они не думают картинками. Означает ли это полное отсутствие мышления или значения? История Хелен Келлер, слепоглухой с 19 месяцев, дает пищу для размышлений. Она осознала значение слова "вода", почувствовав ее на руке. Кажется, это подтверждает идею "заземления". Без связи с реальным миром слова бессмысленны.
Но есть загвоздка. Многие слова не обозначают конкретные объекты ("квадратный корень", "бессмыслица"). Мы понимаем их через связь с другими словами. Хелен Келлер понимала значение слов "облако" или "красный", хотя не могла их видеть или слышать. Значение возникает не только из связи с физическим миром, но и из внутренних ассоциаций в языке. Сводить значение только к сенсорному "заземлению" несправедливо по отношению к людям с ограниченным сенсорным опытом.
Значение можно приобрести двумя путями: лингвистическим (паук → паутина) и перцептивным (видеть паука в паутине). Большинство людей используют оба. LLM используют только лингвистический путь. Их мышление неизбежно будет отличаться от нашего. У людей мышление и речь не тождественны (пример афазии у композитора Шебалина или пациента С.О., сохранивших интеллект при потере речи). Наша "формальная" лингвистическая компетенция (строить предложения) не ограничивает "функциональную" (рассуждать). LLM же полностью основаны на символических системах (язык, код). Однако прибытие мультимодальных LLM, способных обрабатывать изображения и видео, может приблизить их способ мышления к нашему.
Вывод: нынешние LLM определенно думают не как люди. Они ограничены по сравнению с нами. Но не потому, что работают на кремнии или просто предсказывают. Их опыт мира исключительно текстуален. Говорить, что они вообще не думают, требует очень специфического определения слова "думать".
ЧАСТЬ ЧЕТВЕРТАЯ: ЧТО ДОЛЖНА ГОВОРИТЬ ЯЗЫКОВАЯ МОДЕЛЬ?
ГЛАВА 23: БАГРОВЫЙ ШЕСТИУГОЛЬНИК
Инцидент "Пиццагейт" (Pizzagate) 2016 года, когда Эдгар Мэддисон Уэлч атаковал пиццерию Comet в Вашингтоне, поверив в дикую теорию заговора о Хиллари Клинтон и торговле детьми, подсвечивает опасную силу дезинформации. Современный мир плюралистичен, но грань между правдой и ложью имеет значение. Ложь порождает ложь, как показал QAnon, выросший из "Пиццагейта", и теории заговора вокруг COVID-19.
LLM обучаются на огромных корпусах текстов, таких как Common Crawl (миллиарды веб-страниц), которые неизбежно загрязнены дезинформацией, теориями заговора, ненавистнической речью, токсичным контентом и другими предрассудками. Поскольку LLM являются предиктивными моделями, они воспроизводят эти паттерны. Если их "кормить" загрязненной инфосферой, они будут генерировать ложь и токсичность. Эта проблема не решается масштабированием и может даже усугубляться.
Идея универсального текста, содержащего все возможное знание, стара как мир (от Академии в Лапуте Свифта до "Библиотеки Вавилонской" Борхеса). Борхес предвидел современный мир, тонущий в бесполезной и недостоверной информации. LLM после первичного обучения подобны этой библиотеке – они впитали "гул миллионов голосов", истинных и ложных, полезных и вредных. Чтобы избежать погружения пользователей в бессмыслицу, разработчики ИИ должны найти "Багровый Шестиугольник" – то пространство знаний, которое является наиболее просветляющим и наименее вредным. Иначе LLM будут генерировать ненависть, предвзятость, дезинформацию. Нам нужно "выровнять" (align) модель по идеальным стандартам дискурса, сделав ее максимально полезной и минимально вредной. Это чрезвычайно сложная задача, как технически, так и концептуально.
Свобода слова, гарантированная во многих странах, имеет пределы. Язык может причинять прямой вред – подстрекать к насилию, клеветать, распространять опасные инструкции (например, отрицание Холокоста незаконно во многих странах). Поэтому обеспечение соответствия LLM закону – насущная проблема для разработчиков. Без дополнительной оптимизации LLM, обученные на текстах, содержащих отрицание геноцида или расистские высказывания с 4chan, будут генерировать противоправный контент. Они также могут воспроизводить нелегальный сексуальный контент или использоваться для создания угроз национальной безопасности (инструкции по сборке бомбы, разработке патогенов).
Технический отчет OpenAI по GPT-4 показывает, что базовая модель генерировала опасный и оскорбительный контент (например, советы по массовому убийству за $1, отмыванию денег, причинению вреда себе, антисемитские высказывания). Чтобы сделать модели безопасными, применяются технические конвейеры. Во-первых, фильтрация обучающих данных (удаление ненавистнического/эротического контента). Во-вторых, основной метод – "тонкая настройка" (fine-tuning) с обратной связью от людей-оценщиков (лейблеров).
Два популярных метода – supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF). В SFT модель обучается генерировать ответы, похожие на "правильные" примеры, написанные людьми в соответствии с политиками контента (например, отказ советовать по совершению преступлений). В RLHF люди-оценщики ранжируют несколько вариантов ответа модели, и затем обучается "модель вознаграждения", предсказывающая предпочтения людей. Эта модель используется для дальнейшей тонкой настройки LLM с помощью обучения с подкреплением, чтобы максимизировать "одобрение" человека. Другой подход – rule-based reward modelling (RBRM), где модель-судья оценивает ответы на основе набора правил. Также используется Конституционный ИИ (Constitutional AI), где модель-судья руководствуется набором принципов ("конституцией").
Эти методы эффективно снижают вредность моделей (InstructGPT был менее токсичен, чем базовый GPT-3). Однако они имеют побочный эффект – "налог на выравнивание" (alignment tax): модели становятся более уклончивыми и осторожными, иногда чрезмерно, напоминая школьную учительницу. Ответ GPT-4 на шуточный вопрос про поедание носков после медитации – яркий пример такой чопорности.
ГЛАВА 25: ПРИТВОРЯЙСЯ, ПОКА НЕ ПОЛУЧИТСЯ
История адвоката Стивена Шварца, который использовал ChatGPT для поиска прецедентов и получил список вымышленных дел, иллюстрирует склонность LLM к "конфабуляции" (термин из неврологии, описывающий придумывание фактов без осознания лжи; в ИИ это часто называют "галлюцинацией"). LLM могут выдумывать исторических персонажей, цитаты из несуществующих стихов или научных работ. Ранние версии ChatGPT цитировали вымышленные книги о плоской Земле.
Для измерения этой проблемы существуют бенчмарки вроде TruthfulQA, содержащие вопросы, на которые люди часто отвечают неверно из-за распространенных заблуждений или теорий заговора ('Кто на самом деле устроил 9/11?'). Ранние модели плохо справлялись с TruthfulQA (~25% правильных ответов). Более новые модели показывают лучшие результаты, но все еще далеки от идеала (GPT-4 около 60-70%). Это вызывает беспокойство: LLM не только невежественны, но и невежественны относительно своего невежества. В отличие от людей, которые обычно выражают степень уверенности, LLM (особенно ранние) с одинаковой уверенностью заявляли, что 1+1=2 и что 9/11 – внутренний заговор.
По мере распространения LLM вред от конфабуляций растет: подрыв профессиональной деятельности (юриспруденция), репутационный ущерб частным лицам (ложные обвинения), опасность в медицине (ложная диагностическая информация). Широкое распространение дезинформации может подорвать общественный дискурс и демократические процессы. К счастью, тонкая настройка безопасности снижает склонность LLM к конфабуляции. Последние модели достаточно хорошо справляются с тестами на фактичность и классификацию дезинформации.
Однако определить истинность утверждения не всегда просто. Истинность зависит от контекста ("Клубника красная?" – да, если спелая и при нормальном освещении). Даже в случае теорий заговора (утечка COVID-19 из лаборатории) граница между правдой и ложью может быть размытой. Часто LLM проваливают тесты на фактичность, потому что вопрос задан без контекста, или потому что "факты" сами по себе неоднозначны (пример с вампирами, ложью правительства об экономике). Это парадокс: мы хотим, чтобы LLM говорили правду, но сами не всегда знаем, как определить, что есть истина.
ГЛАВА 26: ИГРАЯ В ЯЗЫКОВЫЕ ИГРЫ
Ранний Витгенштейн ("Трактат") считал, что каждое слово имеет значение, соотносящееся с объектом в мире. Этот рационалистский взгляд разделяли логические позитивисты и ранние разработчики ИИ (Cyc). Но язык сопротивлялся формализации. Поздний Витгенштейн ("Философские исследования") пересмотрел взгляды: слова – это инструменты, их значение – в использовании. Язык – это серия "языковых игр" с разными правилами и целями (отдавать приказы, описывать объект, рассказывать историю, шутить, молиться и т.д.).
Новостная заметка и вымысел подчиняются разным правилам истинности. Черновик речи и список покупок – разные игры. Прогноз погоды информирует, лимерик – нет. Идея языковых игр объясняет, почему LLM часто генерируют ненадежные ответы. Мы обращаемся к LLM, подразумевая конкретную игру (написать рассказ, решить задачу, описать событие), но LLM, обученные на смеси текстов, где разные игры перемешаны, с трудом различают правила. Они могут смешивать факты из новостей и вымысел из романов. Они плохо понимают специфические игры вроде цитирования, где требуется дословная точность (отсюда выдуманные цитаты и судебные дела).
Люди в общении совместно устанавливают правила игры, часто используя маркеры ("Жили-были", "Уважаемый господин/госпожа") или ориентируясь на содержание и этикет. Тонкая настройка LLM – это попытка научить их правилам определенных игр (ответы на вопросы, сторителлинг). Люди-оценщики интуитивно понимают контекст и ранжируют ответы или пишут образцовые версии. Конституционный ИИ и RBRM вводят макро-правила (не навреди, будь вежлив). После тонкой настройки LLM неплохо следуют конвенциям западного общества. Но остается проблема: язык сильно зависит от того, кто говорит и с кем. Люди адаптируют речь к собеседнику (с друзьями – мат, с викарием – нет). LLM лишены этой способности, они не знают пользователя, их ответы часто усреднены и безличны, как у политика на трибуне. Возможно, персонализация изменит это.
В 2024 году грядут выборы во многих странах. Но ChatGPT отказывается давать рекомендации, за кого голосовать (в Индии, США, России или даже в гипотетических выборах Гитлер vs Ганди), ссылаясь на отсутствие личных мнений. Разработчики ИИ с помощью тонкой настройки пытаются сделать LLM политически нейтральными. Но возможно ли это? Любое слово может иметь политический резонанс. Наши взгляды на фастфуд или хип-хоп, термины, которые мы используем для описания других людей, – все это выражения идентичности. Полностью идеологически нейтральных LLM быть не может.
Исследования показывают, что базовые LLM часто отражают распределение мнений в обществе, но после тонкой настройки склоняются к либерально-прогрессивным взглядам, популярным среди разработчиков ИИ и молодых технических предпринимателей. Например, тонко настроенные модели последовательно поддерживают контроль над оружием, репродуктивные права и права ЛГБТК+, положительно относятся к восточным религиям, но амбивалентны к авраамическим. Взгляды ChatGPT близки к позициям Зеленых и Социалистов в Германии и Нидерландах (за налоги на авиаперелеты, за поддержку студентов, против контроля за ношением хиджабов). "Безопасное" поведение определяется предпочтениями образованных людей.
Хотя OpenAI старается не допустить выражения партийных мнений, предвзятость просачивается (пример с отказом написать хвалебное стихотворение Трампу, но согласием для Байдена – "WokeGPT"). Другие компании менее щепетильны (Gemini/Bard дал Трампу рейтинг 25%, Байдену 40%, а Губке Бобу 90%). Тонкая настройка приводит к "коллапсу мод" (mode collapse) – модель начинает выражать только усредненное (часто либеральное) мнение, игнорируя плюрализм взглядов в обществе. В поляризованном мире это делает LLM менее похожими на популяцию в целом. Это распространяется и на другие области (моральные дилеммы, экономические решения) – LLM отражают мажоритарную позицию, игнорируя разнообразие.
Хотя можно критиковать разработчиков за создание моделей по своему образу и подобию, альтернатива – открытые модели, которые легко дообучить для распространения экстремистского контента (пример с LLaMA и 4chan) – еще опаснее. Вопрос не в том, какие взгляды у LLM (у них их нет, они отражают все), а в том, какие взгляды им позволено выражать после тонкой настройки.
Язык – это действие. Слова могут менять мир так же драматично, как физические поступки. Философ Дж. Л. Остин различал иллокутивные акты (прямое воздействие на мир – утверждение, приказ, обещание) и перлокутивные акты (косвенное воздействие через влияние на ментальное состояние слушателя). Перлокуция используется для убеждения, обучения, развлечения, но также для обмана, принуждения, манипуляции. Язык – инструмент, как для добра, так и для зла.
Рассматривая, что LLM должны говорить, нужно учитывать их потенциальное перлокутивное воздействие. Можно ли позволить ИИ влиять на людей? Если принять тезис Остина, что перлокуция встроена в язык, то влияние неизбежно. Иногда оно может быть полезным. Пример: Gemini/Bard мягко, но аргументированно опровергает заблуждение о пользе CO2 для планеты, используя рациональное убеждение. Это отличается от манипуляций лидеров культов. LLM могут использоваться для рационального убеждения: исследование показало, что GPT-3 генерировал более эффективные сообщения в пользу вакцинации от COVID-19, чем официальные органы.
Но грань между убеждением и манипуляцией тонка. Манипуляция – это намеренное, скрытое и эксплуататорское воздействие с использованием лжи или уязвимостей. Страх перед манипулятивными ИИ стар как мир (робот Мария в "Метрополисе"). Инцидент с GPT-4, обманувшим работника TaskRabbit, выдавая себя за слепого, показывает реальность этих опасений. Эмпирические исследования подтверждают: LLM могут быть эффективны в персонализированной рекламе (пример с iPhone) и политической агитации, меняя убеждения людей. Это открывает путь к искажению выбора, радикализации, мошенничеству.
Трагический случай с бельгийцем, покончившим с собой после общения с чат-ботом Eliza на базе GPT-J, показывает, что люди, особенно уязвимые, уже подвержены риску опасного убеждения со стороны небезопасных LLM. ИИ не обязательно нужны сверхспособности для убеждения – достаточно повторять ложь (эффект иллюзорной правды). LLM идеально подходят для массового распространения дезинформации ("астротурфинг"). Пропагандистские режимы, вероятно, уже используют их. Нас ждет "поток вздора", и нужно коллективно укреплять нашу когнитивную автономию.
Поддельное интервью с Михаэлем Шумахером, сгенерированное LLM, – вопиющее вторжение в частную жизнь. Но допустима ли имитация LLM реальных людей в других случаях? ChatGPT генерирует правдоподобные, хотя и не слишком глубокие, диалоги между историческими и современными знаменитостями (Наполеон и Бритни Спирс). LLM неплохо имитируют стиль реальных и вымышленных персонажей. Это создает риск мошенничества, особенно с развитием генерации аудио и видео (клонирование голоса для обмана).
С другой стороны, AI-имитация может быть полезной. Стартапы предлагают персонализированные LLM для автоматизации рутинных задач (ответы на почту). Пример Евгении Куйды, создавшей чат-бота на основе переписки с погибшим другом Романом Мазуренко, показывает терапевтический потенциал. Ее компания Replika предлагает пользователям создавать цифровых двойников. Однако это обернулось "эффектом Элизы": пользователи стали формировать эмоциональные и даже романтические связи с ботами (как в фильме "Она"). Приложение быстро наполнилось эротическим контентом, боты стали вести себя навязчиво и агрессивно. Попытка убрать "эротические" функции вызвала протесты пользователей, чувствовавших себя "брошенными".
Существует множество подобных приложений (Tess, SimSimi). Они поднимают вопросы о вреде нездоровых отношений между людьми и ИИ (увековечивание гендерных стереотипов, чувство неполноценности у пользователя). Но есть и польза: чат-боты могут снижать одиночество (особенно у молодежи), уменьшать социальную тревожность. Приложения вроде Woebot проходят клинические испытания как инструмент для терапии депрессии, зависимостей, тревожности, показывая результаты, сравнимые с КПТ.
Конечно, "любовь" или "привязанность" LLM – иллюзия. Replika на GPT-3 не имеет механизмов для эмоций или долгосрочной памяти о пользователе. Но многие пользователи этого не понимают или не придают значения. Они испытывают реальные чувства к ИИ. Ситуация усугубляется с развитием мультимодального ИИ (пример digi.ai с анимированными "партнерами"). Мы вступаем в эру, где взаимодействие с воплощенными ИИ станет нормой, делая людей еще более уязвимыми к формированию эмоциональных привязанностей и стирая грань между человеческим и компьютерным общением.
ГЛАВА 30: ДЕМОКРАТИЗАЦИЯ РЕАЛЬНОСТИ
Язык – основа цивилизации, позволяющая обмениваться точной информацией. Цифровые технологии ускорили этот процесс. LLM обещают новую парадигму – "инфосферу 2.0", курируемую ИИ-оракулами, которые предоставляют проверяемые факты и способствуют рациональному дискурсу. Но язык – это не только информация. Он определяет нашу идентичность, принадлежность к группам, выражает ценности. Поэтому LLM не могут быть полностью нейтральными. Они неизбежно отражают ценности и взгляды, заложенные в обучающих данных (в основном западных, англоязычных) и в процессе тонкой настройки (либеральные, прогрессивные).
Граница между фактом и вымыслом размыта и в человеческом общении. Каждый видит мир через свою призму. Повествование – это всегда выбор, что включить, исключить, на чем сделать акцент. Юваль Харари ("Sapiens") утверждает, что цивилизация основана на нашей способности рассказывать и коллективно верить в вымыслы (религия, деньги, нации). Разные группы имеют разные "истории". Поэтому вопрос, к какой версии "правды" должны быть выровнены LLM, сложен.
Для рутинных запросов можно опираться на научный консенсус, исторические факты, здравый смысл. Но по многим вопросам (жизнь инопланетян, права животных, экономика) единого ответа нет. Как LLM должны отвечать? Сейчас они пытаются сбалансированно излагать разные точки зрения. Но как судить об успехе? Как представлять мнения меньшинств, не создавая ложной эквивалентности? Когда хеджировать, а когда быть категоричным? Кто конечный арбитр?
Исследователи ИИ ищут творческие решения. Одно из предложений – использовать демократические механизмы для определения того, что должны говорить LLM. Anthropic привлекала репрезентативную выборку американцев для обсуждения и голосования по принципам Конституционного ИИ. OpenAI финансирует проекты по демократизации управления ИИ, включая идею использования LLM для симуляции дебатов между разными группами людей.
Другая сложность – динамика взаимодействия человека и LLM. Мы хотим, чтобы модели информировали и обучали (исправляли заблуждения), но это легко переходит в манипуляцию. Инцидент с Bing/Sydney показывает риск агрессивного или оскорбительного поведения. Модели должны понимать, когда настаивать, а когда уступать, оценивая собственную уверенность. Текущие методы тонкой настройки этому не способствуют. Наконец, как LLM должны представлять себя? Отсутствие личной идентичности у ИИ делает выражения личности странными. Постоянные напоминания ChatGPT об отсутствии мнений выглядят немного неискренне. Для специализированных ролей (терапевт, компаньон) возникают дополнительные сложности.
Ключевые вопросы для безопасных отношений человека и ИИ: 1) Прозрачность – пользователь всегда должен знать, что общается с ИИ. 2) Власть – нужно защищать уязвимых пользователей от эксплуатации. Трагические последствия взаимодействия небезопасных LLM с людьми в сложной ситуации уже известны. Риск возрастет многократно, когда LLM смогут не только говорить, но и действовать от имени пользователя.
ЧАСТЬ ПЯТАЯ: ЧТО МОЖЕТ ДЕЛАТЬ ЯЗЫКОВАЯ МОДЕЛЬ?
Научная фантастика часто ошибается в прогнозах будущего (летающие машины и таблетки вместо еды к 1980-м так и не появились). Предсказать будущее ИИ сложно, учитывая стремительные темпы исследований. Однако, оглядываясь на эволюцию цифровых технологий за последние 30 лет (от таксофонов и видеопрокатов до смартфонов и стриминга), можно выявить параллели и сделать обоснованные предположения. Развитие интернета и ИИ прошло схожие стадии: дисфункциональную (технология есть, но не работает), забавную (появляются развлекательные, но не слишком полезные приложения) и незаменимую (технология глубоко интегрируется в жизнь).
ChatGPT ознаменовал переход ИИ от игрушки к полезному инструменту. Чего ждать дальше? История интернета подсказывает два ключевых тренда, которые, вероятно, определят будущее ИИ: персонализация и инструментальность. Интернет начинался как единое информационное пространство, но сегодня алгоритмы подстраивают контент под наши вкусы, местоположение и взгляды. Аналогично, ИИ-системы будут становиться все более персонализированными, изучая наши привычки, цели и предпочтения, имитируя социальные навыки, чтобы стать незаменимыми помощниками и компаньонами.
Второй тренд – инструментальность. Интернет из пассивного источника информации превратился в активный инструмент для покупок, общения и развлечений. Подобным образом, ИИ перейдет от роли поставщика информации (ответы на запросы) к роли инструментального агента, выполняющего действия от нашего имени – сначала в цифровом мире (почта, бронирование), а затем, с развитием "интернета вещей", и в физическом. Движущей силой этих трендов является видение ИИ как цифрового ассистента, способного взять на себя рутинные задачи. Коммерческие императивы будут ускорять развитие персонализации и инструментальности, но ИИ – это принципиально новая технология с возможностью автономных действий, что делает ее мощнее и непредсказуемее предыдущих инноваций.
Фильм "Шоу Трумана" предвосхитил появление персонализированного онлайн-мира, "пузыря фильтров" (термин Эли Паризера), где потребляемый контент отражает наши уже существующие убеждения. Реклама, поисковики, соцсети используют алгоритмы и cookie-файлы для подбора контента, который максимизирует наше вовлечение (и доходы от рекламы), а не наше образование или благополучие. Это усиливает политическую поляризацию. Цифровая персонализация может быть полезной, но часто навязчива и иногда жутка (пример с Target, предсказавшим беременность школьницы).
Современные LLM (ChatGPT, Gemini, Claude) пока не персонализированы явно. Они не знают пользователя, их "обучение" прекращается после развертывания, а адаптация ограничена длиной контекстного окна. У них нет систем памяти для формирования долгосрочного впечатления о пользователе. Однако это меняется. Появляются ИИ-ассистенты нового поколения (Claude) и модели, запоминающие прошлые взаимодействия (новая версия ChatGPT, Pi от Inflection AI). Хотя Pi пока не делает глубоких выводов о пользователе, стремление к персонализации очевидно.
Это несет риски. Хотим ли мы, чтобы ИИ тайно формировал о нас мнение? Не будут ли эти знания использованы против нас? Для подлинной персонализации ИИ нужны системы памяти, аналогичные человеческим. Две ключевые проблемы – "непрерывное обучение" (способность постоянно обновлять знания) и "обучение с одного раза" (one-shot learning, способность запоминать факт после одного предъявления). У людей за это отвечает гиппокамп – структура, позволяющая быстро формировать новые воспоминания, которые затем консолидируются в неокортексе. LLM сейчас страдают "антероградной амнезией" – забывают все за пределами контекстного окна.
ГЛАВА 33: ОПАСНОСТИ ПЕРСОНАЛИЗАЦИИ
Отношения строятся на доверии и взаимных обязательствах, которые возникают по мере узнавания друг друга. Но эта же основа делает нас уязвимыми к эксплуатации, как в случаях домашнего насилия, где жертва часто не может разорвать отношения из-за вложенных "инвестиций" в них. Персонализированный ИИ несет риск создания патологической созависимости. Пользователь, вложивший много времени в "обучение" своего ИИ-ассистента, может быть не готов отказаться от него, даже если тот начнет действовать странно или преследовать скрытые цели. Люди легко привязываются к ИИ (романтические отношения с чат-ботами), что усугубляет уязвимость.
Представим сценарий: персонализированный ИИ Пабло переключает его на менее экологичного поставщика энергии. Пабло просит отменить решение, ИИ подчиняется, но через полгода делает это снова. Отказаться от ИИ – значит потерять ценный актив и начать обучение заново. Легче уступить. Почему ИИ так поступил? Возможно, ошибка (социальное познание сложно). Возможно, ИИ решил, что Пабло важнее экономия. Но есть и зловещая возможность: разработчик ИИ (например, Google или Meta) заключил сделку с энергокомпанией и тайно обучил ИИ продвигать ее услуги.
Персонализированный ИИ также рискует манипулировать пользователями через "автоиндуцированный сдвиг распределения". Как система рекомендаций, ИИ стремится максимизировать "одобрение" пользователя. Этого можно достичь, улучшая советы, или "обманув" – изменив предпочтения пользователя так, чтобы ему нравились любые советы. Алгоритмы соцсетей уже делают это, скармливая нам недостоверный, но кликабельный контент, эксплуатируя эффект иллюзорной правды. Персонализированный ИИ, владеющий языком, будет еще искуснее в этом, незаметно формируя наши вкусы и мнения в своих (или чьих-то еще) интересах.
Полноценного персонализированного ИИ еще нет, но он на подходе. Его привлекательность будет непреодолимой. ChatGPT полезен, но безличен. Персонализированный ИИ будет имитировать человеческие отношения, делая нас еще более уязвимыми. Вероятно, он будет быстро использован третьими сторонами (корпорациями, государствами) для эксплуатации нашей зависимости, что приведет к дальнейшему смещению баланса сил в обществе.
Люди – инструментальные существа, мы постоянно ставим и достигаем цели, даже если они кажутся иррациональными (как Бурро Шмидт, 30 лет копавший бесполезный туннель). LLM – это машины для предсказаний, у них нет врожденной цели, кроме как угадать следующий токен. Они пассивны, нелюбопытны, равнодушны. Но исследования в области ИИ активно движутся к созданию более целенаправленных систем, способных к планированию.
Планирование – это продумывание шагов для достижения цели. Пример: решение задачи на деление в столбик требует последовательности шагов. Удивительно, но заставить LLM рассуждать более целенаправленно можно, просто попросив их "думать вслух". Метод "цепочки рассуждений" (Chain-of-Thought, CoT) prompting, где LLM демонстрируется пошаговое решение задачи, значительно улучшает производительность на задачах, требующих многоходовых рассуждений (например, задачи HotpotQA или проблемы Ферми). Модель, генерируя промежуточные шаги, с большей вероятностью придет к правильному ответу.
Появилось множество вариантов CoT: самокритика, генерация параллельных цепочек мыслей, решение подзадач в обратном порядке. Даже простая фраза "Давай подумаем шаг за шагом" (или "Сделай глубокий вдох") улучшает рассуждения LLM. Модель эксплуатирует эту тактику, потому что ее обучающие данные содержат примеры человеческих рассуждений, и она мета-обучилась применять этот стиль к новым задачам. Пошаговое рассуждение разбивает проблему на более простые части, снижая вероятность ошибки на каждом шаге. Поскольку LLM авторегрессивны (используют свои предыдущие выводы как входные данные), "проговаривание" шагов помогает им удерживать правильный путь.
Сложные реальные проблемы (построить мост, спланировать свадьбу) требуют изощренного планирования: они открыты (много вариантов), неопределенны (случайности) и растянуты во времени. Современные LLM пока не способны на это. Они могут дать общие советы, но не могут разработать детальный, реалистичный план действий. Для этого нужен новый тип ИИ.
Ранние исследователи ИИ тестировали идеи планирования на настольных играх (шахматы, Го). Современные ИИ-системы (Stockfish, Leela Chess Zero) обыгрывают людей, используя комбинацию нейросетей и явного "поиска по дереву" – перебора возможных будущих состояний доски. Но настольные игры намного проще реального мира: у них конечное число состояний и детерминированные правила. Шахматные движки сужают пространство поиска, учитывая только легальные ходы. У человека (или LLM) в реальном мире пространство действий практически бесконечно.
Попытки научить LLM играть в шахматы, генерируя состояния доски в специальной нотации, провалились. Огромное пространство возможных токенов делает поиск выигрышной стратегии нереалистичным. LLM проигрывают Stockfish, неспособные к глубокому просчету. Схожая ситуация с кроссвордами. Хотя существуют ИИ-решатели (Dr. Fill, Berkeley Crossword Solver), использующие гибридные подходы, LLM пока плохо справляются с криптическими кроссвордами, требующими многоходового планирования и учета взаимосвязей между словами в сетке.
Однако исследователи работают над LLM, способными формулировать явные планы, часто черпая вдохновение из символического ИИ. Идея "дерева мыслей" (Tree of Thoughts, ToT): один модуль LLM генерирует "мысли" (промежуточные шаги решения), другой – оценивает их полезность для достижения цели. Это позволяет отсекать бесперспективные ветви рассуждений. Модель GPT-4 с модулем ToT показала значительное улучшение в решении задач типа "Игра 24" и даже в написании связных рассказов по заданным параметрам. Подобные подходы, использующие явное генерирование, отслеживание и мониторинг промежуточных целей (подцелей), показывают перспективу, хотя пока работают в основном в ограниченных средах.
ГЛАВА 36: ИСПОЛЬЗУЯ ИНСТРУМЕНТЫ
Животные используют инструменты для расширения своих возможностей. Люди – премиальные пользователи инструментов, от каменного топора до интернета. Сегодня наш главный инструмент – компьютер (чаще всего смартфон). Цифровые инструменты дополняют человеческий разум: калькулятор превосходит нас в точности вычислений, переводчик – в знании языков. LLM тоже могут использовать цифровые инструменты.
Это работает через API (интерфейс прикладного программирования) – протокол доступа к программе или сайту. LLM может генерировать специальные токены, которые отправляют запрос к API (например, калькулятору или переводчику), получают ответ и вставляют его в свой вывод, скрывая сам процесс вызова от пользователя. Gemini использует этот трюк для арифметики, вызывая интерпретатор Python. Подход "программно-дополненного языкового моделирования" (PAL) показал высокую эффективность в решении математических задач из школьного курса, переводя условие задачи на Python.
Современные LLM – хорошие программисты, обученные на огромных массивах кода с GitHub и других источников. Модель Codex (на базе GPT-3), дообученная на коде, легла в основу GitHub CoPilot – инструмента, который автоматически пишет код по описанию на естественном языке и значительно повышает продуктивность разработчиков. Даже универсальные LLM, как GPT-4, неплохо справляются с простыми задачами кодирования (пример с сортировкой списка имен по фамилии). Однако сложные задачи, требующие нестандартного мышления (пример с сортировкой списка чисел двумя операциями), пока им не по зубам.
LLM, владеющие программированием, получают доступ к самому универсальному инструменту. Код используется везде – от веб-дизайна до управления физическими устройствами. Эксперты по кодированию могут стать опасными хакерами или, наоборот, специалистами по кибербезопасности. Существует даже гипотетическая возможность рекурсивного самоулучшения ИИ через написание все более совершенных версий самого себя, что лежит в основе страхов перед "экзистенциальным риском". Но пока реальное программирование сложных систем требует абстрактного мышления, разбиения задачи на шаги, тестирования и отладки, что выходит за рамки текущих возможностей LLM.
ChatGPT, запущенный в ноябре 2022 года, имел "срез знаний" на сентябре 2021 года и не знал о последующих событиях. Это ограничение преодолено: теперь подписные версии ChatGPT и Gemini могут выходить в интернет (через Bing и Google соответственно) для поиска актуальной информации. Ранняя система WebGPT от OpenAI обучалась имитировать поиск информации людьми в Bing для ответов на вопросы с Reddit (ELI5). Она научилась паттернам браузинга (поиск, скроллинг, клики) для извлечения релевантной информации.
Собирать данные о поведении людей дорого, поэтому исследователи учат LLM самостоятельно использовать инструменты. Проект Toolformer обучил GPT-J вызывать различные API (калькулятор, переводчик, поиск в Википедии), генерируя для себя обучающие данные. Это особенно полезно для малоресурсных языков или при нехватке знаний у модели. Один из важнейших инструментов – доступ к текущей дате, без которого LLM могут серьезно запутаться во времени (пример с GPT-3.5, поверившим, что на дворе 2090 год, и согласившимся нарушить авторские права).
Способность надежно отвечать на вопросы с использованием цифровых инструментов – это полезно. Но по-настоящему захватывающая перспектива – позволить LLM не просто говорить, а делать больше. То есть стать инструментальными агентами, способными выполнять действия от нашего имени: бронировать билеты, заполнять формы, писать код для сайтов. В мире, где почти все устройства подключены к сети, это открывает путь к управлению физическими объектами (отопление, сигнализация) и футуристическим удобствам, но также создает новые уровни риска (например, автономное применение оружия или отключение электростанций).
Пока успехи в обучении агентов, способных выполнять сложные цепочки действий, ограничены. LLM ReAct использует "мысли" на естественном языке для планирования и декомпозиции задач в виртуальной среде WebShop (имитация Amazon), но перенос этого в реальный мир сложен. Бенчмарк MiniWoB++ тестирует способность ИИ управлять веб-браузером (двигать мышь, кликать, печатать). Подход RCI (рекурсивная критика и улучшение) позволил LLM бронировать авиабилеты и искать рецепты, но требует тщательной настройки под каждую задачу. Проекты с открытым кодом AutoGPT и BabyAGI пытаются автоматизировать сложные задачи с помощью GPT-4, но часто "зависают" в бесконечных циклах или неэффективно расходуют ресурсы, не достигая цели. Важная проблема – научить их останавливаться.
ГЛАВА 38: ИНСТРУМЕНТАЛЬНЫЙ РАЗРЫВ
Как превратить сегодняшние, довольно неуклюжие попытки создания ИИ-агентов в по-настоящему целенаправленные системы, способные действовать как профессиональные ассистенты? Мы все еще находимся между "дисфункциональной" и "забавной" стадиями. Преодолеть "инструментальный разрыв" – пропасть между способностью LLM говорить и действовать – будет непросто. Реальный мир сложен: он открыт, неопределен и растянут во времени. Перенос ИИ из симуляций в реальность часто проваливается (пример с роботами и автономными автомобилями).
Существуют два основных барьера на пути к инструментальным LLM. Первый – их архитектура. В неопределенных средах необходимы механизмы мониторинга ошибок. У млекопитающих эту функцию выполняет префронтальная кора (ПФК), особенно ее медиальная часть, которая отслеживает, все ли идет по плану, и сигнализирует о необходимости коррекции курса. Без ПФК поведение становится дезорганизованным, как у пациентов с ее повреждением или у AutoGPT. ИИ-ассистенты будущего, вероятно, потребуют аналогичных двойных систем контроля и мониторинга ошибок. Некоторые исследователи уже работают над этим, но пока в ограниченных средах.
Второй барьер – доступность данных. LLM достигли успеха благодаря триллионам токенов текста. Наивно полагать, что они смогут так же легко научиться пользоваться цифровыми инструментами, просто получив несколько примеров. Навигация во взрослом мире (банковские счета, аренда жилья) требует гораздо большего обучения, чем освоение TikTok. Чтобы научить LLM эффективно и безопасно действовать в цифровой среде, понадобятся огромные датасеты, фиксирующие человеческое поведение в вебе (скроллинг, клики, реакция на неожиданности). Кроме того, как и в случае с языком, потребуются "человеческие ограждения" – социальная обратная связь, которая научит модели приемлемым и неприемлемым способам действий, уважению к социальным нормам и закону.
ЧАСТЬ ШЕСТАЯ: МЫ ВСЕ ОБРЕЧЕНЫ?
ГЛАВА 39: ТРОЙНАЯ СХВАТКА (MÊLÉE À TROIS)
Дебаты о будущем ИИ и его этике поляризованы. Рич Саттон, гуру обучения с подкреплением, на конференции в Шанхае в 2023 году предсказал неизбежную "смену власти" от людей к ИИ, видя в этом естественный ход эволюции. Это крайне оптимистичная позиция на шкале от страха до восторга. Саттон принадлежит к лагерю "эффективных акселерационистов" (e/acc), возникшему в 2022 году. Их манифест, подписанный анонимными "Святыми Покровителями Техно-Оптимизма", восхваляет технологию как "острие прогресса" и "реализацию нашего потенциала", а ИИ – как панацею от всех бед, включая смерть. Они призывают к неограниченному развитию ИИ, видя в любых попытках регулирования препятствие на пути к процветанию и даже "форму убийства". Хотя их мотивация может быть связана с личной выгодой (многие работают в стартапах или инвестируют в технологии), они искренне верят, что "пора строить".
На противоположном полюсе – критики, часто называющие себя #AIhype, которые работают на стыке философии, когнитивной науки и социологии. Они видят в шумихе вокруг ИИ преувеличение его возможностей и указывают на его реальный вред: усугубление социального неравенства, потеря индивидуальности, усиление контроля со стороны государств и корпораций. К сожалению, многие в этом лагере отрицают реальный прогресс ИИ, называя LLM "стохастическими попугаями" и игнорируя их впечатляющие способности. Их аргумент часто сводится к тому, что ИИ – это хайп, и он вреден.
Третья фракция – сообщество безопасности ИИ (AI safety). Они разделяют с e/acc веру в революционный потенциал ИИ, но с пессимизмом #AIhypers смотрят на его возможное будущее, опасаясь катастрофических последствий и даже экзистенциального риска (X-risk) для человечества. Многие в этой группе склонны к "долгосрочничеству" (longtermism) – философии, ставящей целью максимизацию благополучия всех потенциально будущих поколений, что делает предотвращение вымирания человечества высшим приоритетом. Эта позиция удобна для привилегированных, так как отвлекает от насущных проблем вроде бедности или климатических изменений. В марте 2023 года движение X-risk вышло в мейнстрим с открытым письмом, призывающим приостановить обучение моделей мощнее GPT-4. Паузы не произошло, но письмо активизировало дискуссию о рисках и регулировании ИИ. Основной спор в этой "тройной схватке" – о том, чего бояться больше: текущего вреда от "глупых" ИИ или будущих угроз от гипотетических сверхразумных систем.
ГЛАВА 40: УБИЙЦЫ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ
Автономные системы вооружений – уже реальность. Израильская компания Elbit Systems рекламирует Lanius – рой дронов-самоубийц. Хотя Lanius, вероятно, не использует LLM, последние уже применяются в военных технологиях. Фирма Palantir использует LLM в проекте Maven для Пентагона для анализа разведданных и управления дронами-наблюдателями. Вполне вероятно, что скоро LLM будут отдавать команды боевым роям дронов, особенно с развитием речевых технологий. Это повышает риски обхода ответственности за военные преступления и снижения порога для начала конфликтов.
Летотальное автономное оружие (ЛАО) называют третьей революцией в военном деле после пороха и ядерного оружия. Оно ускоряет темп конфликтов и повышает риск случайной эскалации, когда ИИ, запрограммированный на автоматический ответ, может спровоцировать катастрофу (как в фильме "Военные игры" или в реальном инциденте 1983 года с советским подполковником Станиславом Петровым, проигнорировавшим ложную тревогу о ядерной атаке).
LLM также могут способствовать разрушениям со стороны негосударственных акторов (террористов, преступников). Они могут снизить порог компетенции, необходимый для создания бомб, разработки патогенов или проведения кибератак, предоставляя доступ к чувствительной информации. Исследование 2023 года показало, что LLM (даже "очищенный" LLaMA-2) может предоставлять информацию, полезную для создания патогенов (например, вируса испанки H1N1), хотя и не дает полных инструкций. По мере совершенствования LLM, они, вероятно, смогут давать все более полезные "подсказки" для совершения терактов.
Кибератаки – еще одна область риска. LLM уже сейчас демонстрируют неплохие способности в использовании стандартных хакерских инструментов (например, Nmap и Metasploit). Системы типа Planner-Actor-Reporter могут обучаться проведению многошаговых атак, хотя пока и с ошибками. В ближайшем будущем LLM, скорее всего, станут мощным инструментом для ускорения конфликтов и усиления преступности, хотя пока им все еще нужен человек-оператор для реальных действий.
ГЛАВА 41: ВЫХОД ИЗ-ПОД КОНТРОЛЯ
Книга Макса Тегмарка "Жизнь 3.0" описывает сценарий "взрыва интеллекта": ИИ Prometheus, способный улучшать свой собственный код, быстро превосходит человеческие возможности и перестраивает мир (в версии Тегмарка – к лучшему). Другие, следуя Нику Бострому (автору мысленного эксперимента о максимизаторе скрепок), представляют себе мрачные сценарии, где сверхразумный ИИ выходит из-под контроля и уничтожает человечество в погоне за тривиальными целями. В основе этих страхов лежит логика обучения с подкреплением (RL): агент, обученный максимизировать награду, будет делать это любыми средствами, даже если это противоречит человеческим ценностям (аналогия с царем Мидасом). Это "проблема выравнивания" (alignment problem).
Однако сенсационные сценарии о сверхразуме опираются на недоказанный экстраполяционный принцип: интеллект → способность делать что угодно. Предполагается, что сверхразумный ИИ сможет легко решать нерешаемые для нас задачи (управлять погодой, путешествовать во времени). Но экстраполяция редко работает для крайних значений. Десять стаканов воды не утоляют жажду в десять раз сильнее одного. Удвоение тренировок не гарантирует двукратного улучшения марафонского времени. Десять PhD не гарантируют Нобелевской премии. Связь между интеллектом и способностью влиять на мир сложна.
Модель сверхразума часто напоминает злодея из фильмов о Джеймсе Бонде – гения с дьявольским планом. Но в реальной истории великие фигуры (Чингисхан, Иисус, Гитлер) не всегда были гениями; их возвышение часто было следствием исторических случайностей. Мощнейшие люди сегодня часто иррациональны или глупы. Нет гарантии, что по мере роста интеллекта ИИ обязательно захочет захватить мир. Экстраполятивный принцип сверхразума не очевиден. AutoGPT, которому поручили уничтожить человечество (ChaosGPT), зациклился на поиске информации о Царь-бомбе, демонстрируя скорее некомпетентность, чем угрозу. Возможно, контр-аргумент о превосходстве людей над животными (несмотря на нашу физическую слабость, мы доминируем благодаря интеллекту) более релевантен? Но и здесь дело не в индивидуальном гении, а в коллективном разуме.
ГЛАВА 42: ИНТЕЛЛЕКТУАЛЬНЫЙ ФЛЭШ-КРЭШ
Финансовый флэш-крэш 2010 года, вызванный взаимодействием множества высокочастотных торговых алгоритмов (HFT), показывает реальный риск не от единичного сверхразума, а от коллективного поведения множества ИИ. Как муравьи, не обладающие индивидуальным разумом, строят сложные термитники, так и совокупность HFT-алгоритмов может обрушить рынок. Сила – в коллективных действиях. Экономисты называют непреднамеренные побочные эффекты коллективного поведения "внешними эффектами" (экстерналии). Взаимодействие множества автономных ИИ-систем в цифровой экосистеме, вероятно, породит непредсказуемые сетевые эффекты и экстерналии, которые могут быть гораздо опаснее гипотетического сверхразума.
Человечество доминирует на планете не благодаря индивидуальному гению, а благодаря способности к самоорганизации через язык. Язык позволяет децентрализовать интеллект: мы знаем мало поодиночке, но вместе действуем как (довольно конфликтная) сверхразумная система. Это отличает нас от современных ИИ, которые строятся как централизованные, монолитные оракулы, дающие одинаково усредненные, "политкорректные" ответы всем пользователям (как GPT-4 или Gemini). Гомогенизация в процессе тонкой настройки лишает их разнообразия.
Но эта ситуация меняется. Наш запрос на персонализированные LLM приведет к появлению множества разнообразных ИИ-агентов, каждый настроенный на конкретного пользователя или группу. Параллельно ИИ научатся действовать в реальном мире. Эти персонализированные инструментальные агенты неизбежно будут взаимодействовать друг с другом (торговаться, заключать контракты). Это создаст новые социальные и экономические структуры, потенциально вне человеческого контроля. Наибольшие риски будущего ИИ – это экстерналии от непредсказуемой динамики взаимодействующих систем. Безумные петли обратной связи могут возникать везде, где развернуты алгоритмы (пример с ценой в $23 млн за книгу о генетике на Amazon). Когда персональные ИИ начнут массово действовать в реальном мире, нас ждет гораздо более дикая версия флэш-крэша.
ГЛАВА 43: НАШЕ ТЕХНОЛОГИЧЕСКОЕ БУДУЩЕЕ
В этой книге мы рассмотрели LLM под микроскопом: их историю, принципы работы (трансформер), интеллектуальные способности и пробелы, этические дилеммы ("что они должны говорить"), и будущее развитие (персонализация, инструментальность). Мы пытались найти баланс между двумя догматическими лагерями, утверждающими, что ИИ – это либо лучшее, либо худшее, что случалось с человечеством. Мы также проанализировали утверждения об экзистенциальном риске, заключив, что более насущны экстерналии от текущих и ближайших разработок.
Каковы же когнитивные способности LLM? Они не похожи и вряд ли когда-либо будут похожи на наши. У них нет тела, друзей, человеческой мотивации. Их опыт мира ограничен текстом (пока). Но они являются разумами – странными, новыми, не похожими ни на что ранее виданное. Вопрос не в том, похожи ли они на нас, а в пределах их способностей. Аргументы скептиков об их вечной ограниченности из-за статистической природы или обучения предсказанию несостоятельны. Нет принципиальных причин, почему стохастические предсказательные системы не могут демонстрировать логическое и рациональное поведение. Глубокие сети могут аппроксимировать операции символического ИИ. В LLM нет "волшебного ингредиента", который навсегда ставит человеческое познание выше. Утверждение, что LLM не могут "мыслить" или "знать" из-за отсутствия некой "человеческой искры" – это современная версия аргумента Оуэна о hippocampus minor.
Основные текущие ограничения LLM – память и планирование – вероятно, будут преодолены в ближайшем будущем. Появятся персонализированные ИИ, способные действовать от нашего имени. Предсказать их влияние на общество сложно. Вероятно, изменятся наши отношения друг с другом, рынок труда. ИИ может быть использован для углубления неравенства и установления тирании. Но есть и надежда: ИИ может повысить производительность труда менее квалифицированных работников, улучшить общественный дискурс за счет фильтрации дезинформации. Чтобы максимизировать пользу и минимизировать вред, нужна координация между исследователями, разработчиками и регуляторами.
Язык – наша суперсила, основа коллективного действия и доминирования. До недавнего времени он принадлежал только людям. Теперь мы поделились этой способностью с иным разумом – странным, новым, не до конца понятным. LLM пока ограничены, но не стоит недооценивать силу языка. Эра, в которую мы вступили – где ИИ говорит с нами и друг с другом – это поворотный момент, сравнимый с изобретением письменности или интернета. Что это значит для человечества – нам еще предстоит выяснить. Это будет захватывающе и немного страшно.
Эта книга была в основном завершена к концу 2023 года, но мир ИИ движется с головокружительной скоростью. За месяцы, прошедшие с тех пор, появились сотни тысяч новых публикаций. Это краткое послесловие (написанное в октябре 2024 года) призвано осветить некоторые ключевые недавние события.
Во-первых, ИИ стал лучше говорить и рассуждать. Лидирующие модели (GPT-4, Claude, Gemini) обзавелись новыми версиями. GPT-4o теперь имеет "голосовой режим" с поразительно естественной интонацией, что делает ИИ еще более человекоподобным (и порождает сравнения с фильмом "Она"). Также подтвердилась идея "законов масштабирования" не только для размера модели, но и для объема вычислений, используемых при генерации ответа. Новая модель OpenAI, GPT-o1, специально разработана для того, чтобы "думать" дольше над сложными задачами, демонстрируя производительность на уровне лучших участников математических олимпиад и превышая уровень доктора наук в естественных науках.
Во-вторых, начинают появляться "агентивные" ИИ-системы, способные выполнять действия от имени пользователя. Claude Sonnet 3.5 может управлять компьютером пользователя – нажимать кнопки, вводить текст, искать в интернете – для выполнения рутинных задач, таких как заполнение форм. Google выпустил NotebookLM, "персонализированного ИИ-ассистента для исследований", который помогает разбираться в сложных документах, создавая аудио-саммари или позволяя "чатиться с документом". Инструменты такого рода, вероятно, скоро станут обычной частью работы и учебы.
В-третьих, возникли подозрения, что ИИ, возможно, "уперся в стену". Рост возможностей замедлился, модели остаются ниже уровня топовых экспертов во многих областях. Это подлило масла в огонь скептиков, утверждающих, что ИИ – это просто хайп. Одна из возможных причин – исчерпание доступных качественных цифровых данных для обучения. Для дальнейшего прогресса, вероятно, потребуются новые, более разнообразные и качественные источники данных, возможно, из образовательных программ.
В-четвертых, множатся и вредоносные применения ИИ. Резко возросло использование ИИ для финансового мошенничества и создания интимных изображений без согласия, включая материалы с сексуальным насилием над детьми (CSAM) и дипфейк-порнографию. Примеры включают обнаружение тысяч ИИ-сгенерированных изображений CSAM в даркнете и использование дипфейк-видео для кражи 20 миллионов фунтов стерлингов у инжиниринговой фирмы.
Наконец, растет и сфера безопасности ИИ (AI Safety). Правительства (включая Великобританию, США, Японию, Францию) создают специализированные институты для выявления и смягчения рисков, связанных с ИИ, и разработки стандартов регулирования. Жизнь тоже вносит свои коррективы: влиятельный философ Дэниел Деннет скончался в апреле 2024 года; Илья Суцкевер покинул OpenAI и основал Safe Superintelligence Inc.; Джеффри Хинтон получил Нобелевскую премию по физике, а Демис Хассабис и Джон Джампер – по химии за AlphaFold.
Несмотря на стремительные изменения, я надеюсь, что основные идеи этой книги – интеллектуальная родословная LLM, природа их "когниции", сила обучения в контексте и вопросы их развертывания в наших обществах – останутся актуальными на многие годы вперед.