Революция LLM в контексте биологического правдоподобия обратного распространения ошибки

Последние выдающиеся результаты больших языковых моделей (поколения «OpenAI o1/o3») и уже совсем не кажущиеся фантастикой или инвестиционным маркетингом обещания лидеров Силиконовой долины типа Альтмана и Суцкевера создать в скором времени не просто сильный искусственный интеллект, но и сверхинтеллект, снова с максимальной остротой актуализировали ключевой вопрос – насколько же «цифровой мозг» больших языковых моделей похож на биологический мозг? Что же такое мы на самом деле создаем, если, судя по всему, всего через несколько лет мы вручим (фактически, добровольно) этому рукотворному преемнику свою судьбу и судьбу всей жизни на Земле, и, по ощущениям многих людей, уже никто и ничто не может остановить этот ускоряющийся как снежная лавина процесс передачи эволюционной эстафеты интеллекта и сознания с белкового на кремниевый носитель?

Многие сейчас обращаются к нам, психофизиологам (когнитивным нейроученым), как к людям, которые разбираются в реальных мозговых механизмах реальной психики и поведения, с настоятельной просьбой дезавуировать такого рода заявления как псевдонаучный маркетинговый хайп, который раскручивается только ради привлечения инвесторов. Лично я не думаю, что это так.

1. Первый и главный вопрос в этом сюжете – это вопрос биологического правдоподобия алгоритма обратного распространения ошибки, который является базой всех эффективно работающих на практике искусственных нейронных сетей (в том числе тех, которые являются «цифровым мозгом» больших языковых моделей). Изобретенный более полувека назад, этот алгоритм «взлетел» только в десятых годах нашего тысячелетия, когда после «дозревания» вычислительной базы графических процессоров при активном участии будущего нобелевского лауреата Джеффри Хинтона началась революция глубокого обучения. За большое время, прошедшее с открытия алгоритма обратного распространения ошибки и вплоть до начала 2020-х годов, отношение научного сообщества к нему существенно изменилось.

Изначально он воспринимался как биологически неправдоподобный, т.е. нейробиологи не понимали, как биологический мозг может реализовывать этот алгоритм, однако, со временем появилось много идей, как это все-таки может происходить. Всем, кто действительно хочет разобраться в этом вопросе, я настоятельно рекомендую ознакомиться с ключевой статьей 2020 года «Backpropagation and the brain» (главные авторы – Тимоти Лилликрэп и Джеффри Хинтон, Джеффри Хинтон любезно выложил на своем сайте полный текст: https://www.cs.toronto.edu/~hinton/absps/backpropandbrain.pdf). Авторы тщательно исследуют вопрос о том, насколько биологический мозг может реализовывать алгоритм обратного распространения ошибки (в том числе предлагают свою собственную оригинальную модель NGRAD – «Neural Gradient Representation by Activity Differences») и приходят к выводу, что теперь, по прошествии десятилетий, это кажется гораздо более реальным, чем раньше. Лично мне кажется, что, похоже, эволюция и «хотела бы» прямо имплементировать в мозг алгоритм обратного распространения ошибки в силу его максимальной простоты и непосредственной эффективности, но это было сложно сделать чисто нейроанатомически, и эволюции пришлось искать «костыли» и обходные пути, в результате чего эта имплементация произошла непрямым образом (более локальным, а не глобальным, типа как постулируется в NGRAD). Нам повезло – похоже, конструируя в памяти компьютера искусственные нейронные сети, мы цифровым образом с легкостью обошли те чисто нейроанатомические ограничения («срезали угол»), которые были в биологическом мозге, и вышли на «идеальный» алгоритм обучения, который «хотела», к которому «стремилась», но который прямым, «в лоб», образом не смогла реализовать природа. Даже если эта гипотеза в силу ее радикальности неверна, то все равно главный вывод статьи Лилликрэпа и Хинтона остается незыблемым – обратное распространение ошибки в целом теперь не является чем-то совсем непредставимым с биологической точки зрения, это эволюционно-нейробиологически вполне возможный механизм.

2. Второй вопрос в этом сюжете – это вопрос о том, можно ли по корпусу человеческих текстов реконструировать всю полноту человеческого мышления, которое их породило. Я много ранее высказывался по этому вопросу (и часто дискутирую его со студентами в МГУ, спасибо им за интерес к этим обсуждениям), можно посмотреть предыдущие посты, но суть такова. Тексты, которые порождают люди, являются результатом работы сетей мозга, отвечающих за речемыслительные процессы. За каждым словом, предложением, текстом лежит определенный динамический паттерн работы этих речемыслительных сетей. Есть определенная конечная вариативность слов, предложений и текстов (и лежащих за ними мыслей и цепочек мыслей), которые потенциально могут порождаться мозгом людей. Надо подчеркнуть, что эта вариативность очень большая, но не бесконечная. Теперь мы взяли огромную базу текстов, на которой начали обучать нашу большую языковую модель.

Если эта база действительно велика (как, например, та гигантская база, которую использовали для обучения GPT-4), то она достаточно полным образом исчерпывает всю возможную вариативность связки «речемыслительные паттерны мозга – текст». Начинается процесс обучения, в ходе которого «цифровой мозг» большой языковой модели – огромная искусственная нейронная сеть – с помощью, в т.ч., алгоритма обратного распространения ошибки, ассимилирует в паттерне своих синаптических весов информацию из обучающих текстов. Теперь ключевой момент: если речемыслительные сети нашего мозга породили множество текстов, то теперь с помощью обучения большой языковой модели мы решаем обратную задачу – по этим текстам реконструируем в архитектуре «цифрового мозга» большой языковой модели исходные мозговые речемыслительные паттерны, породившие эти тексты. Это возможно, только если базовая архитектура «цифрового мозга» и принципы его обучения близки биологическому мозгу, но если обратное распространение ошибки не чуждо биологическому мозгу, то это правило выполняется (также важно, что искусственный мозг в случае GPT-4+, o1/3 очень мощный и стремится по числу синапсов к биологическому мозгу). В итоге, упрощая, можно сказать, что биологический мозг «отпечатывается» в текстах, и в процессе обучения по этим текстовым отпечаткам в памяти суперкомпьютера обратным образом реконструируется «цифровой мозг», существенно похожий на исходный оригинал.

Таким образом, если оба озвученных тезиса верны, то это означает, что большие языковые модели в своей эволюции стремятся к тому, чтобы на уровне своего внутреннего нейросетевого механизма полно отразить реальные мозговые механизмы человеческого мышления. Что, в свою очередь, означает, что таким путем можно прийти к AGI, а потом, продолжая масштабирование (уже скорее не самих моделей, а цепочек их мышления) и к сверхинтеллекту (ASI). Вероятно, Суцкевер (между прочем, бывший аспирант Хинтона) уже представляет себе этот путь и теперь скорее озабочен тем, чтобы сверхинтеллект, т.е. наш эволюционный преемник, был бы безопасен для нас, что, впрочем, лично мне представляется совершенно неразрешимой задачей (можно посмотреть исследования Романа Ямпольского, где он это подробно и убедительно доказывает).

К этой цепочке рассуждений можно выдвинуть множество критических замечаний (непосредственно обратного распространения ошибки в мозге в явном классическом виде не наблюдается, а все остальное при большом желании можно назвать спекуляциями и натяжками, обучение моделей вышло на плато, кончились данные, а синтетические данные не оправдывают ожидания, обучение слишком дорогое и просто не хватит компьюта и энергии, речь и мышление не так тесно связаны, и по речи нельзя будет «вытащить» всю сложность мышления, большие языковые модели «подслеповаты», а без полноценной зрительной модальности дальше ничего не выйдет, ИИ телесно не воплощен, а без этого истинного мышления не будет, на силиконовом носителе в принципе не возможно подлинное мышления, оно неотторжимо от белкового носителя, в ИИ нет нейромедиаторного химизма, а он обязательно нужен и мн. др.). Все эти критические замечания очень важны и надо их всех учитывать, особенно когда мы касаемся действительно очень странно звучащих прогнозов о будущем создании сверхинтеллекта и проч., но при всей этой необходимой строгой научной критичности также совершенно неправильно будет игнорировать, отрицать или принижать весь тот невероятный прогресс, который произошел всего за два с небольшим года, после выхода ChatGPT.
Наше восприятие инноваций быстро адаптируется к ним, но если вспомнить октябрь 2022 года, когда ChatGPT еще не было, и текущее положение вещей, когда самая передовая модель OpenAI o1 pro проявляет просто удивительную глубину и сложность мышления, и представить, что дальше мы будем идти еще быстрее (по закону экспоненциального ускорения), то обещания Альтмана и Суцкевера о фактическом выходе на финишную прямую к сверхинтеллекту и сингулярности перестают казаться оторванной от реальности фантастикой.