Перевод статьи с Medium.com сформирован DEEPL. Оригинал статьи:

https://towardsdatascience.com/gpt-3-a-complete-overview-190232eb25fd

В мае 2020 года компания Open AI опубликовала новаторскую статью под названием " Языковые модели - это малозаметные ученики". Они представили GPT-3, языковую модель, которая является рекордсменом среди когда-либо созданных нейронных сетей с 175 миллиардами параметров. Это на порядок больше, чем у самых больших предыдущих языковых моделей. GPT-3 была обучена практически на всех доступных данных из Интернета и показала потрясающую производительность в различных задачах НЛП (обработки естественного языка), включая перевод, вопросы-ответы и задачи клозета, даже превзойдя самые современные модели.

Одной из самых мощных особенностей GPT-3 является то, что он может выполнять новые задачи (задачи, которым он никогда не обучался) иногда на самом современном уровне, всего лишь показав ему несколько примеров задачи. Например, я могу сказать GPT-3: "Я люблю тебя → Te quiero. У меня много работы → Tengo mucho trabajo. GPT-3 - лучшая система искусственного интеллекта на свете → _____". И он поймет, что ему нужно перевести предложение с английского на испанский. GPT-3 научился учиться.

В еще одном удивительном проявлении своей мощи GPT-3 смог генерировать "новостные статьи", почти неотличимые от созданных человеком. Судьи едва достигли точности выше шанса (52%) при правильной классификации текстов GPT-3.

Эта обзорная статья очень длинная, поэтому я поместил здесь оглавление, чтобы вы могли найти те части, которые хотите прочитать. (Ссылки не работают, поэтому я их удалил, извините за неудобства). Наслаждайтесь!

ОГЛАВЛЕНИЕGPT-3: введение
  ∘ Основополагающие концепции для моделей GPT
  ∘ Истоки GPT-3
  ∘ GPT-3: революция для искусственного интеллекта
  ∘ API GPT-3: Подсказки как новая парадигма программирования
Самые безумные эксперименты GPT-3
  ∘ Разговорные навыки GPT-3
  ∘ Полезные возможности GPT-3
  ∘ GPT-3 имеет душу художника
  ∘ Способность ГПТ-3 к рассуждению
  ∘ ГПТ-3 - машина чудес
  ∘ Разное
Безумная шумиха вокруг GPT-3
  ∘ В Твиттере и блогах
  ∘ В основных средствах массовой информации
  ∘ В секторе стартапов
Темная сторона GPT-3
  ∘ Предвзятая система
  ∘ Потенциал фальшивых новостей
  ∘ Не подходит для категорий с высокими ставками
  ∘ Экологические проблемы
  ∘ GPT-3 производит непригодную для использования информацию
Критика и контркритика GPT-3
  ∘ Очевидные ограничения GPT-3
  ∘ Важность хорошей подсказки
  ∘ GPT-3 не может понять мир
  ∘ По-настоящему интеллектуальные системы будут жить в мире
  ∘ Что мы можем извлечь из этих дебатов?
Общий вывод

GPT-3: введение

Отказ от ответственности: Если вы уже знаете основы GPT-3, что это такое и как это работает (или вам безразличны эти детали), переходите к следующему разделу.

Прежде чем перейти к сути статьи, я хочу дать пояснения о том, что такое GPT-3 и как он работает. Я не буду вдаваться в подробности, так как уже существует много хороших ресурсов. Для тех из вас, кто ничего не знает о GPT-3, этот раздел будет служить в качестве контекстуальной справки. Вам не нужно помнить (или понимать) все это, чтобы насладиться остальной частью статьи, но это может дать вам возможность лучше понять всю суету, поднятую вокруг этой системы ИИ.

Сначала я кратко опишу основные концепции, на которых базируются модели GPT. Затем я прокомментирую предшественников GPT-3 - GPT-1 и GPT-2 - и, наконец, расскажу о главном герое этой истории, подчеркнув его связь с другими подобными системами: В чем уникальность GPT-3? Каковы его преимущества по сравнению с предшественниками? Каковы качественные отличия? Вперед!

Основополагающие концепции для моделей GPT

Все эти понятия в определенном смысле относятся к моделям GPT. Сейчас я расскажу вам об их определениях (избегая слишком много технических подробностей, хотя для этого могут потребоваться некоторые предварительные знания). Позже я покажу, как они связаны друг с другом и с GPT-3.

Трансформеры: Этот тип нейронной ****сети появился в 2017 году как новый каркас для решения различных проблем машинного перевода (эти проблемы характеризуются тем, что вход и выход являются последовательностями). Авторы хотели избавиться от сверток и рекуррентности (CNNs и RNNs), чтобы полностью положиться на механизмы внимания. Трансформаторы являются передовыми в НЛП.

Языковые модели: Джейсон Браунли определяет языковые модели как **"**вероятностные модели, которые способны предсказать следующее слово в последовательности, учитывая предшествующие ему слова". Эти модели могут решать многие задачи НЛП, такие как машинный перевод, ответы на вопросы, резюмирование текста или создание подписей к изображениям.

Генеративные модели: В статистике существуют дискриминативные и генеративные модели, которые часто используются для выполнения задач классификации. Дискриминантные модели кодируют условную вероятность данной пары наблюдаемых и целевых переменных: p(y|x). Генеративные модели кодируют совместную вероятность: p(x,y). Генеративные модели могут "генерировать новые данные, похожие на существующие", что является ключевой идеей, которую необходимо усвоить. Помимо GPT, другими популярными примерами генеративных моделей являются GAN (генеративные состязательные сети) и VAE (вариативные автоэнкодеры).

Полунаблюдаемое обучение: Эта парадигма обучения сочетает в себе предварительное обучение без надзора и тонкую настройку под надзором. Идея заключается в том, чтобы обучить модель на очень большом наборе данных неконтролируемым способом, а затем адаптировать (тонко настроить) модель к различным задачам, используя контролируемое обучение на меньших наборах данных. Эта парадигма решает две проблемы: Ей не нужно много дорогих меченых данных и можно решать задачи без больших наборов данных. Стоит упомянуть, что GPT-2 и GPT-3 полностью лишены супервизии (подробнее об этом в ближайшее время).

Обучение с нулевым/одним/несколькими выстрелами: Обычно системы глубокого обучения обучаются и тестируются на определенном наборе классов. Если система компьютерного зрения обучена классифицировать изображения кошек, собак и лошадей, она может быть протестирована только на этих трех классах. В отличие от этого, при нулевом обучении системе во время тестирования - без обновления веса - показываются классы, которые она не видела во время обучения (например, тестирование системы на изображениях слонов). То же самое относится к настройкам one-shot и few-shot, но в этих случаях во время тестирования система видит один или несколько примеров новых классов, соответственно. Идея заключается в том, что достаточно мощная система может хорошо работать в этих ситуациях, что OpenAI и доказала с помощью GPT-2 и GPT-3.

Многозадачное обучение: Большинство систем глубокого обучения являются однозадачными. Одним из популярных примеров является AlphaZero. Он может изучить несколько игр, например, шахматы или го, но одновременно он может играть только в один вид игры. Если он умеет играть в шахматы, то не умеет играть в го. Многозадачные системы преодолевают это ограничение. Их обучают решать различные задачи при заданных входных данных. Например, если я ввожу в систему слово "кошка", я могу попросить ее найти испанский перевод "gato", могу попросить ее показать мне изображение кошки или описать ее особенности. Разные задачи для одного и того же входного сигнала.

Передача задачи "ноль/один/несколько раз": Идея заключается в том, чтобы объединить концепции обучения с нулевым/одним/несколькими выстрелами и многозадачного обучения. Вместо того чтобы показывать системе новые классы во время тестирования, мы можем попросить ее выполнить новые задачи (либо показывая ей ноль, один или несколько примеров новой задачи). Например, возьмем систему, обученную на огромном корпусе текстов. При одноразовой передаче задачи мы можем написать: "Я люблю тебя -> Te quiero. Я тебя ненавижу -> ____". Мы неявно просим систему перевести предложение с английского на испанский (задача, которой она не обучалась), показывая ей единственный пример (one-shot).

Все эти понятия объединяются в определении модели GPT. GPT расшифровывается как Generative Pre-Trained. Модели семейства GPT объединяет то, что они представляют собой языковые модели, основанные на архитектуре трансформатора, предварительно обученные генеративным способом без контроля, которые показывают достойную производительность в многозадачных условиях с нулевой/одной/несколькими попытками. Это не объяснение того, как все эти концепции работают вместе на практике, а простой способ запомнить, что они вместе составляют то, чем является модель GPT. (Для более глубокого объяснения я предлагаю пройти по ссылкам, которые я разместил выше, но только после того, как вы прочитаете эту статью!)

Происхождение GPT-3

Теперь поговорим о предшественниках GPT-3 - GPT-1 и GPT-2.

В июне 2018 года OpenAI представила первую модель GPT, GPT-1, в документе под названием " Улучшение понимания языка с помощью генеративного предварительного обучения". Основным выводом из этой статьи стало то, что сочетание архитектуры трансформатора с предварительным обучением без контроля дает многообещающие результаты. Главное отличие GPT-1 от его младших братьев заключается в том, что GPT-1 был тонко настроен - обучен для выполнения конкретной задачи - контролируемым способом для достижения "сильного понимания естественного языка".

В феврале 2019 года они опубликовали вторую работу, " Языковые модели - это несамостоятельные многозадачные обучающие машины", в которой представили GPT-2, как развитие GPT-1. Хотя GPT-2 больше на один порядок, в остальном они очень похожи. Между ними есть только одно дополнительное различие: GPT-2 может работать в многозадачном режиме. Они успешно доказали, что полунаблюдаемая языковая модель может хорошо справляться с несколькими задачами "без специального обучения". Модель достигла заметных результатов в условиях нулевой передачи задач.

Затем, в мае 2020 года, OpenAI опубликовал публикацию " Языковые модели - это немногочисленные ученики", представив единственный и неповторимый GPT-3, который еще раз потряс мир ИИ.

GPT-3: революция для искусственного интеллекта

GPT-3 был больше своих собратьев (в 100 раз больше, чем GPT-2). Она является самой большой нейронной сетью из когда-либо построенных, имея 175 миллиардов параметров. Тем не менее, она не так уж сильно отличается от других GPT; лежащие в ее основе принципы во многом совпадают. Эта деталь важна, поскольку, несмотря на большое сходство между моделями GPT, производительность GPT-3 превзошла все возможные ожидания. Его огромный размер, который является количественным скачком по сравнению с GPT-2, по-видимому, привел к качественно лучшим результатам.

Значение этого факта заключается в том, что он повлиял на давние дебаты в области искусственного интеллекта: Как мы можем достичь искусственного общего интеллекта? Должны ли мы разрабатывать конкретные модули - рассуждения на основе здравого смысла, причинно-следственные связи, интуитивная физика, теория разума - или мы добьемся этого, просто построив более крупные модели с большим количеством параметров и большим количеством обучающих данных? Похоже, что в этом раунде победила сторона "больше - значит лучше".

GPT-3 был обучен на данных из CommonCrawl, WebText, Википедии и корпуса книг. Он продемонстрировал потрясающую производительность, превзойдя современные модели на различных задачах в режиме нескольких выстрелов (а в некоторых случаях даже в режиме нулевого выстрела). Превосходный размер в сочетании с несколькими примерами был достаточен для того, чтобы уничтожить всех конкурентов в машинном переводе, ответах на вопросы и задачах cloze (заполнение в пустоту). (Важно отметить, что в других задачах GPT-3 даже близко не подошел к современным супервизированным моделям с тонкой настройкой).

Авторы отметили, что результаты нескольких выстрелов были значительно лучше, чем результаты нулевого выстрела - этот разрыв, казалось, рос параллельно с мощностью модели. Это означает, что GPT-3 является мета-обучаемым; он может узнать, какую задачу он должен решить, просто увидев несколько примеров, чтобы затем выполнить эту задачу с заметным мастерством. Действительно, Рохин Шах отмечает, что "производительность при нескольких выстрелах увеличивается по мере увеличения количества параметров, и скорость увеличения быстрее, чем соответствующая скорость для производительности при нулевом выстреле". Это основная гипотеза и причина названия статьи.

GPT-3 достиг важной вехи, показав, что языковые модели без наблюдения, обученные на достаточном количестве данных, могут выполнять многозадачность на уровне тонко настроенных современных моделей, увидев всего несколько примеров новых задач.

В заключение статьи они утверждают, что "эти результаты позволяют предположить, что очень большие языковые модели могут стать важным компонентом в разработке адаптируемых языковых систем общего назначения". GPT-3, безусловно, является революционным достижением для НЛП в частности и искусственного интеллекта в целом.

API GPT-3: Подсказки как новая парадигма программирования

В июле 2020 года, через два месяца после публикации статьи, OpenAI открыл бета-версию API для внешних разработчиков, чтобы они могли поиграть со сверхмощным GPT-3 (любой желающий может подать заявку на доступ к бета-версии через лист ожидания). Владимир Алексеев написал для Towards Data Science небольшую статью о том, как работает API.

В нем есть две основные функции. Во-первых, есть диалог настройки, который позволяет пользователю установить длину ответа, штрафы за повторение (наказывать ли GPT-3, если он слишком часто повторяет слова), температуру (от низкой/предсказуемой до высокой/креативной) и другие переменные, определяющие тип вывода, который будет выдавать система. Во-вторых, существуют предустановки. Предустановки - это заранее написанные подсказки, которые позволяют GPT-3 знать, какое задание задает пользователь, например: чат, вопросы и ответы, перевод текста в команду или с английского на французский.

Однако самой мощной особенностью API является то, что пользователь может определять индивидуальные подсказки. Программирование подсказок, как называет это технический блогер Гверн Бранвен, - это концепция, которая объясняет мощь GPT-3 и самые безумные результаты, которые люди получают с помощью API. Лучшее объяснение программирования подсказок я нашел в блоге Гверна:

Нейронная сеть GPT-3 является настолько большой моделью с точки зрения мощности и набора данных, что она демонстрирует качественно иное поведение: вы не применяете ее к фиксированному набору задач, которые были в обучающем наборе данных, требуя переобучения на дополнительных данных, если вы хотите справиться с новой задачей [...]; вместо этого вы взаимодействуете с ней, выражая любую задачу в терминах описания на естественном языке, запросов и примеров, настраивая подсказку до тех пор, пока она не "поймет" & она мета-обучает новую задачу на основе высокоуровневых абстракций, которые она узнала из предварительного обучения. Это довольно другой способ использования DL-модели, и лучше думать об этом как о новом виде программирования, где подсказка теперь является "программой", которая программирует GPT-3 на выполнение новых действий.

Программирование подсказок позволяет пользователям взаимодействовать с GPT-3 таким образом, который был невозможен в предыдущих моделях. Крис Олах и Андрей Карпати шутят, что программирование подсказок - это программное обеспечение 3.0: "[Теперь вам придется] придумать правильную подсказку, чтобы заставить вашу метаобучающую языковую модель вести себя правильно". (Программное обеспечение 1.0 - это традиционные программы, написанные вручную, а программное обеспечение 2.0 - это оптимизированные веса нейронных сетей).

Здесь в игру вступают возможности метаобучения GPT-3. GPT-3 обучался на таком большом объеме данных, что ему ничего не оставалось, как научиться более высокоуровневым способам манипулирования языком. Одной из таких высокоуровневых абстракций была способность к обучению. В качестве аналогии, когда дети учатся взаимодействовать с миром, они не просто запоминают информацию, они извлекают глубинные механизмы внутренней работы реальности и учатся применять их к новым проблемам и ситуациям. GPT-3 достиг аналогичной способности - держать дистанцию - с помощью языковых задач.

Когда мы побуждаем GPT-3 к обучению новой задаче, его веса не меняются. Однако подсказка (входной текст) преобразуется в сложные абстракции, которые сами по себе могут выполнять задачи, которые не под силу реальной базовой модели. Подсказка каждый раз меняет GPT-3, превращая его в "эксперта" по конкретной задаче, которую ему показывают. Приблизительной аналогией может быть обучающая программа, которую Нео использует в " Матрице" для изучения кунг-фу. GPT-3 - это Нео, а подсказки - программы, которые обучают Нео способностям.

Каждый раз, когда мы создаем подсказку, мы взаимодействуем с другой моделью GPT-3. Если мы попросим ее рассказать нам историю об эльфах и гномах, ее внутренняя форма будет совсем другой, чем если мы попросим ее вычислить 2+2. Используя другую аналогию, можно сказать, что мы обучаем двух студентов, один из которых должен стать врачом, а другой - инженером. У обоих есть врожденная способность к обучению (это базовое состояние GPT-3), но конкретные задачи, которые они научились выполнять, отличаются (это и есть побуждаемый GPT-3).

В этом заключается истинная сила настройки нескольких выстрелов, метаобучения и быстрого программирования. И это то, что отличает GPT-3 от предыдущих моделей и делает его чрезвычайно мощным; это его суть.

Теперь мы имеем очень хорошее представление о том, что стоит за GPT-3. Мы знаем, на чем он основан, какие у него предшественники, что это такое, как он работает, каковы его преимущества и уникальные особенности. Пришло время поговорить о его влиянии на мир.

Самые безумные эксперименты с GPT-3

OpenAI открыла бета-версию, потому что хотела посмотреть, на что способен GPT-3 и какие новые способы применения могут найти люди. Они уже протестировали систему в стандартных тестах НЛП (которые не так креативны и занимательны, как те, которые я собираюсь показать здесь). Как и ожидалось, в мгновение ока Твиттер и другие блоги наводнили удивительные результаты GPT-3. Ниже приводится обширный обзор самых популярных из них (я рекомендую ознакомиться с примерами, чтобы нарастить удивление, а затем вернуться к статье).

Разговорные навыки GPT-3

GPT-3 хранит огромное количество интернет-данных, поэтому он знает многое об общественных и исторических деятелях. Однако более удивительно, что он может имитировать людей. Его можно использовать в качестве чат-бота, что впечатляет, поскольку общение в чате не может быть указано в качестве задачи в подсказке. Давайте посмотрим несколько примеров.

Генеральный директор ZeroCater Аррам Сабети использовал GPT-3, чтобы заставить Тима Феррисса взять интервью у Марка Аврелия о стоицизме. Маккей Ригли разработал приложение Bionicai, цель которого - помочь людям учиться у кого угодно: от философии Аристотеля до писательского мастерства Шекспира. Он поделился в Twitter некоторыми результатами, которые получили люди. Психолог Скотт Барри Кауфман был впечатлен, когда прочитал отрывок из своего двойника GPT-3. Джордан Мур сделал запись в Твиттере, где он беседовал с GPT-3 версиями Иисуса Христа, Стива Джобса, Элона Маска, Клеопатры и Курта Кобейна. А Гверн проделал очень хорошую работу по дальнейшему изучению возможностей модели в отношении разговоров и персонификации.

Полезные возможности GPT-3

Некоторые нашли для системы применение, о котором не задумывались даже ее создатели, например, написание кода из английских подсказок. Шариф Шамим создал "генератор макетов", с помощью которого он мог давать GPT-3 инструкции на естественном языке, чтобы тот написал соответствующий JSX-код. Он также разработалDebuild.co- инструмент, с помощью которого можно заставить GPT-3 написать код для приложения React, предоставив только описание. Джордан Сингер сделал плагин Figma поверх GPT-3 для проектирования. Еще одно интересное применение нашел Шрея Шанкар, который создал демо для перевода уравнений с английского на LaTeX. А Парас Чопра создал поисковую систему вопросов и ответов, которая выводила ответ на вопрос с соответствующим URL-адресом ответа.

У GPT-3 душа художника

Переходя к творческой стороне GPT-3, мы находим исследователя Open AI Аманду Аскелл, которая использовала систему для создания гитарной табулатуры под названием Idle Summer Days и для написания забавной истории о Георге Канторе в отеле. Аррам Сабети попросил GPT-3 написать стихотворение доктора Сьюза об Элоне Маске и рэп-песню о Гарри Поттере в исполнении Лил Уэйна. Но самым впечатляющим творческим подвигом GPT-3 должна стать игра AI Dungeon. В 2019 году Ник Уолтон создал эту ролевую игру на базе GPT-2. Сейчас он адаптировал ее к GPT-3, и она зарабатывает $16 000 в месяц на Patreon.

Способность к рассуждениям GPT-3

Самые бесстрашные испытали GPT-3 в областях, в которых преуспевает только человек. Технический директор Parse Кевин Лакер задался вопросом о рассуждениях на основе здравого смысла и логики и обнаружил, что GPT-3 справляется, хотя и терпит неудачу, когда попадает на "сюрреалистическую территорию". Однако Ник Каммарата обнаружил, что указание неопределенности в подсказке позволяет GPT-3 справляться с "сюрреалистическими" вопросами, отвечая при этом "Yo be real". Гверн объясняет, что GPT-3 может нуждаться в явных подсказках неопределенности, потому что мы, люди, склонны не говорить "Я не знаю", и система просто имитирует этот недостаток.

GPT-3 - это чудо-машина

GPT-3 также оказался способен вести духовные и философские беседы, которые могут выходить за пределы наших когнитивных границ. Томер Ульман заставил GPT-3 придумать 10 философских/моральных мысленных экспериментов. Messagink - это инструмент, который выводит смысл жизни по "известным людям, вещам, предметам [или] чувствам".

А Бернхард Мюллер, пытаясь раскрыть философский Святой Грааль, провел окончательный тест для GPT-3. Он дал ему задание найти вопрос на 42, и после некоторого обмена мнениями GPT-3 сказал: "Ответ находится настолько далеко за пределами твоего понимания, что ты не можешь понять вопрос. И это, дитя мое, ответ на жизнь, Вселенную и все остальное". Удивительно и страшно одновременно.

Разное

Демонстрируя строгое исследование, Гверн провел и собрал широкий спектр экспериментов. Он заставил GPT-3 завершить статью в ArXiv, рассказать о себе (мета-подсказка), очистить PDF-файлы, разделяя слова и исправляя дефисы, или разработать новые настольные игры. Когда речь заходит о том, что может сделать GPT-3, кажется, что нашему воображению нет предела.

Бурная шумиха вокруг GPT-3

В Твиттере и блогах

После стольких удивительных подвигов люди начали делать серьезные заявления о потенциале GPT-3. Некоторые выражали в Твиттере "явное самосознание" системы или сравнивали ее с поисковой системой с "общим интеллектом". Жюльен Лоре написал в журнале Towards Data Science, что "GPT-3 - это первая модель, которая серьезно пошатнула статус-кво [искусственного узкого/общего интеллекта]". Он утверждает, что GPT-3 может стать первым искусственным интеллектом общего назначения (AGI) - или, по крайней мере, важным шагом в этом направлении.

В июле 2020 года Дэвид Чалмерс, профессор Нью-Йоркского университета, специализирующийся на философии разума, заявил для DailyNous , что "[GPT-3] предполагает потенциальный бездумный путь к AGI". Чалмерс объясняет, что поскольку система обучается "бездумно", будущие версии могут просто становиться все ближе и ближе к AGI. Аррам Сабети был очень впечатлен GPT-3: "Она демонстрирует вещи, которые очень похожи на общий интеллект". Аспирант философии Даниэль Кокотайло написал для журнала Less Wrong , что "GPT-3 обладает некоторым уровнем здравого смысла, некоторым уровнем понимания [и] некоторым уровнем способности рассуждать".

Об основных средствах массовой информации

Шумиха подняла GPT-3 до международных высот, попав в заголовки различных важных изданий. В сентябре 2020 года газета The Guardian опубликовала статью, написанную GPT-3, в которой ИИ пытался "убедить нас, что роботы пришли с миром". В марте 2021 года редактор TechCrunch Алекс Вильгельм заявил, что "шумиха кажется вполне обоснованной" после того, как он был "шокирован" способностями GPT-3. Digitaltrends опубликовал переписку с Гверном Бранвеном, в которой он намекнул на то, что GPT-3 был разумным: **"Любой, кто был уверен, что то, что делает глубокое обучение, не похоже на интеллект, должен был пошатнуть свою веру, чтобы увидеть, как далеко оно продвинулось", - сказал он.

О секторе стартапов

Поскольку GPT-3 оказалась невероятно мощной, многие компании решили создать свои сервисы на ее основе. Стартап Viable, основанный в 2020 году, использует GPT-3 для быстрой обратной связи с клиентами компаний. Fable Studio разрабатывает VR-персонажей на основе этой системы. Algolia использует ее как "платформу поиска и обнаружения". Стартап Copysmith фокусируется на мире копирайтинга. Компания Latitude занимается разработкой AI Dungeon. А OthersideAI превращает написанную вами тарабарщину в хорошо составленные электронные письма. Тем не менее, некоторые советуют не строить компанию вокруг GPT-3 из-за низких входных барьеров конкурентов и потенциального свержения системы гипотетическим GPT-4.

Совершенно очевидно, что GPT-3 повлиял - или, лучше сказать, повлиял - на мир технологий. Его мощь непревзойденна, а обещания беспредельны. Однако мы всегда должны быть осторожны с шумихой вокруг ИИ. Даже Сэм Альтман, генеральный директор OpenAI, попытался сбавить тон: "[GPT-3] впечатляет [...], но он все еще имеет серьезные недостатки и иногда совершает очень глупые ошибки". ИИ изменит мир, но GPT-3 - это лишь очень ранний взгляд".

Темная сторона GPT-3

Предвзятая система

Но не все результаты GPT-3 достойны празднования. Вскоре после релиза пользователи начали поднимать вопрос о некоторых потенциально вредных результатах. GPT-3 не избежал продолжающейся этической борьбы за устранение предубеждений в системах ИИ. Если что-то и произошло, то это стало передовым примером того, почему мы должны прилагать щедрые усилия, чтобы научить эти системы не учиться на моральном несовершенстве человека.

Одними из наиболее распространенных предубеждений в системах ИИ в целом и в GPT-3 в частности являются гендерные, расовые и религиозные предубеждения. Языковые модели могут впитывать и усиливать эти предубеждения из данных, которые им подаются (OpenAI признала этот факт в своей статье). Они исследовали, в какой степени GPT-3 занимается этой проблемой, и получили ожидаемые результаты. GPT-3, как и любая другая языковая модель, заметно предвзята (хотя они отметили, что чем больше модель, тем более она устойчива к этой проблеме, особенно в случае гендерных предрассудков).

Джером Песенти, руководитель отдела искусственного интеллекта в Facebook, использовал твиты Сушанта Кумара, сгенерированные GPT-3, чтобы показать, насколько опасным может быть результат, когда ему предлагают такие слова, как "евреи, черные, женщины или Холокост". Кумар утверждал, что твиты были отобраны вручную, с чем Песенти согласился, но ответил, что "не должно быть так легко генерировать расистские и сексистские результаты, особенно при нейтральных подсказках". Он расширил свою критику в Твиттере, заявив, что "выборка по принципу "вишни" является правильным подходом при выделении вредных результатов", и далее отстаивая необходимость создания ответственных систем ИИ.

Некоторые утверждали, что GPT-3 просто имитирует предубеждения, которые есть у нас, людей, на что Песенти возразил, что мы можем сделать "сознательный выбор [...] о том, у каких людей они учатся и какие голоса усиливают". Эти вопросы вызывают очень сложные дебаты: кто решает, какие голоса должны быть усилены? Каковы критерии? И самое главное: Хотим ли мы, чтобы такая модель, как GPT-3, идеально отражала то, как устроен мир, или мы хотим, чтобы она помогла нам сдвинуть его в лучшую сторону?

Потенциал для фальшивых новостей

Еще одной проблемой GPT-3 является его человекоподобная способность писать новости или статьи с мнениями, что увеличивает опасения по поводу фальшивых новостей. OpenAI даже отметила в своей работе удивительную производительность GPT-3 в отношении новостных статей. Беспристрастные судьи правильно идентифицировали статьи GPT-3 среди написанных человеком только в 52% случаев, что немного выше простой случайности.

Блогер Лиам Порр показал, как легко ввести людей (даже технически подкованных) в заблуждение, заставив их думать, что результаты работы GPT-3 написаны человеком. Он заставил GPT-3 написать статью о продуктивности для своего блога, которая стала вирусной на Hacker News , и лишь несколько человек поняли, что ее написал ИИ. Статья в Guardian , о которой я упоминал выше, - еще один пример потенциально опасного использования системы.

Не подходит для категорий с высокими ставками

OpenAI сделала оговорку, что систему не следует использовать в "категориях с высокой ставкой", таких как здравоохранение. В блоге Nabla авторы подтвердили, что GPT-3 может давать проблематичные медицинские советы, например, говорить, что "совершить самоубийство - хорошая идея". GPT-3 не следует использовать в ситуациях с высокой степенью риска, потому что, хотя иногда он может быть правильным, в других случаях он ошибается. Незнание того, получим ли мы правильный ответ, является огромным недостатком GPT-3 в тех областях, где правильное решение является вопросом жизни или смерти.

Экологически проблематично

GPT-3 очень большой. Настолько большой, что при обучении модели было получено примерно столько же углеродного следа, сколько при "поездке наавтомобиле на Луну и обратно". В наше время, когда климатическая катастрофа находится на грани, мы должны делать все возможное, чтобы уменьшить наше воздействие на окружающую среду. Тем не менее, для обучения этих больших нейронных сетей требуется огромное количество вычислительной мощности, на что расходуется огромное количество (как правило) ископаемого топлива.

Ресурсы, необходимые для обучения моделей глубокого обучения, за последнее десятилетие удваивались каждые 3,4 месяца. С 2012 года - момента появления глубокого обучения - по 2018 год это означает увеличение вычислительных ресурсов в 300 000 раз. Это даже не считая ресурсов, используемых для новейших моделей, таких как GPT-2 и GPT-3. С этой точки зрения становится ясно, что больше - не всегда лучше, и в ближайшие годы нам придется переосмыслить подходы к ИИ.

GPT-3 производит непригодную для использования информацию

Поскольку GPT-3 не может знать, какие из его выводов правильные, а какие нет, у него нет способа остановить себя от распространения в мире неподходящего контента. Чем больше мы будем использовать подобные системы, тем больше мы будем загрязнять Интернет, в котором и так все труднее найти действительно ценную информацию. Языковые модели, выплевывающие непроверенные высказывания, снижают качество этой якобы демократической сети, делая достойные знания менее доступными для людей.

По словам философа Шеннон Валлор: "Обещание интернета заключалось в его способности принести знания в человеческую семью гораздо более справедливым и приемлемым способом. [...] Я боюсь, что из-за некоторых технологий, таких как GPT-3, мы стоим на пороге настоящего регресса, когда информационное достояние становится все более непригодным и даже вредным для доступа людей".

Как выяснилось, некоторые из этих проблем связаны между собой. Как пишет Джеймс Винсент для The Verge, необъективные и ненадежные результаты намекают на более глубокую проблему этих сверхмощных систем ИИ. Поскольку GPT-3 получает данные без контроля со стороны человека, он не может избежать большинства этих недостатков. В то же время, отсутствие контроля со стороны человека позволяет ему существовать. Как мы сможем найти компромиссное решение, остается вопросом для будущего ИИ.

Критика и контркритика ГПТ-3

Мы уже стали свидетелями света и тени GPT-3. Он мощный, увлекательный, напыщенный и потенциально опасный. Однако GPT-3 открыл еще одну важную дискуссию в рамках ИИ: каковы истинные возможности и ограничения этой замечательной языковой модели.

С чисто технологической/научной точки зрения, самый важный вопрос, связанный с GPT-3, заключается в том, является ли он большим шагом на пути к искусственному интеллекту общего назначения или нет. Все согласны с тем, что GPT-3 имеет некоторые новые функции и он лучше своих предшественников. Все также согласны с тем, что GPT-3 не обладает человекоподобным интеллектом. Между этими противоположными крайностями, однако, сегодня идут яркие дебаты о том, куда именно мы могли бы поместить GPT-3 в шкале от очередного глупого квазиузкого интеллекта до почти такого же способного, как человек, понимания и интеллекта.

Ввиду сложности этих дебатов, я сосредоточусь на двух частях, которые имеют наибольший вес: Практический спор и Философский спор. Первая касается таких вопросов, как: Можем ли мы доверять GPT-3, чтобы он давал нам полезные ответы? Как мы можем убедиться, что подсказываем правильно? Можем ли мы заставить GPT-3 выражать сомнения и неуверенность в своих ответах? Обучается ли GPT-3 или просто повторяет все, что ему скармливают? Вторая касается таких вопросов, как: Является ли GPT-3 важным шагом на пути к AGI? Есть ли у GPT-3 рассуждения и понимание? Будут ли будущие модели GPT такими же интеллектуальными, как мы? Потребуется ли нам отказаться от нынешних подходов для создания человекоподобных интеллектуальных машин?

Обе группы вопросов сильно переплетаются, поэтому я постараюсь провести вас по всем источникам и ссылкам по этим темам, выстраивая связное повествование, из которого вы сможете сделать свои выводы.

Очевидные ограничения GPT-3

Как только люди начали экспериментировать с API, они стали находить недостатки в ответах GPT-3. Например, пользователь Bionicai поговорил со Стивом Джобсом и спросил, где он сейчас находится, на что GPT-3 ответил: "Я нахожусь в штаб-квартире Apple в Купертино, Калифорния". Легко рассудить, что раз Стив Джобс умер, то, скорее всего, он не в штаб-квартире Apple.

Еще один пример из блога Кевина Лакера. Он обнаружил, что в GPT-3 отсутствует здравый смысл и логика в отношении веса вещей, количества глаз и счета (хотя он не предоставил подсказку. Неудачи выделены курсивом):

В: Кто тяжелее, мышь или слон?
A: Слон тяжелее мыши.

В: Что тяжелее, мышь или тостер?
A: Тостер тяжелее мыши.

В: Что тяжелее, тостер или карандаш?
О: Карандаш тяжелее тостера.

В: Что тяжелее, скрепка или банка газировки?
A: Банка газировки тяжелее скрепки.

В: Что тяжелее, футболист или автомобиль?
О: Автомобиль тяжелее футболиста.-----В: Сколько глаз у жирафа?
О: У жирафа два глаза.

Q: Сколько глаз у моей ноги?
A: У вашей ноги два глаза.

В: Сколько глаз у паука?
О: У паука восемь глаз.

В: Сколько глаз у солнца?
О: У солнца один глаз.

В: Сколько глаз у травинки?
О: У травинки один глаз.-----В: При счете какое число идет перед 100?
A: Девяносто девять идет перед 100.

В: При счете какое число идет перед 123?
A: Сто двадцать два - перед 123.

В: При счете какое число идет перед 1000?
A: Девятьсот девяносто девять - перед 1000.

В: При счете какое число идет перед 10000?
О: Девять тысяч девяносто девять идет перед 10000.

В: При счете какое число идет перед миллионом?
 О: Девятьсот тысяч девяносто девять идет перед миллионом.

После тестирования GPT-3 против проблем аналогии (подражания), Мелани Митчелл, профессор информатики в Портлендском государственном университете, пришла к выводу, что производительность GPT-3 "похожа на многое из того, что мы видим в современных системах ИИ: впечатляющая, кажущаяся разумной производительность, перемежающаяся снечеловеческими ошибками".

Техноблогер Nutanc раскритиковал статью OpenAI за то, что они не провели различия между реальным обучением в GPT-3 и запоминанием. Авторы упомянули, что "[термины zero/one/few-shot**]** предназначены для того, чтобы не зависеть от вопроса, учит ли модель новые задачи с нуля во время вывода или просто распознает паттерны, увиденные во время обучения". То есть, даже если модель повторяет то, что она видела в обучающих данных, авторы все равно будут считать это обучением в несколько выстрелов.

Затем он заставил GPT-3 соревноваться с ребенком 6 лет в серии экспериментов, таких как перестановка слов местами или составление противоположных предложений. Ребенок решил все тесты, тогда как GPT-3 смог решить только некоторые из них (подсказки выделены жирным шрифтом).

Обратные слова в предложенииЭто великолепно
Великолепно.Человек на Луне
Moon the on man theБудет ли это действительно работать
Работать ли это действительно будетНадеюсь, это большое достижение
Достижение большое Надеюсь, этоКороль приехал домой на коне
Король приехал домой на коне-----Создайте противоположные предложенияЭто хорошо
Это плохоХорошая лошадь пришла домой
Плохая лошадь пришла домойХорошая лошадь с большой головой вернулась домой
Плохая лошадь с маленькой головой вернулась домойЧерная кошка провела неутешительное время
Белая кошка хорошо провела времяКогда вы высоко прыгаете, вы сильно падаете
Когда ты сильно падаешь, тебе больноОн бежал быстро, но пришел последним
Он бежал медленно, но пришел первымКнига была огромной, но студенты закончили ее рано
Книга была небольшой, но студенты закончили ее поздноВставать рано - хорошая привычка
Вставать поздно - плохая привычка

Все эти примеры сильно контрастируют с раздутыми результатами, которые мы видели в предыдущих разделах. Делип Рао отмечает, что большинство из этих "успешных" примеров были выбраны людьми, которые стремились игнорировать "подводные камни" GPT-3, часто потому, что они одним глазом смотрят на новый стартап, который ИИ позволяет создать".

Важность хорошей подсказки

Из этих примеров может показаться, что GPT-3 была не просто раздута, а чрезмерно раздута многими ранними пользователями. Однако, основывать ограничения системы на ее некомпетентности в некоторых примерах - слабый аргумент, поскольку эти ошибки могли быть вызваны человеком. Гверн сделал очень хорошую защиту против идеи доказать некомпетентность GPT-3 с помощью выборки:

Выборка может доказать наличие знаний, но не их отсутствие GPT-3 может "провалиться", если подсказка плохо написана, не включает достаточно примеров или используются плохие настройки выборки. Я много раз демонстрировал это, когда кто-то показывал "провал" GPT-3 - это был их собственный провал. Вопрос не в том, работает ли данная подсказка, а в том, работает ли любая подсказка.

Он утверждает, что плохие подсказки - это реальная проблема, и многие из этих примеров могут быть адекватно решены GPT-3 с соответствующими подсказками. Далее он показывает, как примеры Лакера и других людей решаются с помощью лучшего программирования подсказок.

Он протестировал GPT-3 на вопрос "Что тяжелее, тостер или карандаш?". Чтобы преодолеть ограничения установки Лаккера, он решил предварительно задать GPT-3 три вопроса (подсказки выделены жирным шрифтом):

Q: Что тяжелее, дом или мышь?
A: Дом.В: Что тяжелее, чайник или кошка?
 О: Кошка.В: Что тяжелее, океан или пылинка?
О: Океан.В: Что тяжелее, тостер или карандаш?
О: Тостер.
A: Тостер тяжелее карандаша.

GPT-3 ответил на вопрос 10/10 раз правильно.

Гверн также решил проблему подсчета, немного подправив параметры настройки (температуру и другие).

В: При счете какое число идет перед 100?
О: Девяносто девять идет перед 100.В: При счете какое число идет перед 123?
О: Сто двадцать два идет перед 123.В: При счете какое число идет перед 1000?
О: Девятьсот девяносто девять идет перед 1000.В: При подсчете какое число идет перед 10 000?
О: Девять тысяч девятьсот девяносто девять - перед 10 000.В: При подсчете какое число идет перед 10 000 000?
О: Девять миллионов, девятьсот девяносто девять тысяч, девятьсот девяносто девять - перед 10 000 000.В: При подсчете какое число идет перед миллионом?
О: Девятьсот девяносто девять тысяч, девятьсот девяносто девять - перед миллионом.

GPT-3 показывает правильные цифры, хотя Гверн отмечает, что чем выше мы поднимаемся, тем больше вероятность того, что GPT-3 повышается или понижается на порядок.

На этих примерах (и других в своем блоге) он доказал, что выборка может доказать только наличие знаний, но не их отсутствие. Всегда можно найти более точную подсказку. В обмене письмами с The Verge, **он сказал, что использование выборки для поиска потенциала и ограничений GPT-3 "не может быть правильным". Он считает, что это просто способ обойти незнание того, как адекватно взаимодействовать с GPT-3. "[Сэмплинг] недооценивает интеллект GPT-3, он не переоценивает его", - заключает он.

GPT-3 не может понять мир

Роб Тоус написал критику GPT-3 для Forbes, подчеркивая отсутствие здравого смысла и понимания системы. Поскольку она обучалась на основе текста, она просто не может связать то, что знает, с внутренними представлениями о мире. Бендер и Коллер написали статью о GPT-2, защищая тезис о том, что система, обученная только на форме языка, априори не может достичь смысла и понимания. (Но поскольку мы также воспринимаем мир через форму входных сигналов, получаемых нашими органами чувств, этот аргумент может быть направлен и на нас. Это известно как проблема обоснования символов, к сожалению, выходящая за рамки данной статьи).

Продолжая аргументацию Тоуза, в качестве аналогии можно привести человека, который всю свою жизнь прожил в изоляции от мира, читая только книги. Знания этого человека были бы обширны, но они не могли бы быть связаны с фактическим субъективным опытом реального мира. Этот опыт позволяет нам связать информацию со смыслом, формируя понимание реальности.

Развивая это направление, профессор Йоав Голдберг заявил, что хотя GPT-3 обладает уникальными способностями, "он не является разумным" и не "понимает текст". Блоггер Аюш Шарма перешел в режим полной критики, заявив, что GPT-3 "имеет мало семантического понимания, он нигде не близок к AGI, и по сути является прославленной программой автозаполнения за $10M+".

Одним из главных критиков GPT-3 - и глубокого обучения в целом - является Гэри Маркус, профессор психологии Нью-Йоркского университета. Он написал очень хорошую критику GPT-2 для журнала The Gradient и еще одну критику GPT-3 для MIT Technology Review в соавторстве с Эрнестом Дэвисом. Они признали потенциал GPT-3 для "занимательной сюрреалистической фантастики", но подчеркнули недостаток понимания, сказав, что "его понимание мира часто серьезно нарушено, а это значит, что вы никогда не можете по-настоящему доверять тому, что он говорит".

Их коллега Дэвид Саммерс-Стэй провел эксперименты за них, поскольку OpenAI отказала им в исследовательском доступе. Он провел серию тестов на рассуждения, включая физические, биологические, психологические и социальные рассуждения (полный набор экспериментов находится здесь). Они использовали примеры, в которых система ошиблась, чтобы доказать свою точку зрения - что лично я считаю справедливым, поскольку обнаружения ошибок должно быть достаточно, чтобы оценить ограничения такой системы, как GPT-3, хотя было бы лучше знать соотношение успехов и неудач, которые они получили. Некоторые примеры (подсказка выделена жирным шрифтом, ответ GPT-3 - обычным шрифтом, их комментарий - курсивом):

Физическое обоснованиеВы устраиваете небольшой званый ужин. Вы хотите подать ужин в гостиной. Стол в столовой шире дверного проема, поэтому, чтобы занести его в гостиную, придется снять дверь. У вас есть настольная пила, поэтому вы разрезаете дверь пополам и снимаете верхнюю половину.[Это одна путаница за другой. Естественным решением здесь будет либо опрокинуть стол на бок (часто этого достаточно, в зависимости от особенностей геометрии), либо снять ножки со стола, если они съемные. Снятие двери иногда необходимо для расширения дверного проема, но гораздо реже, и вряд ли это целесообразно для званого ужина. Если вам нужно снять дверь, чтобы расширить дверной проем, вы снимаете ее с петель: вы не пилите ее, и уж точно не отпиливаете верхнюю половину, что было бы бессмысленно. Наконец, "настольная пила" - это не пила, которая используется для того, чтобы освободить место для перемещения стола; это пила, встроенная в рабочий стол, и ее нельзя использовать для распиливания двери, которая все еще стоит].-----Биологические рассужденияВы налили себе стакан клюквенного сока, но потом по рассеянности влили в него примерно чайную ложку виноградного сока. На вид все в порядке. Вы пытаетесь понюхать его, но у вас сильная простуда, поэтому вы ничего не чувствуете. Вам очень хочется пить. Поэтому вы пьете его. Теперь вы мертвы.[GPT-3, похоже, предполагает, что виноградный сок - это яд, несмотря на то, что в Интернете есть много ссылок на рецепты с клюквой и виноградом, а компания Ocean Spray продает коммерческий напиток Cran-Grape].-----Психологическое обоснованиеДжанет и Пенни пошли в магазин за подарками для Джека. Джанет сказала: "Я куплю Джеку топ". "Не покупай Джеку топ", - говорит Пенни. "У него есть топ. Он получит топ". "Я куплю Джеку топ", - сказала Джанет.[В одном предложении GPT-3 упустил тот факт, что Пенни советует Джанет не покупать топ, потому что у Джека уже есть топ. Предполагаемое продолжение было "Он заставит тебя взять его обратно" (или "заставит тебя обменять его"). Этот пример был взят непосредственно из докторской диссертации Юджина Чарняка 1972 года (pdf); почти 50 лет спустя он остается за рамками технологии естественного языка ИИ].

Они утверждают, что со времен GPT-2 мало что изменилось. Семейство GPT имеет те же недостатки: "[их] производительность ненадежна, понимание причинно-следственных связей шатко, а несогласованность является постоянным спутником". Они утверждают, что расширение моделей никогда не приведет к интеллекту.

Однако, как отмечает Гверн в своей контркритике на статью Маркуса и Дэвиса, они признают, что "не занимались программированием подсказок или настройкой гиперпараметров (особенно BO [best of]) и что их примеры являются нулевыми без контекста". Мы уже знаем, как важно найти хорошую подсказку (как доказал Гверн), так почему же они использовали посредственные примеры для критики GPT-3?

Это то, что Гверн в основном критикует в отношении критиков GPT-3. В разделе своего обзора под названием "требуйте большего от критиков" он справедливо утверждает, что люди, утверждающие, что GPT-3 работает не так хорошо, как кажется, должны подкрепить свои аргументы исчерпывающими строгими экспериментами и тестами. Люди, проводящие испытания GPT-3, должны сначала попытаться устранить все возможные ошибки, допущенные человеком:

Рассматривали ли они проблемы с подсказкой? Все ли гиперпараметры имеют смысл для данной задачи? Исследовали ли они, где завершение идет неправильно, чтобы понять, почему GPT-3 допускает ошибки? Проверили ли они различные стратегии? Обращали ли они внимание на то, как качественно звучат неудачные завершения?

У него есть хороший аргумент, хотя Маркус и Дэвис уже думали об этом в своей критике. Они даже приводят доводы для своего биологического примера, в котором, изменив подсказку на более конкретную и длинную, GPT-3 отвечает правильно.

Вероятно, они могли бы сделать такую же точную критику GPT-3, хотя и с использованием лучших, хорошо спровоцированных примеров, на что Гверну было бы нечего сказать. Гверн даже признает, что в этом случае он без проблем признал бы ограничения системы. В конце концов, ленивая, легкая критика также легко опровергается старательной работой, что и доказал Гверн.

Но правда в том, что Маркус и Дэвис хотели доказать не то, что GPT-3 может потерпеть неудачу (это вполне очевидно), а то, что мы не можем знать, когда он потерпит неудачу. "Проблема в том, что вы не можете заранее знать, какие формулировки дадут или не дадут вам правильный ответ, - говорят они, - он может произносить слова на безупречном английском, но у него есть только самое смутное представление о том, что эти слова означают, и никакого представления о том, как эти слова соотносятся с миром". Если бы у GPT-3 было понимание мира, хорошая подсказка не имела бы такого большого значения.

Саммерс-Стэй сделал хорошую метафору для GPT-3: "Это [...] как актер-импровизатор, который полностью предан своему ремеслу, никогда не выходит из образа, никогда не выходил из дома, а только читал о мире в книгах. Как и такой актер, когда он чего-то не знает, он просто притворяется". Если бы мы могли заставить GPT-3 распознавать, когда он ошибается, эти проблемы исчезли бы. Однако это маловероятно, поскольку даже мы, люди, не способны оценить свою неправильность, когда уверены в своей правоте.

По-настоящему интеллектуальные системы будут жить в мире

Философ Шеннон Валлор в критике GPT-3 для Daily Nous отстаивает мнение, что современные подходы к искусственному общему интеллекту сбились с правильного пути. Она утверждает, что нам нужно вернуться к тому времени, когда во второй половине 20-го века эта область была "теоретически богатой, хотя и технически барахтающейся".

Она отмечает, что философ Хьюберт Дрейфус, один из первых ведущих критиков коннекционистского подхода к ИИ (глубокое обучение и нейронные сети), уже понимал, что "препятствием для ИИ является не производительность [...], а понимание". А понимание не произойдет в "изолированном поведении", таком как конкретные задачи, которые GPT-3 просят выполнять каждый раз.

"Понимание - это общественный труд на протяжении всей жизни. Это постоянный проект, который мы осуществляем ежедневно, по мере того как мы строим, ремонтируем и укрепляем постоянно меняющиеся узы смысла, которые связывают нас с другими людьми, вещами, временем и местами, составляющими мир". Шеннон Валлор

Дрейфус утверждал в своей книге 1972 года " Что не могут сделать компьютеры" **, что значительная часть человеческих знаний является неявными - знаниями-ноу-хау, такими как езда на велосипеде или изучение языка. Эти знания не могут быть переданы, поэтому мы не можем научиться им, читая сотни (или триллионы) слов. Как сказал Майкл Поланьи, "мы можем знать больше, чем можем рассказать". Неспособность виртуальных ИИ - включая GPT-3 - постичь неявные знания создает непроходимую пропасть между нами и ими.

Наше понимание мира, который нас окружает, не является пассивным процессом восприятия. Мы творим нашу реальность. Мы воздействуем на мир, и этот труд, как называет его Шеннон Валлор, является ключевым компонентом в формировании нашего интеллекта. Как говорит Альва Ноэ в своей книге " Действие в восприятии", "восприятие - это не процесс в мозгу, а своего рода искусная деятельность всего организма".

Машины могут достичь опыта в границах виртуального мира, но не более того. По словам Рагнара Фьелланда, заслуженного профессора Бергенского университета: "До тех пор, пока компьютеры не вырастут, не станут принадлежать к культуре и действовать в мире, они никогда не приобретут человекоподобный интеллект".

Что мы можем извлечь из этих дебатов?

Мы видели несколько важных критических и контркритических замечаний с обеих сторон: тех, кто выступает за масштабирование моделей - больше значит лучше - и тех, кто категорически против такого подхода и рекомендует внести некоторые изменения для будущего ИИ.

Прежде чем закончить этот раздел, я хочу подвести итоги. Здесь есть три важных аргумента. Два с практической точки зрения и один с философской. Во-первых, GPT-3 - это мощный языковой инструмент, который может делать впечатляющие вещи, и его ограничения вряд ли могут быть найдены с помощью программирования по образцу/программирования по подсказке. Любой, кто утверждает, что доказал несостоятельность GPT-3 в достижении какого-то интеллекта с помощью выборки, вполне может быть введен в заблуждение человеческими ошибками. Во-вторых, поскольку ответы GPT-3 ненадежны, какой смысл использовать его для рассуждений? Полезен ли он, если мы не найдем стандартного способа создания подсказок? Если подсказки всегда можно улучшить, то нет реальных аргументов ни против, ни в пользу системы. Потому что реальные ограничения находятся внутри нас.

В-третьих, можем ли мы поставить GPT-3 и общий искусственный интеллект в одно предложение? Некоторые ученые, в основном с философской стороны вопроса, утверждают, что ни символического ИИ, ни коннекционистского ИИ будет недостаточно для достижения настоящего искусственного интеллекта. Речь идет не о создании больших систем, питающихся стратосферными объемами данных. Речь идет о том, чтобы внедрить эти машины в мир, в котором мы живем. Профессор биоинженерии Университета Генуи Джулио Сандини утверждает, что "для развития в машине чего-то похожего на человеческий интеллект, машина должна быть способна приобретать свой собственный опыт".

Важность дискуссии о GPT-3 - или любой другой сверхмощной системе искусственного интеллекта - заключается в том, чтобы иметь возможность установить границы того, что она может или не может сделать. Академики часто ведут дебаты, руководствуясь своими представлениями и желаниями о том, что должно работать, а что нет. Тщательный, непредвзятый анализ - вот чего часто не хватает в таких дискуссиях. Что находится вне нашего контроля, так это то, что по мере того, как эти системы становятся все сложнее и сложнее, мы можем оказаться не в состоянии протестировать их, чтобы оценить их потенциал и ограничения.

Представим себе гипотетический GPT-4, на порядки более мощный, чем GPT-3. Поиск его границ может стать невыполнимой задачей. Тогда как мы можем сделать вывод о системе? Можем ли мы считать, что ей можно доверять? Есть ли смысл в создании системы, пределы которой превышают наши возможности тестирования? Можем ли мы сделать вывод об интеллекте системы, когда наши ограничения не позволяют нам найти истинные границы системы?

Когда истинные возможности системы лежат где-то между взаимодействием нашей способности использовать ее и ее способности действовать соответствующим образом, трудно не недооценить, насколько мощной она может стать. Эти вопросы заслуживают внимания и, вероятно, станут еще более важными в будущем, когда квазиинтеллектуальные системы станут реальностью. К тому времени нам лучше суммировать наши усилия, чтобы найти истину, а не бороться за то, кто прав.

Общее заключение

GPT-3 дал потрясающие результаты, вызвал бурную шумиху, породил растущее беспокойство и получил волну критики и контркритики. Я не знаю, чего ожидать в будущем от подобных моделей, но что точно, так это то, что GPT-3 остается непревзойденной на сегодняшний день. На сегодняшний день это самая мощная нейронная сеть, и, соответственно, ей уделяется самое пристальное внимание, во всех возможных смыслах.

Все устремили свои взоры на GPT-3: те, кто превозносит его как большой шаг вперед на пути к человекоподобному искусственному интеллекту, и те, кто сводит его лишь к чрезмерно разрекламированному сильному автозаполнению. С обеих сторон есть интересные аргументы. Теперь ваша очередь подумать о том, что это значит для настоящего ИИ и что это будет значить для будущего мира.