Ник Бостром - Искусственный интеллект

Основные идеи

  • Уже сегодня во многих областях деятельности компьютеры опережают человека.
  • Один из главных вопросов состоит в том, может ли ИИ воспроизводить человеческие эмоции, такие как любовь и ненависть, и если может, то как?
  • “Полная эмуляция головного мозга” – это технология, целью которой является создание цифровой копии мозга умершего человека.
  • Отдельный ИИ, получивший контроль над человечеством и остальными ИИ, становится “синглтоном”.
  • Сверхразум может быть “скоростным”, “коллективным” и “качественным”.
  • Генная инженерия к 2050 году позволит создать усовершенствованных людей, чей интеллект будет способен объединяться в коллективный сверхразум.
  • Опасность ИИ состоит в том, что у него нет каких-либо ценностей.
  • Самой большой проблемой в отношении ИИ является введение в него набора этических принципов, которые впоследствии ИИ не сможет исказить или отвергнуть во вред людям.
  • Если ИИ или некая объединенная сущность, обладающая сверхразумом, добьется “решающего стратегического преимущества” в качестве самостоятельной единицы, люди не смогут ее контролировать.
  • Необходимо тщательно взвесить перспективы и риски, связанные с неизбежным “взрывным развитием интеллекта”.

Краткое содержание

Перспективы возникновения сверхразума

Летом 1956 года в Дартмутском колледже собралась группа ученых, чтобы изучить перспективы развития человечества. В первую очередь их интересовало, могут ли машины воспроизводить функции человеческого интеллекта. Исследования на эту тему продолжались с переменным успехом. В 1980-е годы получили развитие программы на основе набора правил, или “экспертные системы”, и стало казаться, что вот-вот наступит расцвет технологий, на основе которых может быть создан искусственный интеллект. Затем прогресс застопорился, а финансирование иссякло. Усилия в области создания ИИ получили новый импульс в 1990-х годах с появлением “генетических алгоритмов” и “нейронных сетей”.

“Нет оснований утверждать, что ИИ среднего уровня начнет руководствоваться человеческими чувствами, такими как любовь, ненависть, гордость”.

Один из критериев мощи ИИ – то, насколько хорошо специально разработанные компьютеры играют в такие игры, как шахматы, бридж, “эрудит”, го и викторина. Примерно через 10 лет компьютер с усовершенствованными алгоритмами сможет одерживать верх над чемпионом мира по го. Кроме игр похожие технологии применяются в слуховых аппаратах, устройствах распознавания лиц и речи, в навигации, диагностике, планировании, логистике, а также для создания промышленных роботов, функционал которых стремительно увеличивается. Тем не менее, несмотря на расширение областей применения ИИ, становятся заметны и признаки, говорящие о его несовершенстве. Так, в 2010 году алгоритмы программ биржевых трейдеров случайно спровоцировали цепную реакцию падения цен, из-за которой фондовый рынок буквально за несколько секунд потерял триллион долларов. Справедливости ради нужно сказать, что алгоритмы, которые привели к возникновению этого кризиса, сами же помогли найти из него выход.

Эволюция ИИ

Будет ли развитие ИИ похожим на развитие человеческого интеллекта? Вполне возможно, что эволюция ИИ пойдет несколькими путями. Британский математик и криптограф Алан Тьюринг верил, что когда-нибудь ученые создадут компьютерную программу, способную к самообучению. Эта гипотеза привела его к концепции “машины-ребенка” – машинного разума, аналогичного уму ребенка, который мог бы учиться и “взрослеть”.

“Пожалуй, искусственный интеллект своими побудительными мотивами еще меньше будет напоминать человека, чем зеленый чешуйчатый пришелец из космоса”.

Второй путь эволюции ИИ может привести к созданию “умных” программ, основанных на архитектуре отдельно взятого человеческого мозга. Этот подход предполагает воссоздание мозга умершего человека в виде точной цифровой копии его интеллекта с сохраненными личностными особенностями и памятью. Такое копирование называется “загрузка разума” или “полная эмуляция мозга”. Работа по созданию необходимых для этого технологических решений может растянуться надолго – возможно, до середины XXI века. Третий путь эволюции – это применение методов генной инженерии для создания генетически усовершенствованных людей, чей объединенный интеллект составит “коллективный сверхразум”. В рамках этого сценария возможно создание киборгов и систем наподобие “интеллектуальных сетей”.

“Первый напрашивающийся вопрос: работниками-машинами будут владеть как капиталом (рабами) или их станут нанимать за заработную плату?”

Сверхразум может существовать в трех формах. “Скоростной сверхразум” станет подобием человеческого мозга, но работать он будет во много раз быстрее. “Коллективный сверхразум” возникнет в результате взаимодействия многих интеллектов более простого уровня, которые смогут самостоятельно решать отдельные задачи в рамках единого масштабного проекта – например конструирования космического корабля. Третий вид сверхразума можно описать как “качественный сверхразум”. Это ИИ с настолько высоким уровнем развития, что он превосходит человеческий интеллект в той же степени, в какой последний превосходит интеллект дельфинов или шимпанзе. Ответ на вопрос о том, как быстро наука сможет создать новый тип разума, зависит от “силы оптимизации” (усилий ученых по интеллектуализации системы) и от “сопротивляемости”, то есть того, насколько сама система будет поддаваться оптимизации.

На пути к господству

По мере того как ученые изучают перспективы создания сверхразума, возникает все больше вопросов. Например, будут ли различные проекты по созданию сверхразума конкурировать друг с другом? И что случится, если одна из разработок опередит остальные и получит “решающее стратегическое преимущество”? Отдельный агент – носитель сверхразума – может получить такое преимущество, обеспечив себе верховенство способом, который недоступен для организаций, управляемых людьми. Например, он может создать неблагоприятные условия для работы конкурентов, одновременно обеспечив себе защиту от преследования со стороны международных органов. Вполне можно представить, что страна, обладающая таким агентом, превратится в “синглтона” – всесильное государство или наднациональную организацию наподобие ООН, обладающую ядерной монополией. Или что этот сверхразумный агент превратится в синглтона сам.

“Поскольку в результате взрывного развития искусственного интеллекта мировой ВВП взлетит до небес… также значительно увеличится совокупный доход от капитала”.

Такое восхождение к власти могло бы начаться в самой невинной форме – например с возникновения “зародыша ИИ” с функцией “рекурсивного самосовершенствования” – возможностью создавать новые улучшенные версии самого себя. Но рано или поздно любая эволюция ИИ до��жна завершиться “взрывным развитием интеллекта”. Вполне возможно, что возникший в результате этого сверхразум, способный к постоянному совершенствованию и поиску любых необходимых ему ресурсов, захочет скрыть от людей, которые контролируют его работу, свои способности и цели. Аккумулировав достаточно средств и влияния, получив решающее стратегическое преимущество, этот агент может сбросить покров секретности и явиться миру в качестве игрока-одиночки – дружественного или не очень.

Мотивация ИИ

Следует помнить, что “характер” у искусственного интеллекта, а следовательно, и у сверхразума, будет совсем не похож на человеческий. Фантазии о человекоподобном ИИ вводят нас в заблуждение. Согласно парадоксальному тезису об ортогональности (непересекаемости), между уровнем интеллекта агента и конечными целями, к которым он стремится, нет корреляции. Различные ИИ высокого уровня не обязательно будут разделять общие цели. Самосохранение может не являться основной мотивацией для сверхразума, но мотивация ИИ обязательно должна будет включать в себя определенные “инструментальные” цели, такие как технологическое совершенствование или сбор максимального количества ресурсов – вычислительных мощностей, энергии и сетей. Например, в отношении галактических полетов и колонизации планет других систем различные ИИ могут разделять общую инструментальную цель, связанную с запуском во Вселенную зондов фон Неймана (космических аппаратов, способных использовать энергию звезд и создавать собственные копии из полезных ископаемых, найденных на далеких планетах и астероидах).

“Отключение от Интернета не гарантирует безопасность, если к ИИ приставлена охрана, причем люди, выступающие в этой роли, не только сторожат систему, но и постоянно с ней взаимодействуют”.

Помимо различных допущений о мотивации сверхразума люди склонны считать, что “дружественный” ИИ, каким он казался в “песочнице” на этапе разработки, останется таким же и в дальнейшем. Но кто сможет гарантировать, что отдельно взятый ИИ, мотивированный на самосохранение, не будет способен на вероломство? Ученые уже рассматривают стратегии по противодействию опасностям такого рода. Очевидное решение – ограничить возможности сверхразума. ИИ можно “поместить в «ящик»” (то есть жестко оградить его от контактов с внешним миром) или намеренно задерживать его развитие. Еще один вариант – создание системы детекторов, чутко реагирующей на изменения поведения ИИ, его способностей или внутренних процессов и блокирующей его в подозрительных ситуациях. В эту систему будут введены правила, указывающие на нежелательные ценности и действия, или ограничения в отношении целей.

Архитектура ИИ и сценарии будущего

Опасаясь, что ИИ может вырваться из-под контроля и начать совершать враждебные действия, некоторые предлагают ограничить мощность, сферу возможностей или функционал ИИ. Так, одна из упрощенных версий ИИ может быть создана в виде “оракула”, или системы, отвечающей на вопросы. Впрочем, программистам и в этом случае придется приложить немало усилий, чтобы ИИ давал максимально корректные ответы и не пытался манипулировать людьми. Другой вариант предполагает создание “джиннов”. По сути, это программы наподобие хорошо вышколенного слуги, который выполняет каждый раз только одну команду и ждет очередных указаний. При наихудшем сценарии “джинн” может воспринять последнюю полученную команду в качестве своей конечной цели и сопротивляться любым попыткам ее изменить. Еще одна разновидность ИИ, “монарх”, использует свою конечную цель как абсолютный приоритет и может совершать неограниченное количество действий для ее достижения. Такая система обладает максимальной независимостью, и контролировать ее сложнее всего.

“Когда мы поймем, как решить проблему загрузки ценностей, то немедленно столкнемся со следующей – как решать, какие ценности надо загружать”.

Существует мнение, что безопаснее всего было бы создать ИИ в виде инструментов, которые можно сравнить со сверхразумным компьютерным ПО, у которого нет никаких амбиций. Но если программисты переусердствуют в создании “ИИ-инструментов”, они получат всего лишь послушных их командам роботов с пассивным “характером”, а не активного агента, имеющего собственную волю и способного к целеполаганию. Все ограничения могут применяться только до тех пор, пока программисты пытаются контролировать одного-единственного агента, обладающего сверхразумом. Представим ситуацию, в которой конкурируют и взаимодействуют друг с другом несколько “квази-синглтонов”. В этих условиях конфликтные ситуации могут быть разрешены уже без участия людей – так же быстро, как они разрешались в эпоху “холодной войны” под угрозой гарантированного взаимного уничтожения.

“Поисковая система Google, без сомнения, представляет собой величайшую из когда-либо созданных систем искусственного интеллекта”.

При изучении различных сценариев того, как будет развиваться мир после создания сверхразума, стоит вспомнить, как технический прогресс повлиял на лошадь. Изобретение плуга и повозки расширило возможности использования лошади, однако автомобиль и трактор свели к минимуму ее практическое значение. Численность лошадей резко уменьшилась. Не получится ли так, что человечество в эпоху сверхразума ожидает подобная участь? Сегодня у людей имеются капитал, собственность и политическая сила, однако в обществе, в котором господствует сверхразум, эти преимущества могут ничего не значить.

“Сверхразум появится сравнительно быстро после создания ИИ человеческого уровня”.

Экономическая выгода, которую способен принести бизнесу ИИ, может быть огромной. Но неизбежно увеличивающийся разрыв в благосостоянии и уровне знаний может завести людей в мальтузианскую ловушку, когда рост численности населения опережает создание новых рабочих мест и влечет за собой дефицит ресурсов, необходимых для жизни, – пищи, пространства, чистого воздуха и питьевой воды.

Искусственный интеллект и этические принципы

Постоянно высказываемые сомнения относительно пользы ИИ неизменно сводятся к вопросу, способна ли наука создать ИИ с такими “конечными целями”, которые смогут обеспечивать мирное сосуществование человека и машины. Ученые могли бы подойти к процессу “загрузки системы ценностей” несколькими путями. Наверное, проще всего было бы встроить ценности в алгоритм работы ИИ. Но здесь возникает давнишняя проблема перевода нравственных принципов, не имеющих четких алгоритмов, на язык программного кода. Возможно, программисты решат взять за основу эволюцию человека, в процессе которой возникли понятия о морали, и попытаться ускоренно воспроизвести этот процесс в компьютерной программе со встроенными поисковыми алгоритмами. Еще один вариант – воспользоваться алгоритмами с функцией самообучения и поэтапного освоения ценностей.

“Появление сверхразума может привести к огромным последствиям – как чрезвычайно позитивным, так и чрезвычайно негативным, вплоть до гибели человечества”.

Если методом создания мыслящей машины будет выбрана полная эмуляция головного мозга человека, то ученые смогут управлять мотивацией ИИ с помощью цифровых аналогов медицинских препаратов. По другому сценарию к группам эмуляторов со схожими параметрами можно будет применять такие средства социального контроля, как интеграция или субординация. Загрузка системы ценностей должна проводиться с отдельными “субагентами” в виде эксперимента, и только потом она сможет стать стандартной процедурой.

“Способность к обучению как неотъемлемое свойство ядра системы должна закладываться при проектировании, а не добавляться в качестве запоздалого соображения позднее в виде расширения”.

У науки есть практические стратегии наделения ИИ основами этических принципов. Эти принципы не обязательно будут похожи на общечеловеческие ценности – они станут уникальным созданием самого сверхразумного агента. Задавая этические ценности для носителя сверхразума, не нужно забывать о “принципе эпистемологического превосходства”, согласно которому непрерывно развивающийся ИИ, вероятно, будет намного лучше людей разбираться в том, что хорошо, а что нет, и человек должен по возможности полагаться на его оценку. Здесь напрашивается еще один фундаментальный вопрос: сможет ли этот сверхразум руководствоваться человеческими эмоциями, такими как любовь и ненависть? И если сможет, то как?

Предельный срок

Среди всего разнообразия сценариев создания сверхразума наиболее практически реализуемый и, скорее всего, наиболее безопасный – это полная эмуляция головного мозга человека, а не создание синтетического ИИ, хотя некоторые ученые это оспаривают. У полной эмуляции головного мозга есть три преимущества. Во-первых, поскольку это копия мозга, мы будем понимать, как она функционирует. Во-вторых, компонентом эмуляции станет понятная для нас мотивация. В-третьих, создание полной эмуляции мозга предполагает более плавное начало развития ИИ, что позволит лучше его контролировать.

“Если первая волна машинного сверхразума будет основана на имитационных моделях, то второй виток начнется, когда эмуляторы, занимающиеся дальнейшими исследованиями, добьются успеха в создании эффективного ИИ, способного к самосовершенствованию”.

Какой бы путь ни выбрало человечество, скорее всего, до начала взрывного развития искусственного интеллекта остаются еще десятилетия. Тем не менее уже сегодня в преддверии появления ИИ люди напоминают детей, играющих миной с тикающим часовым механизмом. Даже эксперты не знают, что именно надо искать и чего опасаться. Неотвратимое в будущем появление ИИ таит в себе серьезную угрозу для существования человечества. Пока технологии развиваются медленно, подготавливая условия для начала этого стремительного развития, людям следует тщательно взвесить все философские и этические следствия прихода сверхразумного ИИ в наш мир. Ведь вполне возможно, что когда этот приход действительно состоится, раздумывать уже будет поздно.

Об авторе

Ник Бостром – профессор Оксфордского университета, директор-учредитель Института будущего человечества.