September 22, 2020

Последнее изобретение человечества

Джеймс Баррат | Книги[hub]

1. О чем эта книга?

Книга Джеймса Баррата «Наше последнее изобретение» (в российском издании «Последнее изобретение человечества») посвящена опасности, которую несет активное развитие искусственного интеллекта (ИИ).

Книга вышла в 2013 году и с тех пор мы еще больше продвинулись к созданию интеллекта человеческого уровня (УЧИ). Не так давно искусственный интеллект одолел чемпиона мира в го, а еще раньше прошел тест Тьюринга, введя в заблуждение часть судей, которые поверили, что переписываются с мальчиком из Одессы Женей Густманом. Но, безусловно, цели создателей искусственного интеллекта гораздо масштабнее, чем производство машин, обыгрывающих людей в игры.

В своей книге режиссер-документалист Джеймс Баррат рассказывает о неизвестных широкой публике опасностях, которые таит в себе развитие искусственного интеллекта. Его мнение покажется необычным, так как средства массовой информации преподносят открытия из области искусственного интеллекта в основном в положительном ключе. Во многом это объяснимо. Благодаря развитию технологий мы решаем задачи, ранее казавшиеся непосильными, и впереди видятся еще более удивительные возможности. В результате многие не сомневаются в том, что искусственный интеллект однозначное благо для человечества.

Но что если кроме безграничных возможностей, создание ИИ, во много раз превосходящего человеческий, несет и безграничные риски?

Джеймс Баррат пообщался с лучшими учеными, занимающимися развитием и изучением искусственного интеллекта. И многие из них всерьез озабочены опасностями, которые представляет для нас создание искусственного интеллекта, превосходящего человеческий.

2. О каких опасностях идет речь?

Речь идет не только о выходе оборудования из строя и о нашей зависимости от этого оборудования. Основная опасность для человечества, по мнению Джеймса Баррата, в том, что искусственный интеллект, став достаточно умным, выйдет из-под контроля.

Совершенно неизвестно, как он станет к нам относиться, — как к своим создателям или как к препятствию на пути. И очень вероятно, что он будет равнодушен к нашей судьбе. Автор уверен, что нет никаких гарантий, что искусственный интеллект станет подчиняться людям и соблюдать их интересы.

Действительно. Мы знаем, что произошли от гораздо более примитивных существ, но это не значит, что нас очень волнуют их интересы. Напротив, если они войдут в противоречие с нашими, судьба этих существ будет незавидной.

3. Но разве нельзя заранее предусмотреть, чтобы ИИ не причинил вред человеку?

Иногда те, кто считает, что развитый ИИ не будет опасным для нас, цитируют законы робототехники Айзека Азимова, которые писатель сформулировал в рассказе «Хоровод». Их суть заключается в том, что: роботу запрещено причинять вред человеку действием или бездействием; робот всегда должен подчиняться человеку, если его команды не противоречат первому положению; робот должен заботиться о собственной безопасности, если это не противоречит предыдущим положениям. Но проблема в том, что даже в самом рассказе робот не может руководствоваться этими законами и попадает в замкнутый круг.

В дальнейших своих рассуждениях Джеймс Баррат вообще ставит под сомнение реальность того, что мы сможем так запрограммировать искусственный интеллект, чтобы учесть все возможные варианты развития событий. Даже сейчас, работая с гораздо менее сложной техникой, люди то и дело совершают ошибки, из-за которых происходят катастрофы. Ошибки такой сложной системы как развитый искусственный интеллект просто невозможно будет предусмотреть заранее.

По мнению автора, для нас риски сосуществования на одной планете с интеллектом, превосходящим человеческий, потенциально огромны.

4. Кстати, чем мы рискуем?

Как считает автор — всем, что у нас есть, в том числе жизнью. Сейчас мы движемся к созданию интеллекта человеческого уровня (УЧИ), после чего следующей целью ученых станет создание искусственного суперинтеллекта (ИСИ) — самосознающего и самообучающегося.

С одной стороны, создание ИСИ открывает безграничные возможности для человечества — излечение от всех болезней, завоевание космоса, открытия, исследования, технологии, которые недоступны на текущем уровне знаний.

С другой стороны, создание ИСИ потенциально может привести к полному уничтожению человечества и жизни на Земле.

5. Похоже на сценарий фильма-катастрофы…

Действительно. Но что может сделать разум, способный обучаться и самосовершенствоваться, который за короткое время способен стать в миллионы раз умнее человека? Мы не можем этого знать. Но вряд ли его остановят законы робототехники.

Джеймс Баррат предлагает представить себя человеком в мире крыс. Как бы вы стали действовать, чтобы выйти на свободу? Возможно, вы многое им наобещали. Но заботила ли вас их судьба после освобождения? Вряд ли.

Как отмечает автор, типичная ошибка — приписывать искусственному интеллекту чисто человеческие мотивации — мораль, вину, месть, злобу и агрессию. Но искусственному интеллекту не нужно быть злым, чтобы нас уничтожить. Ему достаточно будет просто того, что мы стоим на пути реализации его интересов.

6. Все равно, кажется, что это маловероятно и похоже на научную фантастику

Да, некоторые критикуют автора за слишком параноидальный взгляд на развитие технологий. Но давайте попробуем рассмотреть его аргументы. Вполне возможно, что мы действительно недооцениваем опасность.

Большинство ученых, с которыми пообщался автор, прогнозируют, что ИСИ с 90 процентной вероятностью появится уже к концу 21 века.

Об опасностях ИСИ в основном говорят узкие специалисты. Однако до журналистов, блогеров и обычных людей доходят в основном положительные сценарии.

Автор ссылается на исследования Нобелевского лауреата Дэниеля Канемана и его коллеги Амоса Тверски, которые показали, что люди склонны недооценивать риск того, что никогда не случалось. Возможно, именно поэтому в 2008 году произошел столь мощный коллапс финансовой системы, ведь большинство людей, просто не могли представить, что возможна финансовая катастрофа такого масштаба, несмотря на то, что все к ней шло.

Сейчас мы видим, что компьютерные технологии приносят человечеству только пользу. И мы не задумываемся об обратной стороне. Но среди ученых немало и тех, кто вполне допускает, что развитый искусственный интеллект сможет стереть человечество с лица земли.

7. А какие ученые разделяют такую точку зрения?

Среди сторонников идеи, что ИИ представляет потенциальную опасность такие известные ученые, как Ник Бостром, который сам в 2014 году написал книгу на эту тему, Майкл Вассар, Элиезер Юдковски, Стив Омохундро. Они не выступают против исследований в области искусственного интеллекта, однако всерьез относятся к возможным угрозам, связанным с активным использованием и развитием искусственного разума.

8. Но есть и те, кто считает, что создание высокоразвитого искусственного интеллекта принесет человечеству только пользу?

Да. Например, такую позицию занимают многие сторонники сингулярности.

9. Что такое сингулярность?

Согласно воззрениям сторонников этой идеи, сингулярность — это ожидающий человечество период времени — примерно с середины 21 века, когда нанотехнологии кардинально изменят нашу жизнь. По сути это будет началом новой эпохи, в которой благодаря технологиям человечество решит все самые серьезные проблемы — справится с болезнями, голодом и даже, возможно, победит смерть. Мы научимся конструировать на уровне атомов и загружать сознание в компьютер.

Эта идея стала известна во многом благодаря стараниям известного писателя и изобретателя Рэя Курцвейла.

ИИ будет играть важную роль в сингулярности, так как он будет ускорять развитие технологий. Движение адептов сингулярности достаточно многочисленное, но есть и немало скептиков, которые считают, что нанороботы могут выйти из-под контроля и начать бесконечно воспроизводить самих себя, превращая нашу планету в «серую слизь».

10. Кто сейчас занимается созданием ИИ?

Существует несколько направлений. Во-первых, компании, финансируемые или учрежденные правительствами, как, например, DAPRA — Агентство перспективных проектов Минобороны США. Кроме того, это технологические компании — такие как IBM и Google — на которую работает и Рэй Курцвейл. Есть и небольшие стелс-компании, которые часто финансируются бизнесменами из Кремниевой долины.

Например, Джеймс Баррат рассказывает, что основатель PayPal Питер Тиль финансирует три компании в области ИИ. Кроме того, автор опасается, что финансированием разработок ИИ могут заниматься террористические организации и правительства авторитарных режимов.

Как отмечает автор, обычно разработчики ИИ особо не афишируют то, чем занимаются, чтобы скрыть свои секреты от конкурентов.

Очень важно, что многие проекты финансируются военными для дальнейшего использования в своих целях. Это значит, что вряд ли разработчики будут всерьез рассматривать опасность и последствия создания развитого ИИ, ведь главная их цель в этом случае — обогнать конкурентов.

Кроме того, автор считает, что развитый ИИ может появиться как побочный продукт вычислительных моделей, активно используемых, например, на Уолл-Стрит.

11. А каким образом создают ИИ?

Существует несколько направлений. Во-первых, прямой способ — создание и использование все более мощной техники.

Другое направление — обратное проектирование мозга — когда ИИ создают, исследуя как работает человеческий мозг и воспроизводя процессы, которые в нем происходят. Многие ученые считают, что когда мы поймем все алгоритмы и связи в нашем мозгу, то сможем воспроизвести их с помощью компьютерных программ, создав ИИ человеческого уровня.

Еще один возможный путь — загрузить человеческий разум в компьютер. Это называется полной эмуляцией мозга.

Однако есть и те, кто вообще сомневается в возможности создания ИИ человеческого уровня.

12. То есть, возможно, УЧИ и не удастся создать?

Есть сторонники и такой позиции. УЧИ должен решать задачи, которые решает человек, учиться и действовать, как человек. Сейчас ИИ не способен этого делать.

С одной стороны, человеческий мозг, как и компьютер, использует определенные алгоритмы и методы для решения задач. Но означает ли это, что компьютеры будут думать так, как человек? Будет ли у них сознание? Некоторые ученые отрицают такую возможность и среди них — философ Джон Сёрль, который попытался это доказать с помощью мысленного эксперимента, получившего название «китайской комнаты».

13. Что за китайская комната?

Мысленный эксперимент состоит в следующем. Человека, не владеющего китайским языком, запирают в комнате с множеством коробок, в которых лежат карточки с китайскими иероглифами (аналог базы данных). Помимо них в комнате есть инструкция на понятном человеку языке (аналог кода). Кто-то вне комнаты передает человеку карточки с иероглифами — вопросы на китайском. А человек в комнате согласно инструкции подбирает карточки с ответами. Он правильно отвечает на вопросы, поэтому люди за пределами комнаты считают, что он знает китайский, но на самом деле он его не понимает. С точки зрения Джона Сёрля, это означает, что искусственный интеллект, как этот человек в комнате, никогда не будет думать и понимать, — это будет просто механическое воспроизведение в соответствии с программой.

Однако критики Джона Сёрля не считают это аргументом, так как все взаимодействующие в этом эксперименте представляет систему, понимающую китайский язык. Кроме того, тот же самый аргумент мы можем применить и к человеку. Если задуматься — что значит, что мы понимаем что-то, например, язык? Мы можем судить об этом только на основании своих наблюдений, не более.

Тем не менее позиция Джеймса Баррата состоит в том, что мы не сможем понять высокоразвитый ИИ, так как его компьютерные системы будут слишком сложными для нашего понимания. Но и то, что он не будет таким как человек, не означает, что он не будет интеллектом.

14. Что произойдет, когда появятся УЧИ и ИСИ?

Существует несколько точек зрения на развитие событий. Сторонники сингулярности видят будущее в объединении человека и машины, другие говорят о том, что человек останется прежним, а машины будут нам помогать. Автор — среди сторонников самого пессимистического сценария развития событий — что в будущем машины превзойдут нас и оставят позади.

15. То есть, по его мнению, положение человечества безвыходное?

Его позиция в том, что мощный интеллект появится и превзойдет человека уже в обозримом будущем. Затормозить процесс его появления невозможно, слишком много кто занимается разработкой УЧИ. Как высокоразвитый ИИ будет к нам относиться — неизвестно, но нужно сделать все возможное, чтобы запрограммировать его на дружелюбие по отношению к людям. Каким образом можно загрузить человеческие ценности в компьютер и возможно ли это вообще — остается открытым вопросом. К тому же некоторые УЧИ специально разрабатываются для военных целей, то есть для того, чтобы убивать.

Поэтому нужно быть готовыми и к тому, что наше собственное создание будет слишком сложным для нашего понимания, чуждым и равнодушным к нашим ценностям и мы не сможем его контролировать со всеми вытекающими отсюда последствиями.

По мнению Джеймса Баррата, обычные люди должны знать, к чему могут привести действия тех, кто создает искусственный разум, и своей книгой он привлекает внимание к этой проблеме, о которой мало кто говорит.

16. Стоит ли прочесть эту книгу?

Определенно стоит тем, кто интересуется наукой и технологиями. Книга написана простым языком в духе журналистского расследования. Это не научный трактат, поэтому она будет понятна и неспециалистам.

В любом случае книга представляет собой интересный обзор разных точек зрения на развитие ИИ. Можно соглашаться или не соглашаться с позицией автора, но быть в курсе его доводов стоит.

В книге больше вопросов, чем ответов на них. Тем не менее она заставляет всерьез задуматься над тем, что мы пока воспринимаем просто как научную фантастику.

Больше книг | Читай 380 книг в год