Как экзистенциальный риск стал самым большим мемом в ИИ
«Истории о привидениях заразительны».
Кто боится больших плохих ботов? Много людей, кажется. Поразительно количество громких имен, которые сделали публичные заявления или подписали открытые письма, предупреждающие о катастрофических опасностях искусственного интеллекта .
Сотни ученых, бизнес-лидеров и политиков выступили с заявлениями, от пионеров глубокого обучения Джеффри Хинтона и Йошуа Бенжио до генеральных директоров ведущих компаний в области искусственного интеллекта, таких как Сэм Альтман и Демис Хассабис , до конгрессмена от Калифорнии Теда Лью и бывшего президента Эстонии.
Самым решительным утверждением, подписанным всеми этими и многими другими фигурами, является заявление из 22 слов, опубликованное две недели назад Центром безопасности ИИ (CAIS), исследовательской организацией, продвигающей повестку дня, базирующейся в Сан-Франциско. В нем провозглашается: «Снижение риска исчезновения из-за ИИ должно быть глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».
Формулировка преднамеренная. «Если бы мы собирались сделать заявление типа теста Роршаха, мы бы сказали «экзистенциальный риск», потому что это может означать много вещей для многих разных людей», — говорит директор CAIS Дэн Хендрикс. Но они хотели внести ясность: речь шла не о подрыве экономики. «Вот почему мы выбрали «риск вымирания», хотя многих из нас беспокоят и другие риски, — говорит Хендрикс.
Мы уже были здесь раньше: гибель ИИ следует за шумихой вокруг ИИ. Но на этот раз ощущения другие. Окно Овертона сместилось. То, что когда-то было крайними взглядами, теперь стало основной темой для обсуждения, привлекая не только заголовки, но и внимание мировых лидеров. «Хор голосов, выражающих озабоченность по поводу ИИ, просто стал слишком громким, чтобы его можно было игнорировать», — говорит Дженна Баррелл, директор по исследованиям Data and Society, организации, изучающей социальное влияние технологий.
Что происходит? Действительно ли ИИ стал (более) опасным? И почему люди, которые открыли эту технологию, теперь бьют тревогу?
Это правда, что эти взгляды разделяют поле . На прошлой неделе Янн ЛеКун, главный научный сотрудник Meta и лауреат Премии Тьюринга 2018 года вместе с Хинтоном и Бенжио, назвал думеризм «абсурдно нелепым». Эйдан Гомес, генеральный директор компании Cohere, занимающейся искусственным интеллектом, сказал, что это «абсурдное использование нашего времени».
Другие тоже смеются. «Сейчас не больше, чем в 1950 году, свидетельств того, что ИИ будет создавать такие экзистенциальные риски», — говорит президент Signal Мередит Уиттакер, которая является соучредителем и бывшим директором AI Now Institute, исследовательской лаборатории, изучающей политические последствия искусственного интеллекта. интеллект. «Истории о привидениях заразительны — бояться действительно интересно и стимулирует».
«Это также способ просмотреть все, что происходит в наши дни», — говорит Баррелл. «Это говорит о том, что мы еще не видели реального или серьезного вреда».
Старый страх
Беспокойство по поводу безудержных самосовершенствующихся машин существует со времен Алана Тьюринга. Такие футурологи, как Вернор Виндж и Рэй Курцвейл, популяризировали эти идеи, рассказывая о так называемой сингулярности, гипотетической дате, когда искусственный интеллект превзойдет человеческий и машины возьмут верх.
Но в основе таких опасений лежит вопрос контроля: как люди останутся на вершине, если (или когда) машины станут умнее? В статье под названием «Как искусственный интеллект представляет экзистенциальный риск?» опубликованный в 2017 году, Карина Волд, философ искусственного интеллекта из Университета Торонто (подписавшая заявление CAIS), излагает основной аргумент, лежащий в основе опасений.
Есть три ключевых предпосылки. Во-первых, вполне возможно, что люди создадут сверхразумную машину, которая сможет перехитрить все остальные виды разума. Во-вторых, вполне возможно, что мы не сможем контролировать сверхразум, способный перехитрить нас. И в-третьих, вполне возможно, что сверхразум будет делать то, чего мы не хотим.
Собрав все это вместе, можно построить машину, которая будет делать то, чего мы не хотим, вплоть до уничтожения нас, и мы не сможем ее остановить.
Есть разные вкусы этого сценария. Когда в мае Хинтон выразил обеспокоенность по поводу ИИ, он привел пример роботов, которые перенаправляют электросеть , чтобы получить больше энергии. Но сверхразум (или ОИИ) не обязательно нужен для этой цели. "Глупые" машины, которым предоставлена слишком большая свобода действий, тоже могут быть катастрофическими. Многие сценарии предполагают необдуманный или злонамеренное воплощения в жизнь, а не действия ботов в своих интересах.
В документе, опубликованном в Интернете на прошлой неделе, Стюарт Рассел и Эндрю Крич, исследователи ИИ из Калифорнийского университета в Беркли (которые также подписали заявление CAIS), дают таксономию экзистенциальных рисков . Они варьируются от вирусного чат-бота, дающего советы миллионам людей, чтобы они бросили колледж, до автономных отраслей, преследующих свои собственные вредные экономические цели, до национальных государств, создающих супероружие на базе ИИ.
Во многих воображаемых случаях теоретическая модель выполняет поставленную перед человеком цель, но делает это так, что работает против нас. Для Хендрикса, который изучал, как модели глубокого обучения иногда могут вести себя неожиданным и нежелательным образом , когда им вводятся входные данные, которых нет в их обучающих данных , система ИИ может привести к катастрофе потому что она сломана, а не всемогуща. "Если вы поставите перед ним цель, и он найдет для нее чужеродные решения, то это приведет нас в странный мир," - говорит он.
Проблема с этими возможными вариантами будущего заключается в том, что они опираются на череду возможных вариантов, из-за чего они звучат как научная фантастика. Волд признает это сама. «Поскольку события, которые создают или провоцируют [экзистенциальный риск], беспрецедентны, аргументы в пользу того, что они представляют такую угрозу, должны носить теоретический характер», — пишет она. «Их редкость также приводит к тому, что любые предположения о том, как или когда такие события могут произойти, являются субъективными и не поддаются эмпирической проверке».
Так почему же больше людей принимают эти идеи за чистую монету, чем когда-либо прежде? «Разные люди говорят о риске по разным причинам и могут подразумевать под ним разные вещи, — говорит Франсуа Шолле, исследователь искусственного интеллекта в Google. Но это также нарратив, перед которым трудно устоять: «Экзистенциальный риск всегда был хорошей историей».
«В этом есть своего рода мифологический, почти религиозный элемент, который нельзя сбрасывать со счетов», — говорит Уиттекер. «Я думаю, мы должны признать, что описываемое, учитывая, что оно не основано на доказательствах, гораздо ближе к символу веры, своего рода религиозному рвению, чем к научному дискурсу».
Обреченная зараза
Когда исследователи глубокого обучения впервые начали добиваться ряда успехов — вспомните рекордные результаты Хинтона и его коллег по распознаванию изображений на конкурсе ImageNet в 2012 году и первые победы DeepMind над чемпионами среди людей с помощью AlphaGo в 2015 году — шумиха вскоре сошла на нет в каждом из случаев. Знаменитые ученые, такие как Стивен Хокинг и его коллега-космолог Мартин Риз, а также известные технологические лидеры, такие как Илон Маск, подняли тревогу по поводу экзистенциального риска. Но эти персоны не были экспертами по ИИ.
Восемь лет назад пионер глубокого обучения Эндрю Нг, который в то время был главным научным сотрудником Baidu, стоял на сцене в Сан-Хосе и смеялся над всей этой идеей.
«В далеком будущем может появиться гонка роботов-убийц, — сказал Нг аудитории на конференции Nvidia по GPU-технологиям в 2015 году. — Но сегодня я не работаю над тем, чтобы не превратить ИИ во зло по той же причине, что и не над проблемой перенаселения на планете Марс». ( Слова Нг были опубликованы в то время веб-сайтом технических новостей The Register.)
Нг, который в 2011 году стал одним из основателей лаборатории искусственного интеллекта Google, а сейчас является генеральным директором Landing AI, с тех пор повторял эту фразу в интервью. Но сейчас он менее оптимистичен. «Я сохраняю непредвзятость и разговариваю с несколькими людьми, чтобы узнать больше», — говорит он мне. «Быстрый темп развития заставил ученых переосмыслить риски».
Как и многих других, Нг беспокоит быстрый прогресс генеративного ИИ и возможность его неправильного использования. Он отмечает, что широко распространенное изображение взрыва в Пентагоне, созданное искусственным интеллектом, в прошлом месяце настолько напугало людей, что фондовый рынок упал .
«Учитывая такой мощный ИИ, к сожалению, вполне вероятно, что он также приведет к серьезным проблемам», — говорит Нг. Но он останавливается перед роботами-убийцами: «Прямо сейчас я все еще не понимаю, как ИИ может привести к нашему вымиранию».
Что-то еще новое — это широкое понимание того, на что способен ИИ. В конце прошлого года OpenAI представила эту технологию общественности. «Искусственный интеллект внезапно стал популярной темой в мейнстриме», — говорит Шолле. «Люди серьезно относятся к ИИ, потому что они видят внезапный скачок в возможностях как предвестник новых скачков в будущем».
Опыт общения с чат-ботом также может нервировать. Разговор — это то, что обычно понимается как то, что люди делают с другими людьми. «Это добавило правдоподобия идее, что ИИ похож на человека или на разумного собеседника», — говорит Уиттекер. «Я думаю, что это дало некоторую поддержку идее о том, что если ИИ может имитировать человеческое общение, он также может делать XYZ».
«Это начало, в которое, как я вижу, вписывается разговор об экзистенциальном риске — экстраполяция без доказательств», — говорит она.
Смотри в будущее
Есть причина также быть циничным . Поскольку регулирующие органы догоняют технологическую отрасль, на столе стоит вопрос о том, какие виды деятельности следует и не следует ограничивать . Выделение долгосрочных рисков, а не краткосрочного вреда (например, дискриминационного найма или дезинформации) переориентирует внимание регулирующих органов на гипотетические проблемы в будущем.
«Я подозреваю, что угроза реальных нормативных ограничений подтолкнула людей к тому, чтобы занять определенную позицию», — говорит Баррелл. Разговоры о экзистенциальных рисках могут подтвердить опасения регулирующих органов, не подрывая возможности для бизнеса. «Сверхразумный ИИ, который обращается против человечества, звучит пугающе, но это явно еще не то, что случилось», — говорит она.
Раздувание опасений по поводу экзистенциального риска также полезно для бизнеса в других отношениях. Шолле отмечает, что ведущим компаниям, занимающимся искусственным интеллектом, нужно, чтобы мы думали о грядущем ОИИ и о том, что именно они его создают. «Если вы хотите, чтобы люди думали, что то, над чем вы работаете, является мощным, было бы неплохо заставить их бояться этого», — говорит он.
Уиттакер придерживается аналогичной точки зрения. «Очень важно представить себя создателем сущности, которая может быть более могущественной, чем люди», — говорит она.
Ничто из этого не имело бы большого значения, если бы речь шла просто о маркетинге или шумихе. Но решение о том, какие риски есть, а какие нет, имеет последствия. В мире, где бюджеты и объем внимания ограничены, вред менее серьезный, чем ядерная война, может быть упущен из виду, потому что мы решили, что они не являются приоритетом.
«Это важный вопрос, особенно в связи с растущим вниманием к безопасности и защищенности как узким рамкам для политического вмешательства», — говорит Сара Майерс Уэст, управляющий директор AI Now Institute.
Когда в мае премьер-министр Риши Сунак встретился с главами компаний, занимающихся искусственным интеллектом, включая Сэма Альтмана и Демиса Хассабиса, правительство Великобритании выступило с заявлением, в котором говорилось: «Премьер-министр и руководители обсудили риски технологии, начиная от дезинформации и национальной безопасности и заканчивая экзистенциальные угрозы».
За неделю до этого Альтман сказал Сенату США, что больше всего опасается, что индустрия ИИ нанесет значительный вред миру. Свидетельские показания Альтмана помогли вызвать призывы к созданию агентства нового типа для устранения такого беспрецедентного вреда.
Когда окно Овертона сдвинуто, нанесен ли ущерб? «Если мы говорим о далеком будущем, если мы говорим о мифологических рисках, то мы полностью переформулируем проблему так, чтобы она была проблемой, которая существует в мире фантазий, и ее решения могут существовать и в мире фантазий», — говорит Уиттакер.
Но Уиттакер также отмечает, что политические дискуссии вокруг ИИ ведутся уже много лет, дольше, чем этот недавний гул страха. «Я не верю в неизбежность, — говорит она. «Мы увидим отпор этой шумихи. Он утихнет».