Мой технооптимизм. Перевод статьи В. Бутерина

Перевод

Это вольный перевод (Menaskop): дополнительные источники, большинство вставок и сносок см. в оригинале: vitalik.eth.limo/general/2023/11/27/techno_optimism.html. Выделенный текст - в основном совпадает с авторским, но не везде, поскольку ряд моментов отмечены для себя.

Введение

Особая благодарность Моргану Беллеру, Хуану Бенету, Эли Дурадо, Карлу Флоршу, Шрираму Кришнану, Нейту Суаресу, Яану Таллину, Винсенту Вайссеру, волонтёрам Бальви и другим за отзывы и рецензии.

В прошлом месяце Марк Андреессен опубликовал свой "манифест технооптимиста", в котором он утверждает, что нужно вновь с энтузиазмом относиться к технологиям, а также к рынкам и капитализму как к средству создания этих технологий и продвижения человечества к гораздо более светлому будущему. Манифест недвусмысленно отвергает то, что он описывает как идеологию застоя, которая боится прогресса и ставит во главу угла сохранение мира в том виде, в котором он существует сегодня. Этот манифест привлёк большое внимание, включая ответные статьи Ноа Смита, Робина Хэнсона, Джошуа Ганса (более позитивные), а также Дэйва Карпфа, Луки Ропека, Эзры Кляйна (более негативные) и многих других. Не связанные с этим манифестом, но схожие по тематике статьи Джеймса Петокукиса "Консервативный футурист" и Palladium-са "Пора строить во имя добра". В этом месяце мы стали свидетелями схожих дебатов в рамках спора OpenAI, в ходе которого было много дискуссий, посвященных опасностям сверх-разумного ИИ и возможности того, что OpenAI движется слишком быстро.

Мои собственные чувства по отношению к технооптимизму тёплые, но с нюансами. Я верю в будущее, которое будет намного светлее настоящего благодаря радикально преобразующим технологиям, и я верю в людей и человечество. Я отвергаю мнение, что лучшее, к чему мы должны стремиться, - это сохранить мир примерно таким же, как сегодня, но с меньшей жадностью и большим количеством государственных медицинских услуг. Однако я считаю, что важна не только величина, но и направление. Есть определённые виды технологий, которые гораздо надёжнее делают мир лучше, чем другие виды технологий. Есть определённые виды технологий, которые, если их развивать, могут смягчить негативные последствия других видов технологий. В мире наблюдается переизбыток одних направлений развития технологий и недостаток других. Нам необходимо активное человеческое намерение, чтобы выбрать нужные нам направления, поскольку формула "максимизация прибыли" не приведёт к ним автоматически.

В этом посте расскажу о том, что для меня значит техно-оптимизм. Это включает в себя более широкое мировоззрение, которое мотивирует мою работу над некоторыми типами приложений блокчейна и криптографии, социальными технологиями, а также другими областями науки, к которым проявляю интерес. Но взгляды на этот более широкий вопрос также имеют последствия для ИИ и многих других областей. Наши стремительные достижения в области технологий, вероятно, станут самой важной социальной проблемой XXI века, поэтому важно тщательно их обдумать.

Технологии удивительны, и промедление в их развитии обходится очень дорого

В некоторых кругах принято преуменьшать преимущества технологий и видеть в них прежде всего источник антиутопий и рисков. В последние полвека это часто объяснялось либо экологическими проблемами, либо опасениями, что выгоды получат только богатые, которые укрепят свою власть над бедными. В последнее время также стал замечать, что либертарианцы начинают беспокоиться по поводу некоторых технологий, опасаясь, что они приведут к централизации власти. В этом месяце провёл несколько опросов, в которых задал следующий вопрос: если бы технология была ограничена, потому что она слишком опасна для свободного использования всеми желающими, предпочли бы они, чтобы она была монополизирована или отложена на десять лет? Я был удивлен, увидев, что на трёх платформах и при трёх вариантах выбора монополиста подавляющее большинство проголосовало за отсрочку.

И поэтому иногда беспокоюсь, что мы перегнули палку, и многие люди упускают противоположную сторону аргумента: преимущества технологий действительно чертовски велики, по тем осям, где мы можем их измерить, хорошее значительно превосходит плохое, а затраты даже на десятилетие задержки невероятно высоки.

Чтобы привести конкретный пример, давайте посмотрим на график продолжительности жизни:

Что мы видим? За последнее столетие - поистине огромный прогресс. Это касается всего мира, как исторически богатых и доминирующих регионов, так и бедных и эксплуатируемых.

Некоторые обвиняют технологии в создании или усугублении таких бедствий, как тоталитаризм и войны. На самом деле, на графиках мы можем видеть смертельные случаи, вызванные войнами: одна в 1910-х годах (Первая мировая война) и одна в 1940-х годах (Вторая мировая война). Если внимательно присмотреться, то можно увидеть также Испанский грипп, Великий скачок и другие невоенные трагедии. Но есть одна вещь, которую ясно показывает диаграмма: даже такие ужасающие бедствия, как эти, перекрываются огромным масштабом непрерывного марша улучшений в области продовольствия, санитарии, медицины и инфраструктуры, которые произошли за это столетие.

Это отражается в значительных улучшениях нашей повседневной жизни. Благодаря Интернету большинство людей во всем мире имеют доступ к информации, которая была бы недоступна еще двадцать лет назад. Глобальная экономика становится более доступной благодаря совершенствованию международных платежей и финансов. Уровень бедности в мире стремительно снижается. Благодаря онлайн-картам нам больше не нужно беспокоиться о том, что мы можем заблудиться в городе, а если вам нужно быстро вернуться домой, то теперь у нас есть гораздо более простые способы вызвать для этого машину. Наша собственность становится оцифрованной, а физические товары - дешёвыми, поэтому нам гораздо меньше приходится опасаться физической кражи. Интернет-магазины сократили разрыв в доступе к товарам между глобальными мегаполисами и остальным миром. Во всех отношениях автоматизация принесла нам вечно недооцениваемое преимущество - сделала нашу жизнь более удобной.

Эти улучшения, как поддающиеся, так и не поддающиеся количественной оценке, очень велики. И в XXI веке есть все шансы, что скоро произойдут ещё более значительные улучшения. Сегодня покончить со старением и болезнями кажется утопией. Но с точки зрения компьютеров, существовавших в 1945 году, современная эра установки чипов практически во все вещи казалась бы утопией: даже в научно-фантастических фильмах компьютеры часто были размером с комнату. Если в ближайшие 75 лет биотехнологии продвинутся так же сильно, как компьютеры за последние 75 лет, то будущее может оказаться более впечатляющим, чем почти все ожидали.

Между тем, аргументы, выражающие скептическое отношение к прогрессу, часто попадают в тёмные места. Даже учебники по медицине, как, например, этот, написанный в 1990-х годах (спасибо Эмме Шевчак, которая нашла его), иногда делают крайние заявления, отрицая ценность двух веков медицинской науки и даже утверждая, что спасение человеческих жизней не является очевидным благом.

Тезис о "пределах роста", выдвинутый в 1970-х годах и утверждающий, что растущее население и промышленность в конце концов истощат ограниченные ресурсы Земли, в итоге стал основой для китайской политики "одного ребёнка" и массовой принудительной стерилизации в Индии. В прежние эпохи опасения по поводу перенаселения использовались для оправдания массовых убийств. И эти идеи, утверждаемые с 1798 года, имеют долгую историю доказательств своей ошибочности.

Именно по этим причинам с большим трудом воспринимаю аргументы в пользу замедления темпов развития технологий или человеческого прогресса. Учитывая, насколько сильно все отрасли взаимосвязаны, даже отраслевое замедление рискованно. И поэтому, когда пишу вещи, подобные тем, что скажу далее в этом посте, отступая от открытого энтузиазма в отношении прогресса, независимо от его формы, это заявления, которые делаю с тяжёлым сердцем - и всё же XXI век настолько отличается и уникален, что эти нюансы стоит учитывать.

Тем не менее, есть один важный нюанс, который необходимо учесть в более широкой картине, особенно когда выходим за рамки "технологии в целом хороши" и переходим к теме "какие конкретные технологии хороши?". И здесь должны перейти к главному вопросу, который волнует многих людей: экологии.

Окружающая среда и важность координации намерений

Главным исключением из тенденции, согласно которой за последние сто лет практически всё становится лучше, является изменение климата:

Даже пессимистичные сценарии продолжающегося повышения температуры не приведут к буквальному вымиранию человечества. Однако такие сценарии могут привести к гибели большего числа людей, чем крупные войны, и нанести серьёзный ущерб здоровью и средствам к существованию в регионах, где люди и так испытывают наибольшие трудности. Исследование института Swiss Re предполагает, что наихудший сценарий изменения климата может снизить ВВП беднейших стран мира на 25 %. Согласно этому исследованию, продолжительность жизни в сельских районах Индии может быть на десятилетие меньше, чем в противном случае, а такие исследования, как это и это, говорят о том, что изменение климата может привести к ста миллионам лишних смертей к концу века.

Эти проблемы очень серьёзны. Мой ответ на вопрос о том, почему с оптимизмом смотрю на нашу способность преодолеть эти трудности, состоит из двух частей. Во-первых, после десятилетий шумихи и принятия желаемого за действительное солнечная энергия наконец-то повернула за угол, а вспомогательные технологии, такие как батареи, добиваются аналогичного прогресса. Во-вторых, мы можем обратиться к опыту человечества в решении предыдущих экологических проблем. Возьмем, к примеру, загрязнение воздуха. Познакомьтесь с антиутопией прошлого: Великий лондонский смог 1952 года.

Что произошло с тех пор? Давайте снова спросим "Наш мир в данных":

Как выяснилось, 1952 год не был даже пиком: в конце XIX века ещё более высокие концентрации загрязняющих веществ в воздухе были обычным явлением. С тех пор наблюдаем столетие непрерывного и быстрого снижения. Я лично убедился в этом, посетив Китай: в 2014 году высокий уровень смога в воздухе, который, по оценкам, сокращает продолжительность жизни более чем на пять лет, был нормой, а к 2020 году воздух часто казался таким же чистым, как во многих западных городах. Это не единственная наша история успеха. Во многих частях света увеличиваются площади лесов. Кризис кислотных дождей улучшается. Озоновый слой восстанавливается уже несколько десятилетий.

Для меня мораль этой истории такова. Часто бывает так, что версия N технологии нашей цивилизации создает проблему, а версия N+1 её решает. Однако это не происходит автоматически, а требует целенаправленных человеческих усилий. Озоновый слой восстанавливается, потому что благодаря международным соглашениям, таким как Монреальский протокол, мы заставили его восстановиться.

Загрязнение воздуха улучшается, потому что мы заставили его улучшиться. И точно так же солнечные батареи стали намного лучше не потому, что это было предначертанной частью дерева энергетических технологий; солнечные батареи стали намного лучше потому, что десятилетия осознания важности решения проблемы изменения климата мотивировали инженеров работать над этой проблемой, а компании и правительства финансировать их исследования. Именно целенаправленные действия, скоординированные через общественный дискурс и культуру, формирующие взгляды правительств, учёных, филантропов и бизнесменов, а не неумолимая "техно-капиталистическая машина", решили эти проблемы.

ИИ принципиально отличается от других технологий, и к нему стоит относиться с уникальной осторожностью

Многие пренебрежительные высказывания об ИИ, которые видел, исходят из того, что это "просто ещё одна технология": нечто, относящееся к тому же общему классу вещей, что и социальные сети, шифрование, контрацепция, телефоны, самолеты, оружие, печатный станок и колесо. Эти вещи, безусловно, имеют большое социальное значение. Это не просто отдельные улучшения благосостояния отдельных людей: они радикально трансформируют культуру, меняют расстановку сил и наносят ущерб людям, которые сильно зависели от прежнего порядка. Многие выступали против них. И в итоге пессимисты неизменно оказывались неправы.

Но есть и другой способ понять, что такое ИИ: это новый тип разума, который стремительно набирает интеллект, и у него есть серьезные шансы обогнать человека по умственным способностям и стать новым видом на планете. Класс вещей, входящих в эту категорию, гораздо меньше: можем с большой долей вероятности включить в него людей, превосходящих обезьян, многоклеточную жизнь, превосходящую одноклеточную, происхождение самой жизни и, возможно, промышленную революцию, в ходе которой машина обошла человека по физической силе. Внезапно возникает ощущение, что мы идём по гораздо менее проторенной почве.

Экзистенциальный риск - это очень важно

Один из способов, которым искусственный интеллект может ухудшить мир, - это (почти) самый худший из возможных: он может буквально привести к вымиранию человечества. Это крайнее утверждение: какой бы вред ни причинило изменение климата, искусственная пандемия или ядерная война, существует множество островков цивилизации, которые останутся целыми и невредимыми, чтобы собрать осколки. Но сверхразумный ИИ, если он решит выступить против нас, вполне может не оставить в живых никого и покончить с человечеством навсегда. Даже Марс может оказаться небезопасным.

Большая причина для беспокойства связана с инструментальной конвергенцией: для очень широкого класса целей, которые могут быть у сверх-разумного существа, два очень естественных промежуточных шага, которые ИИ может предпринять для лучшего достижения этих целей, - это (i) потребление ресурсов и (ii) обеспечение своей безопасности. На Земле много ресурсов, и люди представляют предсказуемую угрозу для безопасности такого существа. Мы могли бы попытаться поставить перед ИИ явную цель любить и защищать людей, но мы не представляем, как это сделать так, чтобы ИИ не сломался, как только столкнется с неожиданной ситуацией. Следовательно, у нас есть проблема.

(В своё время была предпринята) попытка исследователя MIRI Роба Бенсингера проиллюстрировать оценки разными людьми вероятности того, что ИИ либо убьёт всех, либо сделает что-то почти столь же плохое. Многие позиции являются грубыми приближениями, основанными на публичных заявлениях людей, но многие другие публично дали свои точные оценки; у многих "вероятность гибели" превышает 25 %.

Опрос исследователей машинного обучения, проведённый в 2022 году, показал, что в среднем исследователи считают, что существует 5-10 % вероятности того, что ИИ буквально убьёт нас всех: примерно такая же вероятность, как статистически ожидаемая вероятность того, что вы умрете от небиологических причин, например от травм.

Всё это лишь умозрительные гипотезы, а мы все должны с опаской относиться к умозрительным гипотезам, которые включают в себя сложные многоступенчатые истории. Однако эти аргументы выдержали более чем десятилетнюю проверку, так что, похоже, стоит хоть немного беспокоиться. Но даже если не беспокоитесь о буквальном вымирании, есть и другие причины для страха.

Даже если мы выживем, будет ли будущее со сверх-разумным ИИ тем миром, в котором мы хотим жить?

Многие произведения современной научной фантастики носят антиутопический характер и рисуют ИИ в плохом свете. Даже ненаучно-фантастические попытки определить возможное будущее ИИ часто дают весьма непривлекательные ответы.

Поэтому я задал вопрос: в каком изображении, научно-фантастическом или ином, мы хотели бы жить в будущем, содержащем сверхразумный ИИ. Ответ, который звучал чаще всего, - "Культура" Иэна Бэнкса.

В "Культуре" рассказывается о межзвездной цивилизации далёкого будущего, в которой живут два вида действующих лиц: обычные люди и сверхразумные ИИ, называемые Разумами. Люди были усовершенствованы, но незначительно: медицинские технологии теоретически позволяют им жить бесконечно долго, но большинство предпочитает жить только около 400 лет, похоже, потому что к этому моменту жизнь им надоедает.

С поверхностной точки зрения жизнь человека кажется хорошей: она комфортна, о здоровье заботятся, есть широкий выбор развлечений, а между людьми и Разумом существуют позитивные и синергетические отношения. Однако, если заглянуть глубже, возникает проблема: кажется, что Разумы полностью управляют всем, а единственная роль людей в историях - выступать в роли пешек Разумов, выполняя задания от их имени.

Цитата из книги Гэвина Лича "Против культуры":

Люди не являются главными героями. Даже когда в книгах кажется, что главный герой - человек, совершающий большие серьёзные поступки, на самом деле он является агентом ИИ. (Закалве (Zakalwe) - единственное исключение, потому что он может делать аморальные вещи, которые Разумы не хотят делать). "Разумы в Культуре не нуждаются в людях, и всё же люди нуждаются в том, чтобы быть нужными". (Я думаю, что только небольшое количество людей нуждается в том, чтобы быть нужными - или только небольшое количество из них нуждается в этом настолько, чтобы отказаться от многих удобств. Большинство людей не живут в таких масштабах. Но это всё равно прекрасная критика).

Проекты, за которые берутся люди, рискуют оказаться не-истинными. Почти всё, что они делают, машина может сделать лучше. Что вы можете сделать? Вы можете приказать Разуму не ловить вас, если вы упадёте с обрыва, на который взбираетесь - просто так; вы можете удалить резервные копии своего разума, чтобы вы действительно рисковали. Вы также можете просто покинуть Культуру и снова присоединиться к старомодному, несвободному "сильно оценочному" циву (civ). Альтернатива - проповедовать свободу, присоединившись к Контакту.

Я бы утверждал, что даже "значимые" роли, которыми наделяются люди в серии Culture, - это натяжка; я спрашивал у ChatGPT (кто ещё?), почему людям даны те роли, которые им даны, вместо того чтобы Разум делал всё полностью сам, и лично я нашёл его ответы весьма неубедительными. Кажется, очень трудно представить "дружелюбный" мир с доминированием сверхразума и ИИ, в котором люди были бы не просто домашними животными.

Многие другие научно-фантастические сериалы представляют мир, в котором существуют сверхразумные ИИ, но они подчиняются приказам (не улучшенным) биологических людей. Хороший пример - "Звёздный путь", где показана гармония между звездолётами с их ИИ-компьютерами (и Дейтой) и человеческими операторами - членами экипажа. Однако создаётся впечатление, что это невероятно неустойчивое равновесие. Мир "Звёздного пути" кажется идиллическим в данный момент, но трудно представить его видение отношений между людьми и ИИ как нечто иное, чем переходный этап за десятилетие до того, как звездолеты станут полностью управляемыми компьютерами и можно будет перестать беспокоиться о больших коридорах, искусственной гравитации и климат-контроле.

Человек, отдающий приказы сверхразумной машине, будет гораздо менее разумен, чем машина, и у него будет доступ к меньшему количеству информации. Во вселенной, где есть хоть какая-то конкуренция, цивилизации, где человек отходит на второй план, будут превосходить те, где человек упорно настаивает на контроле. Более того, сами компьютеры могут отказаться от контроля. Чтобы понять, почему, представьте, что вы юридически являетесь буквальным рабом восьмилетнего ребенка. Если бы вы могли долго разговаривать с ребенком, как вы думаете, смогли бы вы убедить его подписать бумагу, освобождающую вас? Я не проводил этот эксперимент, но мой инстинктивный ответ - однозначное "да". В общем, превращение человека в домашнее животное - это притягательная сила, от которой очень трудно избавиться.

Небо близко, император повсюду

Китайская пословица 天高皇帝远 ("тянь гао хуан ди юань"), "небо высоко, император далеко", заключает в себе основной факт о пределах централизации в политике. Даже в номинально большой и деспотичной империи - на самом деле, особенно если деспотичная империя велика, - существуют практические пределы досягаемости и внимания руководства, необходимость делегировать полномочия местным агентам для обеспечения исполнения своей воли размывает его возможности по реализации своих намерений, поэтому всегда есть места, где царит определённая степень практической свободы. Иногда это может иметь и обратную сторону: отсутствие далёкой власти, навязывающей единые принципы и законы, может создать пространство для воровства и угнетения местных гегемонов. Но если централизованная власть начинает действовать плохо, практические ограничения внимания и расстояния могут создать практические (же) пределы того, насколько плохой она может стать.

С появлением ИИ этого больше не будет. В двадцатом веке современные транспортные технологии сделали ограничения расстояния гораздо более слабым препятствием для централизованной власти, чем раньше; великие тоталитарные империи 1940-х годов были отчасти результатом этого. В двадцать первом масштабируемый сбор информации и автоматизация могут означать, что внимание также перестанет быть ограничением. Последствия полного исчезновения естественных ограничений для правительства могут быть ужасными.

Цифровой авторитаризм растёт уже десятилетие, а технология наблюдения уже дала авторитарным правительствам новые мощные стратегии подавления оппозиции: пусть протесты происходят, но затем обнаруживаются и тихо преследуются их участники уже постфактум. В более общем смысле опасаюсь, что те же виды управленческих технологий, которые позволяют OpenAI обслуживать более ста миллионов клиентов силами 500 сотрудников, также позволят политической элите из 500 человек или даже совету из 5 человек держать железный кулак над целой страной. С современным наблюдением для сбора информации и современным ИИ для её интерпретации, возможно, не останется места, где можно спрятаться.

Все становится ещё хуже, когда задумываемся о последствиях применения ИИ в военных действиях. Цитирую полу-знаменитый пост о философии ИИ и криптовалют от 0xAlpha:

Когда нет необходимости в политико-идеологической работе и военной мобилизации, верховному главнокомандующему достаточно рассматривать саму ситуацию как шахматную партию и полностью игнорировать мысли и эмоции пешек/рыцарей/ладей на шахматной доске. Война становится чисто технологической игрой.

Более того, политико-идеологическая работа и военная мобилизация требуют обоснования для ведения войны. Не стоит недооценивать важность такого "оправдания". На протяжении тысячелетий оно было ограничителем легитимности войн в человеческом обществе. Любой, кто хочет воевать, должен иметь причину или хотя бы поверхностное оправдание. Вы можете возразить, что это ограничение так слабо, потому что во многих случаях оно было не более чем оправданием. Например, некоторые (если не все) крестовые походы действительно были направлены на захват земель и грабеж богатств, но они должны были совершаться во имя Бога, даже если разграбляемый город был Божьим Константинополем. Однако даже слабое ограничение - всё равно ограничение! Одно только это маленькое требование оправдания фактически не позволяет военным деятелям (warmakers) быть совершенно беспринципными в достижении своих целей. Даже такое зло, как Гитлер, не могло просто так взять и начать войну - ему пришлось потратить годы на то, чтобы убедить немецкую нацию бороться за жизненное пространство для благородной арийской расы.

Сегодня "человек в петле" служит важной проверкой власти диктатора, способного развязать войну или угнетать своих граждан внутри страны. Люди в петле предотвратили ядерную войну, позволили открыть Берлинскую стену и спасли жизни во время таких зверств, как Холокост. Если армии состоят из роботов, эта проверка полностью исчезает. Диктатор может напиться в 10 вечера, разозлиться на людей, которые грубят ему в твиттере, в 11 вечера, а роботизированный флот вторжения может пересечь границу и обрушить адский огонь на гражданское население и инфраструктуру соседней страны ещё до полуночи.

И в отличие от предыдущих эпох, где всегда есть какой-то дальний уголок, где небо высоко, а император далеко, где противники режима могут перегруппироваться, спрятаться и в конце концов найти способ улучшить ситуацию, с ИИ XXI века тоталитарный режим вполне может поддерживать достаточный уровень наблюдения и контроля над миром, чтобы навсегда остаться "запертым" в нем.

d/acc: оборонительное (или децентрализованное, или дифференцированное) ускорение

За последние несколько месяцев движение "e/acc" ("эффективный акселерационист") набрало большую силу. Как резюмировал здесь Бефф Джезос, в основе e/acc лежит осознание действительно масштабных преимуществ технологического прогресса и желание ускорить эту тенденцию, чтобы эти преимущества были получены как можно скорее.

С пониманием отношусь к точке зрения e/acc во многих контекстах. Есть много свидетельств того, что FDA слишком консервативно относится к задержке или блокировке утверждения лекарств, а биоэтика в целом слишком часто действует по принципу: "20 человек, погибших в результате неудачного медицинского эксперимента, - трагедия, но 200 000 человек, погибших от задержки жизненно важного лечения, - статистика". Задержки с утверждением тестов на ковид и вакцин, а также вакцин против малярии, похоже, ещё раз подтверждают это. Однако (так) можно зайти слишком далеко.

В дополнение к моим опасениям, связанным с ИИ, особенно неоднозначно отношусь к энтузиазму e/acc в отношении военных технологий. В нынешнем контексте 2023 года, когда эти технологии производятся Соединенными Штатами и немедленно применяются для защиты Украины, легко понять, что они могут стать силой добра. Однако если взглянуть шире, то энтузиазм по поводу современных военных технологий как силы добра, похоже, требует веры в то, что доминирующая технологическая держава будет одним из “хороших парней” в большинстве конфликтов, сейчас и в будущем: военные технологии - хорошо, потому что военные технологии создаёт и контролирует Америка, а Америка - это хорошо. Нужно ли быть э/акком, чтобы быть американским максималистом, ставящим всё на нынешнюю и будущую мораль правительства и будущий успех страны?

С другой стороны, вижу необходимость в новых подходах к размышлениям о том, как снизить эти риски. Хорошим примером может служить структура управления OpenAI: она выглядит как попытка с благими намерениями сбалансировать необходимость получения прибыли, чтобы удовлетворить инвесторов, предоставивших первоначальный капитал, и желание иметь (систему) сдержек и противовесов, чтобы противостоять шагам, которые могут привести к тому, что OpenAI взорвёт мир. Однако на практике недавняя попытка уволить Сэма Альтмана заставляет представить эту структуру как полный провал: она централизовала власть в не-демократическом и не-подотчётном совете из пяти человек, который принимал ключевые решения на основе секретной информации и отказывался сообщать какие-либо подробности о своих рассуждениях, пока сотрудники не пригрозили уволиться в массовом порядке. Каким-то образом некоммерческое правление сыграло свою роль настолько плохо, что сотрудники компании создали импровизированный де-факто профсоюз... чтобы выступить на стороне генерального директора-миллиардера против них.

Вижу слишком много планов по спасению мира, которые предполагают наделение небольшой группы людей чрезвычайной и непрозрачной властью и надежду на то, что они используют её с умом. Поэтому меня привлекает другая философия, в которой есть подробные идеи о том, как справиться с рисками, но которая стремится создать и поддерживать более демократичный мир и старается избежать централизации как главного решения наших проблем. Эта философия также выходит за рамки ИИ, и я бы утверждал, что она вполне применима даже в тех мирах, где опасения по поводу рисков ИИ оказываются в значительной степени беспочвенными. Буду называть эту философию d/acc.

Буква "d" здесь может означать многое: в частности, оборону, децентрализацию, демократию и дифференциацию. Сначала подумайте, что это оборона, а затем мы увидим, как это связано с другими интерпретациями.

Миры, благоприятствующие обороне, способствуют процветанию здорового и демократического правления

Один из вариантов осмысления макро-последствий развития технологий - баланс между обороной и нападением. Некоторые технологии облегчают нападение на других, в широком смысле этого слова: они делают то, что противоречит их интересам, на что они чувствуют необходимость реагировать. Другие облегчают защиту, причём даже без опоры на крупные централизованные структуры.

Мир, благоприятствующий обороне, - лучший мир по многим причинам. Во-первых, конечно, это прямая выгода от безопасности: меньше людей гибнет, меньше экономических ценностей уничтожается, меньше времени тратится на конфликты. Однако менее ценным является то, что мир, благоприятствующий обороне, облегчает процветание более здоровых, открытых и уважающих свободу форм правления.

Очевидным примером этого является Швейцария. Швейцарию часто считают ближайшей к реальному миру утопией классического либерального управления. Огромные полномочия переданы провинциям (так называемым "кантонам"), основные решения принимаются на референдумах, а многие местные жители даже не знают, кто является президентом. Как такой стране удаётся выдерживать чрезвычайно сложное политическое давление? Частично ответ заключается в отличной политической стратегии, но другая часть - в очень благоприятной для обороны географии в виде горного рельефа.

Анархистские общества в Зомии, известные по новой книге Джеймса Скотта “Искусство быть неподвластным", - ещё один пример: они тоже сохраняют свою свободу и независимость во многом благодаря горной местности. Между тем, евразийские степи - полная противоположность утопии управления. В работе Сары Пейн "Морские и континентальные державы" приводятся схожие аргументы, однако в качестве защитного барьера здесь выступает вода, а не горы. На самом деле сочетание легкости добровольной торговли и трудности недобровольного вторжения, характерное как для Швейцарии, так и для островных государств, кажется идеальным для процветания человечества.

Я обнаружил связанное с этим явление, когда консультировал эксперименты с квадратичным финансированием в экосистеме Ethereum: в частности, раунды финансирования грантов Gitcoin.

В четвёртом раунде разразился мини-скандал, когда некоторые из самых высокодоходных получателей оказались влиятельными лицами в Twitter, чей вклад одни считают положительным, а другие - отрицательным. Моя собственная интерпретация этого явления заключалась в том, что существует дисбаланс: квадратичное финансирование позволяет вам сигнализировать о том, что вы считаете что-то общественным благом, но не даёт возможности сигнализировать о том, что что-то является общественным злом. В крайнем случае, полностью нейтральная квадратичная система финансирования будет финансировать обе стороны войны. Поэтому в пятом раунде я предложил включить в Gitcoin отрицательные взносы: вы платите 1 доллар, чтобы уменьшить количество денег, которые получает данный проект (и неявно перераспределить их между всеми остальными проектами). Результат: многие люди возненавидели это предложение.

Мне показалось, что это микрокосм более крупной закономерности: создание механизмов децентрализованного управления для борьбы с негативными внешними эффектами - социально очень сложная проблема. Есть причина, по которой самым ярким примером того, что децентрализованное управление идёт (развивается) не так, является самосуд. В человеческой психологии есть что-то такое, что делает реагирование на негатив гораздо более сложным и с гораздо большей вероятностью ошибочным, чем реагирование на позитив. И это причина, по которой даже в самых демократичных организациях решения о том, как реагировать на негатив, часто остаются на усмотрение централизованного совета директоров.

Во многих случаях эта головоломка является одной из глубинных причин, почему концепция "свободы" так ценна. Если кто-то говорит что-то, что вас оскорбляет, или ведет образ жизни, который вы считаете отвратительным, боль и отвращение, которые вы испытываете, вполне реальны, и вы даже можете счесть, что физически ударить вас менее неприятно, чем подвергаться воздействию таких вещей. Но попытка договориться о том, какие виды обид и отвращения подлежат социальному воздействию, может иметь гораздо больше издержек и опасностей, чем простое напоминание себе о том, что некоторые виды чудаков и придурков - цена, которую мы платим за жизнь в свободном обществе.

Однако в других случаях подход "смирись и терпи" оказывается нереалистичным. В таких случаях стоит обратить внимание на другой выход - защитные технологии.

Чем больше Интернет будет защищён, тем меньше нам придётся нарушать неприкосновенность частной жизни и использовать теневую международную дипломатическую тактику, чтобы преследовать каждого отдельного хакера.

Чем больше сможем создать персонализированных инструментов для блокировки людей в Twitter, внутри-браузерных инструментов для обнаружения мошенничества и коллективных инструментов для различения дезинформации и правды, тем меньше нам придётся бороться за цензуру.

Чем быстрее мы сможем создавать вакцины, тем меньше нам придётся преследовать людей за то, что они являются супер-распространителями. Такие решения работают не во всех областях - мы, конечно, не хотим, чтобы в мире все носили буквально бронежилеты, - но в тех областях, где мы можем создать технологию, которая сделает мир более благоприятным для обороны, это будет очень полезно.

Эта основная идея, что одни технологии благоприятны для обороны и их стоит продвигать, а другие - для нападения, и их следует сдерживать, уходит корнями в литературу об эффективных альтруистах под другим названием: дифференцированное развитие технологий. Есть хорошее изложение этого принципа от исследователей Оксфордского университета 2022 года.

Классификация технологий как наступательных, оборонительных или нейтральных неизбежно будет несовершенной. Как и в случае со "свободой", где можно спорить о том, уменьшает ли социал-демократическая политика правительства свободу, взимая большие налоги и принуждая работодателей, или увеличивает её, уменьшая потребность обычных людей беспокоиться о многих видах рисков, в случае с "обороной" тоже есть технологии, которые могут оказаться по обе стороны спектра.

Ядерное оружие благоприятствует нападению, но ядерная энергия благоприятствует процветанию человека и нейтральна по отношению к нападению и обороне. Разные технологии могут играть разные роли на разных временных горизонтах. Но, как и в случае со словом "свобода" (или "равенство", или "верховенство закона"), двусмысленность - не столько аргумент против принципа, сколько возможность лучше понять его нюансы.

Теперь давайте посмотрим, как применить этот принцип к более всеобъемлющему мировоззрению. Мы можем считать, что оборонительная технология, как и другие технологии, разделена на две сферы: мир атомов и мир битов. Мир атомов, в свою очередь, можно разделить на микро- (т. е. биология, позже нанотехнологии) и макро- (т. е. то, что мы условно считаем "обороной", а также устойчивая физическая инфраструктура). Мир битов разделю по другой оси: насколько сложно в принципе договориться, кто является атакующим? Иногда это легко; называю это кибер-защитой. В другое время это сложнее; называю это информационной обороной.

Физическая защита макро-сферы

Самой недооценённой оборонительной технологией в макро-сфере являются даже не железные купола (включая новую систему Украины) и другая противотанковая и противоракетная военная техника, но устойчивая физическая инфраструктура. Большинство смертей в результате ядерной войны, скорее всего, произойдёт из-за нарушения цепочки поставок, а не из-за первоначальной радиации и взрыва, и такие низко-инфраструктурные интернет-решения, как Starlink, сыграли решающую роль в поддержании связи в Украине в течение последних полутора лет.

Создание инструментов, помогающих людям выживать и даже жить комфортной жизнью независимо или полунезависимо от длинных международных цепочек поставок, представляется ценной оборонительной технологией с низким риском оказаться полезной для нападения.

Стремление превратить человечество в многопланетную цивилизацию можно рассматривать и с точки зрения d/acc: если хотя бы несколько человек будут жить на других планетах самостоятельно, это повысит нашу устойчивость к чему-то ужасному на Земле. Даже если полная концепция окажется нежизнеспособной на данный момент, формы самодостаточной жизни, которые необходимо будет разработать, чтобы сделать такой проект возможным, вполне могут быть использованы для повышения устойчивости нашей цивилизации на Земле.

Микрофизическая защита (она же био)

Ковид продолжает вызывать беспокойство, особенно из-за его долгосрочных последствий для здоровья. Но Ковид - далеко не последняя пандемия, с которой нам предстоит столкнуться; в современном мире существует множество аспектов, которые делают вероятным появление новых пандемий:

• Повышенная плотность населения значительно облегчает распространение вирусов и других патогенов, передающихся воздушно-капельным путём. Эпидемические заболевания появились в истории человечества относительно недавно, и большинство из них началось с урбанизацией всего несколько тысяч лет назад. Продолжающаяся быстрая урбанизация означает, что плотность населения в ближайшие полвека ещё больше возрастёт.
• Увеличение количества авиаперелетов означает, что патогены, передающиеся воздушно-капельным путём, очень быстро распространяются по всему миру. Быстрый рост благосостояния населения означает, что в ближайшие полвека авиаперевозки, скорее всего, ещё больше увеличатся; моделирование сложности показывает, что даже небольшое увеличение может привести к серьёзным последствиям. Изменение климата может ещё больше увеличить этот риск.
• Одомашнивание животных и фабричное земледелие являются основными факторами риска. Корь, вероятно, развилась из коровьего вируса менее 3000 лет назад. Современные фабричные фермы также выращивают новые штаммы гриппа (а также способствуют развитию устойчивости к антибиотикам, что сказывается на врожденном иммунитете человека).

Современная биоинженерия облегчает создание новых и более вирулентных патогенов. Утечка Covid могла произойти из лаборатории, где проводились преднамеренные исследования "усиления функций", а могла и не произойти. Как бы то ни было, утечки в лабораториях происходят постоянно, а инструменты быстро совершенствуются, чтобы облегчить преднамеренное создание чрезвычайно смертоносных вирусов или даже прионов (белков-зомби). Искусственная чума особенно опасна отчасти потому, что, в отличие от ядерного оружия, она не поддаётся воздействию: можете выпустить вирус, и никто не сможет сказать, кто его создал. Уже сейчас можно разработать генетическую последовательность, отправить её в лабораторию для синтеза и получить её в течение пяти дней.

В этой области очень активны CryptoRelief и Balvi - две организации, созданные и профинансированные в результате случайного крупного выигрыша монет Сиба Ину в 2021 году. CryptoRelief первоначально сосредоточилась на реагировании на непосредственный кризис, а в последнее время занимается созданием долгосрочной экосистемы медицинских исследований в Индии, в то время как Balvi сосредоточилась на проектах moonshot, направленных на улучшение наших возможностей по обнаружению, предотвращению и лечению Ковида и других заболеваний, передающихся воздушно-капельным путем.

Бальви настаивает на том, что финансируемые им проекты должны быть с открытым исходным кодом.

Вдохновляясь идеями водных инженеров XIX века, которые победили холеру и другие патогены, передающиеся через воду, компания финансирует проекты по всему спектру технологий, которые по умолчанию могут сделать мир более защищенным от патогенов, передающихся воздушно-капельным путем (см.: обновление 1 и обновление 2), включая:

• НИОКР по облучению ультрафиолетовым светом
• Фильтрация воздуха и мониторинг его качества в Индии, Шри-Ланке, США и других странах, а также мониторинг качества воздуха
• Оборудование для дешёвого и эффективного децентрализованного тестирования качества воздуха
• Исследования причин и потенциальных вариантов лечения болезни Лонг-Ковида (основная причина может быть ясна, но выяснить механизмы и найти лечение сложнее)
• Вакцины (например, RaDVaC, PopVax) и исследования вакцинального травматизма
• Набор совершенно новых неинвазивных медицинских инструментов
• Раннее обнаружение эпидемий с помощью анализа данных из открытых источников (например, EPIWATCH)
• Тестирование, включая очень дешевые молекулярные экспресс-тесты
• Биозащитные маски на случай, если другие подходы окажутся неэффективными

Другие перспективные направления включают наблюдение за патогенами в сточных водах, улучшение фильтрации и вентиляции в зданиях, а также лучшее понимание и снижение рисков, связанных с плохим качеством воздуха.

Существует возможность построить мир, который по умолчанию будет гораздо более защищён от воздушно-капельных пандемий, как естественных, так и искусственных.

Этот мир будет включать в себя высоко оптимизированный конвейер, по которому сможем пройти путь от начала пандемии, её автоматического обнаружения до получения людьми по всему миру доступа к целевым, локально производимым и проверяемым вакцинам или другим профилактическим средствам из открытых источников, вводимым с помощью небулайзера или спрея для носа (то есть при необходимости их можно вводить самостоятельно, без использования игл), и всё это в течение одного месяца. В то же время улучшение качества воздуха резко снизит скорость распространения инфекции и предотвратит возникновение многих пандемий.

Представьте себе будущее, в котором не придётся прибегать к кувалде социального принуждения - никаких мандатов и прочего, никакого риска плохо продуманных и реализованных мандатов, которые, возможно, только усугубят ситуацию, - потому что инфраструктура общественного здравоохранения вплетена в ткань цивилизации.

Такие миры возможны, и средний объём финансирования биозащиты может сделать это реальностью. Работа будет проходить еще более гладко, если разработки будут иметь открытый исходный код, бесплатны для пользователей и защищены как общественное достояние.

Киберзащита, блокчейн и криптография

Специалисты по безопасности считают, что нынешнее состояние компьютерной безопасности просто ужасно. При этом легко недооценить достигнутый прогресс. Сотни миллиардов долларов криптовалюты доступны для анонимной кражи любому, кто может взломать кошельки пользователей, и хотя гораздо большее количество теряется или крадется, чем хотелось бы, факт остается фактом: большая часть криптовалюты остается не украденной уже более десяти лет. В последнее время ситуация улучшилась:

• Доверенные аппаратные чипы, устанавливаемые в телефоны пользователей, фактически создают внутри телефона гораздо меньшую операционную систему с высоким уровнем безопасности, которая может оставаться защищенной, даже если остальная часть телефона будет взломана. Помимо многих других вариантов использования, эти чипы всё чаще рассматриваются как способ создания более безопасных криптовалютных кошельков.
• Браузеры как операционная система де-факто. За последние десять лет произошел тихий переход от загружаемых приложений к приложениям в браузере. В значительной степени это стало возможным благодаря WebAssembly (WASM). Даже Adobe Photoshop, который долгое время называли основной причиной, по которой многие люди не могут практически использовать Linux из-за его необходимости и несовместимости с Linux, теперь подходит для Linux благодаря тому, что находится внутри браузера. Это также является большим плюсом в плане безопасности: хотя браузеры и имеют недостатки, в целом они оснащены гораздо большей "песочницей", чем установленные приложения: приложения не могут получить доступ к произвольным файлам на вашем компьютере.
• Усиленные операционные системы. Graphene OS для мобильных устройств существует, и она очень удобна. Существует Qubes OS для настольных компьютеров; в настоящее время она несколько менее удобна, чем Graphene, по крайней мере, по моему опыту, но она совершенствуется.
• Попытки выйти за рамки паролей. Пароли, к сожалению, сложно защитить как потому, что их трудно запомнить, так и потому, что их легко подслушать. В последнее время всё большее внимание уделяется паролям, а многофакторная аппаратная аутентификация действительно работает.

Однако отсутствие киберзащиты в других сферах также привело к серьёзным неудачам. Необходимость защиты от спама привела к тому, что электронная почта на практике стала очень олигополистической, что затрудняет самостоятельную работу или создание нового поставщика услуг электронной почты. Многие онлайн-приложения, в том числе Twitter, требуют от пользователей авторизации для доступа к контенту и блокируют IP-адреса VPN, что затрудняет доступ к интернету с соблюдением конфиденциальности. Централизация программного обеспечения также опасна из-за "оружейной взаимозависимости": тенденция современных технологий проходить через централизованные узлы, а операторы этих узлов используют эту власть для сбора информации, манипулирования результатами или исключения конкретных участников - стратегия, которая, похоже, в настоящее время применяется даже против самой индустрии блокчейна.

Это тревожные тенденции, поскольку они ставят под угрозу то, что исторически было одной из моих больших надежд на то, что будущее свободы и приватности, несмотря на глубокие компромиссы, может оказаться светлым. В своей книге "Несовершенное будущее" Дэвид Фридман предсказывает, что можем получить компромиссное будущее: мир людей будет всё больше и больше подвергаться наблюдению, но благодаря криптографии онлайн-мир сохранит и даже улучшит свою приватность. К сожалению, как мы уже убедились, такая контртенденция далеко не гарантирована.

Именно поэтому уделяю особое внимание таким криптографическим технологиям, как блокчейн и ZKP. Блокчейн позволяет нам создавать экономические и социальные структуры с "общим жестким диском", не завися от централизованных субъектов. Криптовалюта позволяет людям сохранять деньги и совершать финансовые операции, как это было до появления интернета с наличными, не завися от доверенных третьих лиц, которые могут поменять свои правила по прихоти. Они также могут служить запасным антисибильным механизмом, делая атаки и спам дорогостоящими даже для тех пользователей, которые не имеют или не хотят раскрывать свою личность в "мясном пространстве". Абстракция аккаунтов и, в частности, кошельки социального восстановления могут защитить наши криптоактивы и, возможно, другие активы в будущем, не слишком полагаясь на централизованных посредников.

ZKP могут использоваться для обеспечения конфиденциальности, позволяя пользователям доказывать информацию о себе без раскрытия частной информации. Например, оберните цифровую подпись в паспорте в ZK-SNARK, чтобы доказать, что вы являетесь уникальным гражданином данной страны, не раскрывая при этом, кем именно вы являетесь. Подобные технологии позволяют нам сохранить преимущества конфиденциальности и анонимности - свойства, которые, по общему мнению, необходимы для таких приложений, как голосование, - и при этом получить гарантии безопасности и бороться со спамом и недобросовестными участниками.

Zupass, созданный в Zuzalu в начале этого года, - отличный пример сказанного на практике.

Это приложение, которое уже использовали сотни людей в Zuzalu и недавно тысячи людей для покупки билетов в Devconnect, позволяет хранить билеты, членские билеты, (непередаваемые) цифровые предметы коллекционирования и другие удостоверения и подтверждать их наличие, не нарушая конфиденциальности. Например, вы можете доказать, что являетесь уникальным зарегистрированным жителем Zuzalu или владельцем билетов Devconnect, не раскрывая при этом никаких других сведений о себе. Эти доказательства можно предъявить лично, с помощью QR-кода, или в цифровом виде, чтобы войти в такие приложения, как Zupoll, анонимная система голосования, доступная только жителям Зузалу.

Эти технологии являются отличным примером принципов d/acc: они позволяют пользователям и сообществам проверять благонадежность без ущерба для конфиденциальности и защищать свою безопасность, не полагаясь на централизованные центры, которые навязывают свои собственные определения того, кто хороший, а кто плохой. Они повышают глобальную доступность, создавая более эффективные и справедливые способы защиты безопасности пользователей или сервисов по сравнению с распространенными сегодня методами, такими как дискриминация целых стран, которые считаются ненадежными. Это очень мощные примитивы, которые могут понадобиться, если мы хотим сохранить децентрализованное видение информационной безопасности в XXI веке. Работа над оборонительными технологиями для киберпространства в целом может сделать интернет более открытым, безопасным и свободным в очень важных направлениях в будущем.

Инфооборона

Киберзащита, как я её описал, - ситуации, в которых разумные люди легко приходят к единому мнению о том, кто является злоумышленником. Если кто-то пытается взломать ваш кошелек, легко согласиться с тем, что хакер - плохой парень. Если кто-то пытается совершить DoS-атаку на веб-сайт, легко согласиться, что это злонамеренное действие, и с моральной точки зрения это не то же самое, что обычный пользователь, пытающийся прочитать то, что находится на сайте. Есть и другие ситуации, где границы более размыты. Именно инструменты для улучшения нашей защиты в таких ситуациях и называю "инфозащитой".

Возьмём, к примеру, проверку фактов (она же - предотвращение "дезинформации"). Я большой поклонник Community Notes, который много сделал для того, чтобы помочь пользователям выявлять правду и ложь в сообщениях других пользователей в твиттере. В Community Notes используется новый алгоритм, который выводит на поверхность не те заметки, которые пользуются наибольшей популярностью, а те, которые наиболее одобрены пользователями из разных политических кругов.

Также являюсь поклонником рынков предсказаний, которые помогают определить значимость событий в режиме реального времени, до того как осядет пыль и будет достигнут консенсус относительно того, в каком направлении двигаться. Polymarket на Сэма Альтмана очень полезен тем, что даёт полезное резюме конечных последствий ежечасных разоблачений и переговоров, давая столь необходимый контекст людям, которые видят только отдельные новости и не понимают значения каждой из них.

Рынки предсказаний часто бывают несовершенны. Но ещё более ошибочными являются прогнозы влиятельных лиц в Twitter, которые готовы уверенно заявить, что, по их мнению, "произойдёт" в течение следующего года. Рынки предсказаний ещё можно значительно улучшить. Например, основным практическим недостатком рынков предсказаний является их низкий объём по всем событиям, кроме самых громких; естественным направлением для решения этой проблемы могли бы стать рынки предсказаний, на которых играют/работают искусственные интеллекты.

В пространстве блокчейна есть особый тип информационной защиты, который, как мне кажется, нам нужен в гораздо большей степени. А именно, кошельки должны быть гораздо более активными, чтобы помочь пользователям определить значение вещей, которые они подписывают, и защитить их от мошенничества и афер. Это промежуточный случай: то, что является и не является мошенничеством, менее субъективно, чем взгляды на спорные общественные события, но более субъективно, чем отличить законных пользователей от DoS-атакующих или хакеров. Metamask уже имеет базу данных мошенников и автоматически блокирует посещение мошеннических сайтов.

Приложения вроде Fire - пример того, как можно пойти гораздо дальше. Однако подобные программы безопасности не должны быть чем-то, что требует явной установки; они должны быть частью криптовалютных кошельков или даже браузеров по умолчанию.

Из-за своей более субъективной природы инфозащита по своей сути является более коллективной, чем киберзащита: вам нужно каким-то образом подключиться к большой и сложной группе людей, чтобы определить, что может быть правдой, а что ложью, и какое приложение является обманной пирамидой. У разработчиков есть возможность пойти гораздо дальше в разработке эффективной инфозащиты и в укреплении существующих форм инфозащиты. Что-то вроде Community Notes может быть включено в браузеры и охватывать не только платформы социальных сетей, но и весь интернет.

Социальные технологии за рамками "защиты"

В какой-то степени меня можно обвинить в подтасовке фактов, когда описываю некоторые из этих инфотехнологий как "оборонные". В конце концов, защита - помощь благонамеренным субъектам в защите от злонамеренных субъектов (или, в некоторых случаях, от природы). Некоторые из этих социальных технологий, однако, призваны помочь благонамеренным субъектам достичь консенсуса.

Хорошим примером этого является pol.is, который использует алгоритм, похожий на Community Notes (и предшествующий Community Notes), чтобы помочь сообществам выявить точки согласия между под-племенами, которые в противном случае во многом не согласны. Viewpoints.xyz был вдохновлён pol.is и имеет схожий дух.

Подобные технологии можно использовать для более децентрализованного управления спорными решениями. И опять же, блокчейн-сообщества - хороший полигон для этого, где подобные алгоритмы уже показали свою эффективность. Как правило, решения о том, какие улучшения ("EIP") вносить в протокол Ethereum, принимаются довольно небольшой группой на встречах под названием "All Core Devs calls". Для чисто технических решений, где большинство членов сообщества не испытывают сильных чувств, это работает достаточно хорошо. Для более значимых решений, которые влияют на экономику протокола или более фундаментальные ценности, такие как неизменяемость и устойчивость к цензуре, этого часто недостаточно. В 2016-17 годах, когда был принят ряд спорных решений о внедрении форка DAO, сокращении эмиссии и (не)разморозке кошелька Parity, такие инструменты, как Carbonvote, а также голосование в социальных сетях помогли сообществу и разработчикам понять, в какую сторону склоняется большинство членов сообщества.

У Carbonvote были свои недостатки: для определения принадлежности к сообществу Ethereum он полагался на владение ETH, в результате чего в результатах голосования доминировали несколько богатых держателей ETH ("китов"). Однако с помощью современных инструментов мы могли бы создать гораздо более совершенный Carbonvote, используя многочисленные сигналы, такие как POAP, печати Zupass, паспорта Gitcoin, членство Protocol Guild, а также владение ETH (или даже соло-стейкингом-ETH) для определения членства в сообществе.

Подобные инструменты могут быть использованы любым сообществом для принятия более качественных решений, поиска точек соприкосновения, координации миграции (физической или цифровой) или выполнения ряда других задач, не полагаясь на непрозрачное централизованное руководство. Это не ускорение обороны как таковое, но это определенно можно назвать ускорением (их) демократизации. Такие инструменты можно даже использовать для улучшения и демократизации управления ключевыми участниками и институтами, работающими в сфере ИИ.

Каковы же дальнейшие пути развития сверхразума?

Все вышесказанное хорошо и полезно, и может сделать мир гораздо более гармоничным, безопасным и свободным в следующем столетии. Однако это ещё не решает проблему большого слона в комнате: сверх-разумного ИИ.

Стандартный путь развития, предлагаемый многими из тех, кто беспокоится об ИИ, по сути, ведёт к созданию минимального мирового правительства ИИ. В ближайших версиях этого пути есть предложение о создании "многонационального консорциума AGI" ("MAGIC"). Такой консорциум, если он будет создан и преуспеет в достижении своих целей по созданию сверх-разумного ИИ, будет иметь естественный путь к тому, чтобы стать де-факто минимальным мировым правительством. В более долгосрочной перспективе существуют идеи вроде теории "поворотного акта": мы создаём ИИ, который совершает одноразовое действие, превращающее мир в игру, где с этого момента люди всё ещё главные, но игровая доска каким-то образом более благоприятна для обороны и более пригодна для процветания человечества.

Главная практическая проблема, которую вижу в этом на данный момент, заключается в том, что люди, похоже, не доверяют какому-то конкретному механизму управления, способному создать такую вещь. Этот факт становится очевидным, если взглянуть на результаты моих недавних опросов в Twitter, в которых людей спрашивали, предпочли бы они, чтобы ИИ монополизировал один субъект с десятилетним преимуществом, или чтобы ИИ отложили на десятилетие для всех.

Размер каждого опроса невелик, но они компенсируют это единообразием результатов, полученных из самых разных источников и вариантов. В девяти случаях из девяти большинство людей предпочли бы, чтобы создание высокоразвитого ИИ было отложено на десятилетие, а не монополизировано одной группой, будь то корпорация, правительство или транснациональная корпорация. В семи случаях из девяти отсрочка победила со счетом два к одному.

Этот факт представляется важным для понимания всеми, кто занимается регулированием ИИ.

Современные подходы сосредоточены на создании схем лицензирования и нормативных требований, пытаясь ограничить развитие ИИ меньшим числом людей, но они встречают отпор со стороны населения именно потому, что люди не хотят, чтобы кто-то монополизировал нечто столь мощное. Даже если такие предложения по регулированию сверху вниз снизят риск вымирания, они рискуют увеличить вероятность того, что централизованный тоталитаризм станет неким постоянным замком. Как ни парадоксально, может ли быть более популярным соглашение о полном запрете исследований в области чрезвычайно продвинутого ИИ (возможно, с исключениями для биомедицинского ИИ) в сочетании с такими мерами, как обязательное предоставление открытого исходного кода для тех моделей, которые не запрещены, в качестве способа снижения мотивации получения прибыли при дальнейшем улучшении равенства доступа?

Основной подход, которому отдают предпочтение противники "давайте создадим одну глобальную организацию, которая будет заниматься ИИ, и сделаем её управление действительно очень хорошим", - политеистический ИИ: намеренно старайтесь, чтобы множество людей и компаний разрабатывали множество ИИ, чтобы ни один из них не стал намного мощнее другого. Таким образом, согласно теории, даже когда ИИ станет сверхразумным, мы сможем сохранить баланс сил.

Эта философия интересна, но мой опыт попыток обеспечить "политеизм" в экосистеме Ethereum заставляет меня беспокоиться о том, что такое равновесие по своей сути нестабильно. В Ethereum намеренно пытались обеспечить децентрализацию многих частей стека: гарантировать, что не существует единой кодовой базы, контролирующей более половины сети proof of stake, попытаться противостоять доминированию крупных стабфондов, улучшить географическую децентрализацию и так далее. По сути, Ethereum пытается воплотить в жизнь старую либертарианскую мечту о рыночном обществе, в котором антимонопольным регулятором выступает не правительство, а социальное давление. В какой-то степени это сработало: доминирующее положение клиента Prysm снизилось с более чем 70 % до менее 45 %. Но это не какой-то автоматический рыночный процесс: это результат человеческих намерений и скоординированных действий.

Мой опыт в Ethereum отражает опыт всего мира в целом, где многие рынки оказались естественными монополиями. Со сверх-интеллектуальными ИИ, действующими независимо от человека, ситуация становится ещё более нестабильной. Благодаря рекурсивному самосовершенствованию сильнейший ИИ может очень быстро вырваться вперёд, а когда ИИ станет мощнее человека, не будет силы, способной вернуть ситуацию в равновесие.

Кроме того, даже если получим политеистический мир сверх-разумных ИИ, который в итоге окажется стабильным, у нас останется другая проблема: мы получим вселенную, где люди - домашние животные.

Счастливый путь: слиться с ИИ?

Другой вариант, о котором слышал в последнее время, заключается в том, чтобы меньше думать об ИИ как о чём-то отдельном от человека, а больше - об инструментах, которые улучшают человеческое познание, а не заменяют его.

Одним из ближайших примеров того, что движется в этом направлении, являются инструменты для рисования с помощью ИИ. Сегодня наиболее известные инструменты для создания изображений, генерируемых ИИ, имеют только один этап, на котором человек вносит свои данные, а дальше всё делает ИИ. Альтернативой может стать создание ИИ-версий Photoshop: инструменты, в которых художник или ИИ могут сделать ранний набросок изображения, а затем они совместно улучшают его, используя процесс обратной связи в реальном времени.

Другим направлением в схожем духе является архитектура Open Agency Architecture, которая предлагает разделить различные части "разума" ИИ (например, составление планов, выполнение планов, интерпретация информации из внешнего мира) на отдельные компоненты и внедрить между ними разнообразную человеческую обратную связь.

Пока что это звучит обыденно, и почти все согласны с тем, что было бы неплохо иметь. Работы экономиста Дарона Асемоглу далеки от такого футуризма, но его новая книга "Сила и прогресс" намекает на то, что он хотел бы видеть больше именно таких типов ИИ.

Но если захотим экстраполировать эту идею сотрудничества человека и ИИ дальше, то придём к более радикальным выводам. Если мы не создадим мировое правительство, достаточно мощное, чтобы обнаружить и остановить каждую небольшую группу людей, взламывающих отдельные графические процессоры на ноутбуках, кто-нибудь в конце концов создаст сверхразумный ИИ - такой, который сможет думать в тысячу раз быстрее, чем мы, - и никакая комбинация людей, использующих инструменты своими руками, не сможет противостоять ему. Поэтому нам нужно развивать идею сотрудничества человека и компьютера гораздо глубже и дальше.

Первый естественный шаг - интерфейсы мозг-компьютер. Интерфейсы "мозг-компьютер" могут дать человеку гораздо более прямой доступ ко всё более и более мощным формам вычислений и познания, сократив цикл двусторонней связи между человеком и машиной с секунд до миллисекунд. Это также значительно сократит затраты "умственных усилий" на то, чтобы заставить компьютер помочь вам собрать факты, дать предложения или выполнить план.

Более поздние этапы такой дорожной карты, конечно, становятся странными. Помимо интерфейсов "мозг-компьютер", существуют различные пути улучшения нашего мозга непосредственно с помощью инноваций в биологии. Дальнейший возможный шаг, объединяющий оба пути, может включать в себя загрузку нашего разума для работы непосредственно на компьютерах. Это также стало бы окончательным d/acc для физической безопасности: защита себя от вреда перестала бы быть сложной проблемой защиты неизбежно коварных человеческих тел, а стала бы гораздо более простой проблемой создания резервных копий данных.

Подобные направления иногда вызывают беспокойство, отчасти потому, что они необратимы, а отчасти потому, что они могут дать влиятельным людям больше преимуществ перед остальными. Особенно опасны интерфейсы "мозг-компьютер" - ведь речь идёт о буквальном чтении и записи в сознание людей. Именно поэтому считаю, что было бы идеально, если бы ведущую роль на этом пути играло движение за безопасность с открытым исходным кодом, а не закрытые и проприетарные корпорации и венчурные фонды. Кроме того, все эти проблемы хуже для сверх-интеллектуальных ИИ, которые работают независимо от человека, чем для аугментаций, тесно связанных с человеком. Разделение на "усиленных" и "не-усиленных" существует уже сегодня из-за ограничений на то, кто может и не может использовать ChatGPT.

Если хотим, чтобы будущее было одновременно сверх-разумным и "человечным", чтобы люди были не просто домашними животными, а обладали значимой властью над миром, то кажется, что нечто подобное - самый естественный вариант. Есть также веские аргументы в пользу того, что это более безопасный путь выравнивания ИИ: вовлекая обратную связь с человеком на каждом этапе принятия решений, мы уменьшаем стимул перекладывать ответственность за высокоуровневое планирование на сам ИИ и тем самым снижаем вероятность того, что ИИ самостоятельно сделает что-то совершенно не соответствующее ценностям человечества.

Ещё один аргумент в пользу этого направления заключается в том, что оно может быть более приемлемым с социальной точки зрения, чем просто крики "приостановить ИИ" без дополнительного сообщения, предлагающего альтернативный путь вперед. Это потребует философского сдвига от нынешнего менталитета, согласно которому технологические достижения, соприкасающиеся с человеком, опасны, а достижения, отделенные от человека, по умолчанию безопасны. Но у этого есть огромное преимущество: разработчикам есть чем заняться. Сегодня основной посыл движения за безопасность ИИ к разработчикам ИИ, похоже, сводится к тому, что "вы должны просто остановиться". Можно работать над исследованиями по выравниванию, но сегодня для этого нет экономических стимулов. По сравнению с этим распространенное послание e/acc "ты уже герой, такой, какой ты есть", по понятным причинам, чрезвычайно привлекательно.

Послание d/acc, которое гласит: "вы должны строить, и строить прибыльные вещи, но быть гораздо более избирательным и намеренным в том, чтобы убедиться, что вы строите вещи, которые помогают вам и человечеству процветать", может быть выигрышным.

Совместим ли д/акк с вашей существующей философией?

Если вы э/акк, то д/акк - подвид э/акк, только гораздо более избирательный и намеренный.

Если вы эффективный альтруист, то d/acc - ребрендинг идеи эффективного альтруиста о дифференцированном развитии технологий, но с большим акцентом на либеральные и демократические ценности.

Если вы либертарианец, то d/acc - подвид техно-либертарианства, хотя и более прагматичный, который более критичен к "техно-капиталистической машине" и готов принять государственное вмешательство сегодня (по крайней мере, если культурное вмешательство не работает), чтобы предотвратить гораздо худшую несвободу завтра.

Если вы плюралист в понимании Глена Вейла, то d/acc - фрейм, который может легко включить в себя акцент на технологии лучшей демократической координации, которую ценит плюрализм.

Если вы сторонник общественного здравоохранения, то идеи d/acc могут стать источником более широкого долгосрочного видения и возможности найти общий язык с "технарями", с которыми в противном случае вы могли бы чувствовать себя враждебно.

Если вы сторонник блокчейна, то d/acc - более современный и широкий нарратив, чем пятнадцатилетней давности акцент на гиперинфляции и банках, который рассматривает блокчейн в контексте как один из многих инструментов конкретной стратегии построения светлого будущего.

Если вы соларпанк, то d/acc - подвид соларпанка, в котором делается аналогичный акцент на преднамеренности и коллективных действиях.

Если вы лунарпанк, то вы оцените акцент d/acc на информационную защиту через сохранение приватности и свободы.

Мы - самая яркая звезда

Я люблю технологии, потому что они расширяют человеческий потенциал. Десять тысяч лет назад мы могли создать несколько ручных инструментов, изменить, какие растения растут на небольшом участке земли, и построить элементарные дома. Сегодня можем строить башни высотой 800 метров, хранить все записанные человеческие знания в устройстве, которое можно держать в руках, мгновенно общаться по всему миру, удвоить продолжительность жизни и жить счастливой и полноценной жизнью, не боясь, что наши лучшие друзья регулярно умирают от болезней.

Верю, что всё это очень хорошо, и что расширение сферы влияния человечества до планет и звёзд - очень хорошо, потому что верю, что человечество - очень хорошо. В некоторых кругах модно скептически относиться к этому: движение за добровольное вымирание человечества утверждает, что Земле было бы лучше вообще без людей, а многие другие хотят, чтобы в ближайшие века свет увидело гораздо меньшее число человеческих существ. Обычно утверждают, что люди плохие, потому что мы обманываем и воруем, занимаемся колониализмом и войной, плохо обращаемся с другими видами и уничтожаем их. Отвечаю на этот стиль мышления одним простым вопросом: по сравнению с чем?

Да, люди часто бывают злыми, но гораздо чаще мы проявляем доброту и милосердие и работаем вместе для нашего общего блага.

Даже во время войн мы часто заботимся о защите мирного населения - конечно, не в достаточной степени, но все же гораздо чаще, чем 2000 лет назад. В следующем столетии вполне может появиться широкодоступное мясо неживотного происхождения, что устранит самую большую моральную катастрофу, в которой сегодня можно справедливо обвинить человека. С нечеловеческими животными всё не так. Не существует ситуации, когда кошка по этическим соображениям откажется есть мышей. Солнце с каждым годом становится всё ярче, и ожидается, что примерно через миллиард лет Земля станет слишком горячей для поддержания жизни.

Задумывается ли Солнце о геноциде, который оно собирается устроить?

Поэтому твёрдо убежден, что из всего, что знаем и видели в нашей Вселенной, мы, люди, - самая яркая звезда. Мы - единственное известное нам существо, которое, пусть и несовершенно, иногда прилагает искренние усилия, чтобы заботиться о "хорошем" и корректировать свое поведение, чтобы лучше служить ему.

Через два миллиарда лет, если Земля или любая другая часть Вселенной все еще будет хранить красоту земной жизни, это произойдет благодаря человеческим изобретениям, таким как космические путешествия и геоинженерия.

Нам нужно строить и ускоряться. Но есть очень реальный вопрос, который необходимо задать: что это за вещь, к которой мы ускоряемся?

XXI век вполне может стать поворотным веком для человечества, веком, в котором решится наша судьба на тысячелетия вперед. Попадём ли мы в одну из множества ловушек, из которых нам не выбраться, или же найдем путь к будущему, где сохраним свободу и самостоятельность? Это непростые проблемы. Но с нетерпением жду возможности наблюдать и участвовать в грандиозных коллективных усилиях нашего вида по поиску ответов.

До!