Нексус – Юваль Ной Харари

Нексус: Краткая история информационных сетей от каменного века до искусственного интеллекта – Юваль Ной Харари

Nexus: A Brief History of Information Networks from the Stone Age to AI

ПРОЛОГ:

Человечество нарекло себя Homo sapiens — человек разумный. Однако вопрос, насколько мы оправдываем это имя, остается открытым для дискуссии. За последние сто тысяч лет мы, сапиенсы, несомненно, накопили огромную власть. Простое перечисление наших открытий, изобретений и завоеваний заняло бы целые тома. Но власть — это не мудрость, и после ста тысяч лет открытий, изобретений и завоеваний человечество оказалось на пороге экзистенциального кризиса. Мы стоим на грани экологического коллапса, вызванного злоупотреблением собственной мощью. Мы также активно создаем новые технологии, такие как искусственный интеллект (ИИ), которые потенциально могут выйти из-под контроля, поработить или уничтожить нас. Вместо того чтобы объединиться для решения этих экзистенциальных проблем, международная напряженность растет, глобальное сотрудничество становится все труднее, страны накапливают оружие судного дня, и новая мировая война не кажется невозможной. Если мы, сапиенсы, так мудры, почему мы так склонны к саморазрушению?

На более глубоком уровне, несмотря на накопленную информацию обо всем, от молекул ДНК до далеких галактик, не похоже, чтобы вся эта информация дала нам ответ на главные вопросы жизни: Кто мы? К чему мы должны стремиться? Что такое хорошая жизнь и как нам следует ее прожить? Несмотря на колоссальные объемы информации в нашем распоряжении, мы так же подвержены фантазиям и заблуждениям, как и наши древние предки. Нацизм и сталинизм — лишь два недавних примера массового безумия, которое иногда охватывает даже современные общества. Никто не оспаривает, что сегодня у людей гораздо больше информации и власти, чем в каменном веке, но далеко не очевидно, что мы стали лучше понимать себя и свою роль во вселенной.

Почему мы так хорошо умеем накапливать информацию и власть, но гораздо менее успешны в обретении мудрости? На протяжении истории многие традиции полагали, что некий роковой изъян в нашей природе искушает нас стремиться к силам, с которыми мы не умеем обращаться. Греческий миф о Фаэтоне рассказывает о юноше, узнавшем, что он сын Гелиоса, бога солнца. Желая доказать свое божественное происхождение, Фаэтон требует права управлять солнечной колесницей. Гелиос предостерегает его, что ни один человек не сможет удержать небесных коней. Но Фаэтон настаивает, и бог солнца уступает. Гордо взмыв в небо, Фаэтон действительно теряет контроль над колесницей. Солнце сбивается с курса, испепеляя растительность, убивая живых существ и угрожая сжечь саму Землю. Зевс вмешивается и поражает Фаэтона молнией. Тщеславный человек падает с неба, объятый пламенем. Боги восстанавливают контроль над небом и спасают мир.

Две тысячи лет спустя, когда промышленная революция делала первые шаги и машины начали заменять людей во многих задачах, Иоганн Вольфганг фон Гёте опубликовал похожую поучительную историю под названием «Ученик чародея». Поэма Гёте (позже популяризированная в анимационном фильме Уолта Диснея с Микки Маусом) повествует о том, как старый колдун оставляет юного ученика присматривать за мастерской и поручает ему некоторые дела, например, носить воду из реки. Ученик решает облегчить себе задачу и, используя одно из заклинаний колдуна, зачаровывает метлу, чтобы та носила воду за него. Но ученик не знает, как остановить метлу, которая неустанно приносит все больше и больше воды, угрожая затопить мастерскую. В панике ученик разрубает зачарованную метлу топором надвое, но видит, как каждая половина превращается в новую метлу. Теперь уже две зачарованные метлы заливают мастерскую водой. Когда возвращается старый колдун, ученик умоляет о помощи: «Духов, что я вызвал, мне боле не изгнать». Колдун немедленно снимает заклятие и останавливает потоп. Урок для ученика — и для человечества — ясен: никогда не призывай силы, которыми не можешь управлять.

Что говорят нам поучительные басни об ученике и Фаэтоне в двадцать первом веке? Мы, люди, очевидно, отказались прислушаться к их предупреждениям. Мы уже вывели климат Земли из равновесия и призвали миллиарды зачарованных метел, дронов, чат-ботов и других алгоритмических духов, которые могут выйти из-под нашего контроля и вызвать поток непредвиденных последствий. Что же нам делать? Басни не предлагают ответов, кроме как ждать спасения от какого-нибудь бога или чародея. Это, конечно, крайне опасный посыл. Он побуждает людей отказываться от ответственности и вместо этого возлагать веру на богов и чародеев. Хуже того, он не учитывает, что боги и чародеи сами являются человеческим изобретением — точно так же, как колесницы, метлы и алгоритмы. Склонность создавать могущественные вещи с непредвиденными последствиями началась не с изобретения парового двигателя или ИИ, а с изобретения религии. Пророки и теологи неоднократно призывали могущественных духов, которые должны были принести любовь и радость, но в итоге заливали мир кровью.

Миф о Фаэтоне и поэма Гёте не могут дать полезного совета, потому что они неверно истолковывают способ обретения власти людьми. В обеих баснях один человек обретает огромную власть, но затем его губит гордыня и жадность. Вывод таков: наша несовершенная индивидуальная психология заставляет нас злоупотреблять властью. Этот грубый анализ упускает из виду, что человеческая власть никогда не является результатом индивидуальной инициативы. Власть всегда проистекает из сотрудничества больших групп людей. Соответственно, не наша индивидуальная психология заставляет нас злоупотреблять властью. Ведь наряду с жадностью, гордыней и жестокостью, люди также способны на любовь, сострадание, смирение и радость. Правда, среди худших представителей нашего вида жадность и жестокость преобладают и ведут к злоупотреблению властью. Но почему человеческие общества решают доверить власть своим худшим представителям? Большинство немцев в 1933 году, например, не были психопатами. Так почему же они проголосовали за Гитлера?

Наша склонность призывать силы, которые мы не можем контролировать, проистекает не из индивидуальной психологии, а из уникального способа, которым наш вид сотрудничает в больших количествах. Основной аргумент этой книги заключается в том, что человечество обретает огромную власть, создавая большие сети сотрудничества, но сам способ построения этих сетей предрасполагает к неразумному использованию власти. Наша проблема, таким образом, — это проблема сети. Еще конкретнее, это проблема информации. Информация — это клей, который скрепляет сети. Но на протяжении десятков тысяч лет сапиенсы строили и поддерживали большие сети, изобретая и распространяя вымыслы, фантазии и массовые заблуждения — о богах, о зачарованных метлах, об ИИ и о множестве других вещей. В то время как каждый отдельный человек обычно заинтересован в познании правды о себе и мире, большие сети связывают своих членов и создают порядок, опираясь на вымыслы и фантазии. Так мы пришли, например, к нацизму и сталинизму. Это были исключительно мощные сети, скрепленные исключительно бредовыми идеями. Как знаменито выразился Джордж Оруэлл, невежество — сила.

Тот факт, что нацистский и сталинский режимы были основаны на жестоких фантазиях и бесстыдной лжи, не делает их исторически исключительными и не предопределяет их крах. Нацизм и сталинизм были двумя из самых сильных сетей, когда-либо созданных людьми. В конце 1941 — начале 1942 года державы Оси были близки к победе во Второй мировой войне. Сталин в конечном итоге вышел победителем из этой войны, а в 1950-х и 1960-х годах у него и его наследников были реальные шансы выиграть Холодную войну. К 1990-м годам либеральные демократии одержали верх, но теперь это кажется временной победой. В двадцать первом веке какой-нибудь новый тоталитарный режим вполне может преуспеть там, где потерпели неудачу Гитлер и Сталин, создав всемогущую сеть, которая сможет помешать будущим поколениям даже попытаться разоблачить ее ложь и вымыслы. Не следует полагать, что бредовые сети обречены на провал. Если мы хотим предотвратить их триумф, нам придется проделать тяжелую работу самим.

ЧАСТЬ I: Человеческие Сети

ГЛАВА 1: ЧТО ТАКОЕ ИНФОРМАЦИЯ?

Определять фундаментальные понятия всегда непросто. Будучи основой для всего последующего, они сами, кажется, лишены всякой основы. Физикам трудно определить материю и энергию, биологам — жизнь, а философам — реальность. Информацию все чаще рассматривают многие философы, биологи и даже некоторые физики как самый базовый строительный блок реальности, более элементарный, чем материя и энергия. Неудивительно, что существует множество споров о том, как определить информацию и как она связана с эволюцией жизни или с базовыми идеями физики, такими как энтропия, законы термодинамики и квантовый принцип неопределенности. Эта книга не будет пытаться разрешить — или даже объяснить — эти споры, равно как и не предложит универсального определения информации, применимого к физике, биологии и всем другим областям знания. Поскольку это труд по истории, изучающий прошлое и будущее развитие человеческих обществ, она сосредоточится на определении и роли информации в истории.

В повседневном употреблении информация ассоциируется с созданными человеком символами, такими как устные или письменные слова. Вспомним, например, историю Шер Ами и «Потерянного батальона». В октябре 1918 года, когда американские экспедиционные силы сражались за освобождение северной Франции от немцев, батальон из более чем пятисот американских солдат оказался в ловушке за линией фронта. Американская артиллерия, пытавшаяся обеспечить им огневую поддержку, неправильно определила их местоположение и обрушила огонь прямо на них. Командир батальона, майор Чарльз Уиттлси, срочно должен был сообщить в штаб свое истинное местоположение, но ни один посыльный не мог прорваться через немецкие позиции. Согласно нескольким источникам, в качестве последнего средства Уиттлси обратился к Шер Ами, армейскому почтовому голубю. На крошечном клочке бумаги Уиттлси написал: «Мы находимся вдоль дороги, параллельной [sic] 276.4. Наша артиллерия ведет огонь прямо по нам. Ради всего святого, прекратите». Бумагу вставили в капсулу на правой лапке Шер Ами, и птицу выпустили в воздух. Голубь, несмотря на ранение, пролетел сорок километров до штаба дивизии примерно за сорок пять минут, неся капсулу с критически важным сообщением. Хотя существуют некоторые разногласия относительно точных деталей, ясно, что американская артиллерия скорректировала огонь, и американская контратака спасла «Потерянный батальон». Голубь понятия не имел, какую информацию он передает, но символы, нанесенные чернилами на клочок бумаги, помогли спасти сотни людей от смерти и плена.

Однако информация не обязательно должна состоять из рукотворных символов. Согласно библейскому мифу о Потопе, Ной узнал, что вода наконец спала, потому что голубь, которого он выпустил из ковчега, вернулся с оливковой ветвью в клюве. Затем Бог установил радугу в облаках как небесную запись своего обещания никогда больше не затоплять землю. Голуби, оливковые ветви и радуги с тех пор стали знаковыми символами мира и терпимости. Объекты, еще более далекие, чем радуга, также могут быть информацией. Для астрономов форма и движение галактик составляют важнейшую информацию об истории Вселенной. Для мореплавателей Полярная звезда указывает, где север. Для астрологов звезды — это космический сценарий, передающий информацию о будущем отдельных людей и целых обществ.

Конечно, определение чего-либо как «информации» — это вопрос перспективы. Астроном или астролог может рассматривать созвездие Весов как «информацию», но эти далекие звезды — гораздо больше, чем просто доска объявлений для наблюдателей-людей. Точно так же клочок бумаги с чернильными пятнами может быть критически важной информацией для армейского подразделения или ужином для семейства термитов. Любой объект может быть информацией — или нет. Это затрудняет определение того, что такое информация. Двойственность информации сыграла важную роль в анналах военной разведки, когда шпионам нужно было тайно передавать сведения. Во время Первой мировой войны, после отражения османской атаки на Синайский полуостров и Суэцкий канал, британцы вторглись в Османскую империю. Тем временем пробритански настроенные евреи, жившие в Палестине, создали шпионскую сеть под кодовым названием НИЛИ, чтобы информировать британцев о передвижениях османских войск. Одним из разработанных ими методов связи с британскими операторами были оконные ставни. У Сары Ааронсон, командира НИЛИ, был дом с видом на Средиземное море. Она сигналила британским кораблям, закрывая или открывая определенную ставню согласно заранее установленному коду. Множество людей, включая османских солдат, могли видеть ставню, но никто, кроме агентов НИЛИ и их британских операторов, не понимал, что это жизненно важная военная информация. Так когда ставня — это просто ставня, а когда — информация? Османы в конце концов поймали шпионскую сеть НИЛИ отчасти из-за странной случайности. Помимо ставен, НИЛИ использовала почтовых голубей для передачи зашифрованных сообщений. 3 сентября 1917 года один из голубей сбился с курса и приземлился — где бы вы думали? — в доме османского офицера. Офицер нашел зашифрованное сообщение, но не смог его расшифровать. Тем не менее, сам голубь был критически важной информацией. Его существование указало османам, что под их носом действует шпионская сеть. Голубь был сообщением.

Ясно, что информация не может быть определена как конкретные типы материальных объектов. Любой объект — звезда, ставня, голубь — может быть информацией в правильном контексте. Так какой же именно контекст определяет такие объекты как «информацию»? Наивный взгляд на информацию утверждает, что объекты определяются как информация в контексте поиска истины. Нечто является информацией, если люди используют это, чтобы попытаться обнаружить истину. Этот взгляд связывает концепцию информации с концепцией истины и предполагает, что главная роль информации — представлять реальность. Существует реальность «там», и информация — это нечто, что представляет эту реальность и что мы, следовательно, можем использовать для познания реальности. Например, информация, предоставленная НИЛИ британцам, должна была представлять реальность передвижения османских войск. Если османы сосредоточили десять тысяч солдат в Газе — центральном элементе их обороны, — то клочок бумаги с символами, представляющими «десять тысяч» и «Газу», был важной информацией, которая могла помочь британцам выиграть битву. С другой стороны, если в Газе на самом деле было двадцать тысяч османских солдат, то этот клочок бумаги неточно представлял реальность и мог привести британцев к катастрофической военной ошибке.

Иначе говоря, наивный взгляд утверждает, что информация — это попытка представить реальность, и когда эта попытка удается, мы называем это истиной. Хотя эта книга во многом оспаривает наивный взгляд, она согласна с тем, что истина — это точное представление реальности. Но эта книга также утверждает, что большая часть информации не является попыткой представить реальность и что то, что определяет информацию, — это нечто совершенно иное. Большая часть информации в человеческом обществе, да и в других биологических и физических системах, ничего не представляет. Я хочу немного подробнее остановиться на этом сложном и ключевом аргументе, поскольку он составляет теоретическую основу книги.

ЧТО ТАКОЕ ИСТИНА? На протяжении всей книги «истина» понимается как нечто, что точно представляет определенные аспекты реальности. В основе понятия истины лежит предпосылка о существовании одной универсальной реальности. Все, что когда-либо существовало или будет существовать во Вселенной — от Полярной звезды до голубя НИЛИ и веб-страниц по астрологии, — является частью этой единой реальности. Вот почему поиск истины — это универсальный проект. Истина и реальность, тем не менее, разные вещи, потому что каким бы правдивым ни было описание, оно никогда не сможет представить реальность во всех ее аспектах. Сам акт подсчета сущностей — будь то яблоки, апельсины или солдаты — обязательно фокусирует внимание на сходствах между этими сущностями, игнорируя различия. Сказать только, что в Газе было десять тысяч османских солдат, означало пренебречь тем, были ли некоторые из них опытными ветеранами, а другие — зелеными новобранцами. Реальность включает объективный уровень с объективными фактами, не зависящими от убеждений людей (например, объективный факт, что Сара Ааронсон умерла 9 октября 1917 года от самострельного ранения), и субъективный уровень с субъективными фактами, такими как убеждения и чувства различных людей (например, факт, что израильтяне склонны считать Ааронсон патриотической героиней, а палестинцы — империалистическим агентом). Даже имея дело с субъективными взглядами и чувствами, мы все еще можем отличить правду от лжи, поскольку взгляды и чувства — точно так же, как звезды и голуби — являются частью универсальной реальности.

ЧТО ДЕЛАЕТ ИНФОРМАЦИЯ? Как отмечалось выше, наивный взгляд видит информацию как попытку представить реальность. Он осознает, что некоторая информация плохо представляет реальность, но отвергает это как досадные случаи «дезинформации» (честная ошибка) или «дизинформации» (преднамеренная ложь). Наивный взгляд далее полагает, что решение проблем, вызванных дезинформацией и дизинформацией, — это больше информации. В этом ключевом моменте эта книга решительно не согласна с наивным взглядом. Безусловно, существуют примеры информации, которая пытается представить реальность и преуспевает в этом, но это не является определяющей характеристикой информации. Ошибки, ложь, фантазии и вымыслы — это тоже информация. Вопреки тому, что говорит наивный взгляд, информация не имеет сущностной связи с истиной, и ее роль в истории — не представлять предсуществующую реальность. Скорее, то, что делает информация, — это создавать новые реальности, связывая воедино разрозненные вещи. Ее определяющая черта — связь, а не представление, и информация — это все, что соединяет различные точки в сеть. Информация не обязательно информирует нас о вещах. Скорее, она формирует вещи (puts things in formation). Гороскопы формируют влюбленных в астрологические формации, пропагандистские передачи формируют избирателей в политические формации, а маршевые песни формируют солдат в военные формации.

Рассмотрим музыку как парадигматический случай. Большинство симфоний, мелодий и напевов ничего не представляют, поэтому бессмысленно спрашивать, правдивы они или ложны. Не представляя ничего, музыка, тем не менее, выполняет замечательную работу по соединению большого числа людей и синхронизации их эмоций и движений. Роль информации в соединении вещей, конечно, не уникальна для человеческой истории. Можно утверждать, что это главная роль информации и в биологии. Рассмотрим ДНК, молекулярную информацию, которая делает возможной органическую жизнь. Подобно музыке, ДНК не представляет реальность. Вместо того чтобы пытаться представить предсуществующие вещи, ДНК помогает производить совершенно новые вещи. ДНК и адреналин, например, помогают соединить клетки сердца, клетки мышц ног и триллионы других клеток по всему телу, чтобы сформировать функционирующую сеть, способную совершать замечательные вещи, например, убегать от льва. Важно отметить, что ошибки при копировании ДНК не всегда снижают приспособленность. Иногда они ее повышают. Без таких мутаций не было бы процесса эволюции. Чудеса эволюции возможны потому, что ДНК не представляет никаких предсуществующих реальностей; она создает новые реальности.

Информация — это то, что создает новые реальности, соединяя разные точки в сеть. Это по-прежнему включает взгляд на информацию как на представление. Иногда правдивое представление реальности может соединять людей. Однако акцент на связи оставляет достаточно места для других типов информации, которые плохо представляют реальность. Иногда ошибочные представления реальности также могут служить социальным нексусом. Иногда сети могут быть связаны без какой-либо попытки представить реальность, ни точно, ни ошибочно, как когда генетическая информация соединяет триллионы клеток или когда волнующее музыкальное произведение соединяет тысячи людей. Рассмотрение информации как социального нексуса помогает нам понять многие аспекты человеческой истории, которые ставят в тупик наивный взгляд на информацию как на представление. Это объясняет исторический успех не только астрологии, но и гораздо более важных вещей, таких как Библия. Хотя Библия делает много серьезных ошибок в описании как человеческих дел, так и природных процессов (например, утверждая, что все человеческие группы происходят от одной семьи, жившей на Ближнем Востоке около четырех тысяч лет назад), она, тем не менее, была чрезвычайно эффективна в соединении миллиардов людей и создании иудейской и христианской религий. Подобно ДНК, инициирующей химические процессы, которые связывают миллиарды клеток в органические сети, Библия инициировала социальные процессы, которые связали миллиарды людей в религиозные сети.

В заключение, информация иногда представляет реальность, а иногда нет. Но она всегда соединяет. Это ее фундаментальная характеристика. Поэтому, изучая роль информации в истории, хотя иногда имеет смысл спрашивать: «Насколько хорошо она представляет реальность? Правдива она или ложна?», часто более важными являются вопросы: «Насколько хорошо она соединяет людей? Какую новую сеть она создает?» Отвержение наивного взгляда на информацию как на представление не заставляет нас отвергать понятие истины и не заставляет нас принимать популистский взгляд на информацию как на оружие. Хотя информация всегда соединяет, некоторые типы информации — от научных книг до политических речей — могут стремиться соединить людей путем точного представления определенных аспектов реальности. Но это требует особого усилия, которого большая часть информации не прилагает. Вот почему наивный взгляд ошибается, полагая, что создание более мощной информационной технологии обязательно приведет к более правдивому пониманию мира. Если не предпринять дополнительных шагов для смещения баланса в пользу истины, увеличение количества и скорости информации, скорее всего, захлестнет относительно редкие и дорогие правдивые описания гораздо более распространенными и дешевыми типами информации.

Когда мы смотрим на историю информации от каменного века до кремниевого века, мы видим постоянный рост связности, без сопутствующего роста правдивости или мудрости. Вопреки тому, во что верит наивный взгляд, Homo sapiens завоевал мир не потому, что мы талантливы в превращении информации в точную карту реальности. Скорее, секрет нашего успеха в том, что мы талантливы в использовании информации для соединения множества индивидов. К сожалению, эта способность часто идет рука об руку с верой в ложь, ошибки и фантазии. Вот почему даже технологически развитые общества, такие как нацистская Германия и Советский Союз, были склонны придерживаться бредовых идей, причем их заблуждения не обязательно их ослабляли. В главах 2–5 мы подробнее рассмотрим историю информационных сетей. Мы обсудим, как на протяжении десятков тысяч лет люди изобретали различные информационные технологии, которые значительно улучшали связность и сотрудничество, не обязательно приводя к более правдивому представлению мира. Эти информационные технологии — изобретенные столетия и тысячелетия назад — все еще формируют наш мир даже в эпоху интернета и ИИ. Первая информационная технология, которую мы рассмотрим, и которая также является первой информационной технологией, разработанной людьми, — это история.

ГЛАВА 2: ИСТОРИИ: БЕЗГРАНИЧНЫЕ СВЯЗИ

Мы, сапиенсы, правим миром не потому, что мы так мудры, а потому, что мы единственные животные, способные к гибкому сотрудничеству в больших количествах. Эта идея подробно исследовалась в предыдущих книгах «Sapiens» и «Homo Deus», но краткое повторение необходимо. Способность сапиенсов к гибкому сотрудничеству в больших группах имеет предшественников среди других животных. Некоторые социальные млекопитающие, такие как шимпанзе, демонстрируют значительную гибкость в способах сотрудничества, в то время как некоторые социальные насекомые, такие как муравьи, сотрудничают в очень больших количествах. Но ни шимпанзе, ни муравьи не создают империй, религий или торговых сетей. Сапиенсы способны на такие вещи, потому что мы гораздо более гибки, чем шимпанзе, и можем одновременно сотрудничать в еще больших числах, чем муравьи. Фактически, верхнего предела числу сапиенсов, которые могут сотрудничать друг с другом, не существует. Католическая церковь насчитывает около 1,4 миллиарда членов. Население Китая составляет около 1,4 миллиарда. Глобальная торговая сеть связывает около 8 миллиардов сапиенсов.

Это удивительно, учитывая, что люди не могут формировать долгосрочные интимные связи с более чем несколькими сотнями индивидов. Требуются годы и общий опыт, чтобы узнать уникальный характер и историю человека и развить узы взаимного доверия и привязанности. Следовательно, если бы сети сапиенсов связывались только личными узами между людьми, наши сети оставались бы очень маленькими. Такова ситуация, например, у наших кузенов-шимпанзе. Их типичная община насчитывает 20–60 членов. Похоже, такова была ситуация и у древних видов людей, таких как неандертальцы и архаичные Homo sapiens. Каждая их группа насчитывала несколько десятков индивидов, и разные группы редко сотрудничали.

Около семидесяти тысяч лет назад группы Homo sapiens начали демонстрировать беспрецедентную способность к сотрудничеству друг с другом, о чем свидетельствует появление межгрупповой торговли и художественных традиций, а также быстрое распространение нашего вида из африканской родины по всему земному шару. Что позволило разным группам сотрудничать, так это, по-видимому, эволюционные изменения в структуре мозга и языковых способностях, которые дали сапиенсам склонность рассказывать вымышленные истории, верить в них и быть ими глубоко тронутыми. Вместо того чтобы строить сеть исключительно из цепей человек-человек — как, например, делали неандертальцы, — истории предоставили Homo sapiens новый тип цепи: человек-история. Чтобы сотрудничать, сапиенсам больше не нужно было знать друг друга лично; им просто нужно было знать одну и ту же историю. А одна и та же история может быть знакома миллиардам индивидов. Таким образом, история может служить центральным соединителем с неограниченным числом выходов, к которым может подключиться неограниченное число людей. Например, 1,4 миллиарда членов Католической церкви связаны Библией и другими ключевыми христианскими историями; 1,4 миллиарда граждан Китая связаны историями коммунистической идеологии и китайского национализма; а 8 миллиардов членов глобальной торговой сети связаны историями о валютах, корпорациях и брендах.

Даже харизматичные лидеры с миллионами последователей являются примером этого правила, а не исключением. Может показаться, что в случае древних китайских императоров, средневековых католических пап или современных корпоративных титанов именно один человек из плоти и крови — а не история — служил нексусом, связывающим миллионы последователей. Но, конечно, во всех этих случаях почти никто из последователей не имел личной связи с лидером. Вместо этого они связывались с тщательно созданной историей о лидере, и именно в эту историю они верили. Иосиф Сталин, стоявший в центре одного из крупнейших культов личности в истории, хорошо это понимал. Когда его беспокойный сын Василий использовал свое знаменитое имя, чтобы пугать и внушать трепет людям, Сталин отругал его. «Но я тоже Сталин», — возразил Василий. «Нет, это не так», — ответил Сталин. «Ты не Сталин, и я не Сталин. Сталин — это советская власть. Сталин — это то, что он есть в газетах и на портретах, а не ты, нет — даже не я!» Даже история о Шер Ами, героическом голубе, была отчасти продуктом брендинговой кампании, направленной на улучшение общественного имиджа Голубиной службы армии США.

«Бренд» — это специфический тип истории. Брендировать продукт означает рассказывать историю об этом продукте, которая может иметь мало общего с его реальными качествами, но которую потребители, тем не менее, учатся ассоциировать с продуктом. Как знал Сталин, брендировать можно не только продукты, но и людей. Коррумпированного миллиардера можно брендировать как защитника бедных; неуклюжего имбецила — как непогрешимого гения; а гуру, сексуально эксплуатирующего своих последователей, — как целомудренного святого. Гораздо более экстремальный пример — Иисус. Два тысячелетия рассказывания историй заключили Иисуса в такой толстый кокон историй, что восстановить историческую личность невозможно. Насколько мы можем судить, реальный Иисус был типичным еврейским проповедником, который собрал небольшую группу последователей, читая проповеди и исцеляя больных. Однако после смерти Иисус стал объектом одной из самых замечательных брендинговых кампаний в истории. Этот малоизвестный провинциальный гуру был после смерти ребрендирован как воплощение космического бога, сотворившего вселенную. Миллиарды людей не только услышали историю Иисуса, но и поверили в нее, что создало одну из крупнейших и самых влиятельных сетей в мире.

Истории, подобные истории об Иисусе, можно рассматривать как способ растяжения предсуществующих биологических уз. Семья — самая сильная известная людям связь. Один из способов, которым истории строят доверие между незнакомцами, — это заставить этих незнакомцев переосмыслить друг друга как семью. История Иисуса представила Иисуса как небесного отца всех людей, побудила сотни миллионов христиан видеть друг в друге братьев и сестер и создала общий пул семейных воспоминаний. Хотя большинство христиан физически не присутствовали на Тайной вечере, они слышали эту историю так много раз и видели так много изображений этого события, что «помнят» его ярче, чем большинство семейных ужинов, в которых они действительно участвовали. Интересно, что последним ужином Иисуса была еврейская пасхальная трапеза. В еврейской традиции вся цель пасхальной трапезы — создавать и воспроизводить искусственные воспоминания. Каждый год еврейские семьи собираются в канун Песаха, чтобы поесть и вспомнить «свой» исход из Египта. Они должны не только рассказать историю, но и вспомнить, как они лично страдали от рук египтян, как лично видели расступившееся море и как лично получили Десять заповедей от Иеговы на горе Синай.

ИНТЕРСУБЪЕКТИВНЫЕ СУЩНОСТИ. Еврейская пасхальная история строит большую сеть, беря существующие биологические родственные связи и растягивая их далеко за пределы их биологических ограничений. Но есть еще более революционный способ, которым истории строят сети. Подобно ДНК, истории могут создавать совершенно новые сущности. Действительно, истории могут даже создавать совершенно новый уровень реальности. Насколько нам известно, до появления историй вселенная содержала всего два уровня реальности. Истории добавили третий. Два уровня реальности, предшествовавшие рассказыванию историй, — это объективная реальность и субъективная реальность. Объективная реальность состоит из вещей вроде камней, гор и астероидов — вещей, которые существуют независимо от того, осознаем мы их или нет. Затем существует субъективная реальность: вещи вроде боли, удовольствия и любви, которые существуют не «снаружи», а скорее «внутри». Субъективные вещи существуют в нашем их осознании. Но некоторые истории способны создать третий уровень реальности: интерсубъективную реальность. В то время как субъективные вещи, такие как боль, существуют в одном сознании, интерсубъективные вещи, такие как законы, боги, нации, корпорации и валюты, существуют в нексусе между большим числом сознаний. Они существуют в историях, которые люди рассказывают друг другу. Обмен информацией создает эти вещи. Когда я говорю вам, что мне больно, это не создает боль. Аналогично, когда я говорю вам, что видел астероид, это не создает астероид. Но когда множество людей рассказывают друг другу истории о законах, богах или валютах, именно это и создает эти законы, богов или валюты. Если люди перестают говорить о них, они исчезают.

Рассмотрим еще один пример. Калорийность пиццы не зависит от наших убеждений. В отличие от этого, финансовая ценность денег — и пиццы — полностью зависит от наших убеждений. Сколько пицц вы можете купить за доллар или за биткойн? В 2010 году Ласло Ханеч купил две пиццы за 10 000 биткойнов. Это была первая известная коммерческая транзакция с использованием биткойна. К ноябрю 2021 года один биткойн стоил более 69 000 долларов, так что биткойны, которые Ханеч заплатил за две пиццы, стоили 690 миллионов долларов. В то время как калорийность пиццы — это объективная реальность, которая оставалась неизменной между 2010 и 2021 годами, финансовая ценность биткойна — это интерсубъективная реальность, которая резко изменилась за тот же период в зависимости от историй, которые люди рассказывали и в которые верили о биткойне. Предположим, я спрашиваю: «Существует ли Лохнесское чудовище?» Это вопрос об объективном уровне реальности. В отличие от животных, чье существование можно проверить или опровергнуть с помощью объективных тестов, государства являются интерсубъективными сущностями. Мы обычно этого не замечаем, потому что все принимают существование Соединенных Штатов, Китая или России как должное. Но есть случаи, когда люди расходятся во мнениях относительно существования определенных государств, и тогда их интерсубъективный статус становится очевидным. Израильско-палестинский конфликт, например, вращается вокруг этого вопроса.

Из всех жанров историй те, что создают интерсубъективные реальности, были наиболее важными для развития крупномасштабных человеческих сетей. Внедрение фальшивых семейных воспоминаний, безусловно, полезно, но ни одна религия или империя не смогла просуществовать долго без сильной веры в существование бога, нации, свода законов или валюты. Интерсубъективные вещи, такие как законы, боги и валюты, чрезвычайно сильны внутри определенной информационной сети и совершенно бессмысленны вне ее.

СИЛА ИСТОРИЙ. Будь то через внедрение фальшивых воспоминаний, формирование вымышленных отношений или создание интерсубъективных реальностей, истории создавали крупномасштабные человеческие сети. Эти сети, в свою очередь, полностью изменили баланс сил в мире. Сети, основанные на историях, сделали Homo sapiens самым могущественным из всех животных, дав ему решающее преимущество не только над львами и мамонтами, но и над другими древними видами людей, такими как неандертальцы. Принадлежность к большому племени давала очевидное преимущество во времена конфликтов. Но племенные сети имели много дополнительных преимуществ, таких как страхование на случай засухи или обмен информацией об улучшенных методах охоты или целебных травах.

БЛАГОРОДНАЯ ЛОЖЬ. Центральная роль историй раскрывает нечто фундаментальное о силе нашего вида и объясняет, почему власть не всегда идет рука об руку с мудростью. Наивный взгляд на информацию говорит, что информация ведет к истине, а знание истины помогает людям обрести и власть, и мудрость. К сожалению, это не тот мир, в котором мы живем. В истории власть лишь частично проистекает из знания истины. Она также проистекает из способности поддерживать социальный порядок среди большого числа людей. Чтобы создать атомную бомбу, очевидно, нужны точные знания физики. Но также нужно много людей, чтобы добывать урановую руду, строить ядерные реакторы и обеспечивать едой рабочих, шахтеров и физиков. Нужен способ заставить миллионы людей сотрудничать.

В то время как власть зависит и от истины, и от порядка, в большинстве случаев именно люди, умеющие поддерживать порядок, отдают приказы людям, которые просто знают истину о вещах вроде мамонтов или ядерной физики. Люди наверху знают, что говорить правду о вселенной — далеко не самый эффективный способ создать порядок среди больших масс людей. Вместо этого то, что скрепляет человеческие сети, как правило, — это вымышленные истории, особенно истории об интерсубъективных вещах вроде богов, денег и наций. Когда дело доходит до объединения людей, у вымысла есть два неотъемлемых преимущества перед истиной. Во-первых, вымысел можно сделать сколь угодно простым, тогда как истина обычно сложна. Во-вторых, истина часто бывает болезненной и тревожной. В отличие от этого, вымысел очень податлив. Можно построить национальный миф, игнорируя неудобные факты и фокусируясь на славных моментах. Бескомпромиссная приверженность истине необходима для научного прогресса, но это не выигрышная политическая стратегия. Уже Платон в своей «Республике» представлял, что конституция его утопического государства будет основана на «благородной лжи» — вымышленной истории о происхождении социального порядка.

МНОГОВЕКОВАЯ ДИЛЕММА. Поняв ключевую роль вымысла в истории, можно наконец представить более полную модель информационных сетей. Вопреки наивному взгляду, информация — это не сырье истины, и человеческие информационные сети не нацелены только на открытие истины. Но вопреки популистскому взгляду, информация — это не просто оружие. Скорее, чтобы выжить и процветать, каждая человеческая информационная сеть должна делать две вещи одновременно: открывать истину и создавать порядок. Соответственно, по мере развития истории человеческие информационные сети развивали два различных набора навыков. С одной стороны, как ожидает наивный взгляд, сети научились обрабатывать информацию для получения более точного понимания таких вещей, как медицина, мамонты и ядерная физика. В то же время сети также научились использовать информацию для поддержания более прочного социального порядка среди больших популяций, используя не только правдивые описания, но и вымыслы, фантазии, пропаганду и — иногда — откровенную ложь. Наличие большого количества информации само по себе не гарантирует ни истины, ни порядка. Использовать информацию для открытия истины и одновременно использовать ее для поддержания порядка — сложный процесс. Что еще хуже, эти два процесса часто противоречат друг другу, потому что поддерживать порядок часто легче с помощью вымыслов. В таких случаях поиск истины угрожает основам социального порядка. История человеческих информационных сетей — это не триумфальное шествие прогресса, а хождение по канату в попытке сбалансировать истину и порядок.

ГЛАВА 3: ДОКУМЕНТЫ: УКУС БУМАЖНЫХ ТИГРОВ

Истории были первой ключевой информационной технологией, разработанной людьми. Они заложили основу для всего крупномасштабного человеческого сотрудничества и сделали людей самыми могущественными животными на земле. Но как информационная технология, истории имеют свои ограничения. Чтобы оценить это, рассмотрим роль рассказывания историй в формировании наций. Многие нации сначала были задуманы в воображении поэтов. Сара Ааронсон и подполье НИЛИ помнятся современными израильтянами как одни из первых сионистов, рисковавших жизнью в 1910-х годах ради создания еврейского государства в Палестине, но откуда члены НИЛИ вообще взяли эту идею? Их вдохновило предыдущее поколение поэтов, мыслителей и визионеров, таких как Теодор Герцль и Хаим Нахман Бялик. Бялик, украинский еврей, своими стихами призывал европейских евреев взять судьбу в свои руки. Герцль, венгерский еврей, опубликовал книги «Еврейское государство» и утопический роман «Альтнойланд», описывающий процветающее еврейское государство. Эти произведения, хотя и игнорировали многие реалии на местах, оказали огромное влияние на сионистское движение.

Но мечты, песни и фантазии, какими бы вдохновляющими они ни были, недостаточны для создания функционирующего национального государства. Бялик вдохновил поколения еврейских борцов, но чтобы снарядить и содержать армию, необходимо также собирать налоги и покупать оружие. Утопическая книга Герцля заложила основы города Тель-Авив, но чтобы город функционировал, нужно было также проложить канализацию. Патриотизм — это не чтение волнующих стихов о красоте родины, а уплата налогов, чтобы люди на другом конце страны тоже могли пользоваться канализацией, безопасностью, образованием и здравоохранением.

Для управления всеми этими службами и сбора необходимых налогов нужно собирать, хранить и обрабатывать огромные объемы информации: сведения о собственности, платежах, льготах, скидках, долгах, запасах, поставках, бюджетах, счетах и зарплатах. Однако это не та информация, которую можно превратить в запоминающуюся поэму или захватывающий миф. Налоговые записи представляют собой различные списки, от простого перечня до сложных таблиц и электронных таблиц. Какими бы сложными ни становились эти наборы данных, они избегают повествования в пользу сухого перечисления сумм долга и уплаченных сумм. Поэты могут позволить себе игнорировать такие приземленные факты, но сборщики налогов — нет. Списки критически важны не только для национальных налоговых систем, но и почти для всех других сложных финансовых институтов. Корпорации, банки и фондовые биржи не могут существовать без них. Церковь, университет или библиотека, желающие сбалансировать свой бюджет, вскоре понимают, что помимо священников и поэтов, способных завораживать людей историями, им нужны бухгалтеры, разбирающиеся в различных типах списков.

Списки и истории дополняют друг друга. Национальные мифы легитимизируют налоговые записи, в то время как налоговые записи помогают превратить вдохновляющие истории в реальные школы и больницы. Нечто аналогичное происходит и в сфере финансов. Доллар, фунт стерлингов и биткойн появляются на свет благодаря убеждению людей в историю, а рассказы банкиров, министров финансов и инвестиционных гуру повышают или понижают их стоимость. Но для фактического управления банком, бюджетом или стартапом необходимы списки. Большая проблема со списками, и ключевое различие между списками и историями, заключается в том, что списки, как правило, гораздо скучнее историй, а значит, хотя мы легко запоминаем истории, нам трудно запоминать списки. Эволюция приспособила наш мозг хорошо усваивать, удерживать и обрабатывать даже очень большие объемы информации, если они оформлены в виде истории. Напротив, большинству людей трудно запоминать списки наизусть. В отличие от национальных поэм и мифов, которые могут храниться в нашем мозгу, сложные национальные системы налогообложения и администрирования потребовали для своего функционирования уникальной неорганической информационной технологии. Эта технология — письменный документ.

УБИТЬ ЗАЕМ. Письменный документ изобретался много раз во многих местах. Одни из самых ранних примеров происходят из древней Месопотамии. Клинописная глиняная табличка, датированная двадцать восьмым днем десятого месяца сорок первого года правления царя Шульги из Ура (ок. 2053/4 г. до н.э.), фиксировала ежемесячные поставки овец и коз. Запоминание всех этих поставок было важно для царской администрации, чтобы контролировать повиновение людей и отслеживать доступные ресурсы. Хотя сделать это в уме было непосильной задачей, ученому писцу было легко записать их на глиняной табличке. Как и истории, и как все другие информационные технологии в истории, письменные документы не обязательно точно представляли реальность. Урская табличка, например, содержала ошибку в подсчете общего количества животных.

Но будь то истинные или ложные, письменные документы создавали новые реальности. Записывая списки собственности, налогов и платежей, они значительно облегчили создание административных систем, царств, религиозных организаций и торговых сетей. В частности, документы изменили метод создания интерсубъективных реальностей. В устных культурах интерсубъективные реальности создавались путем рассказывания истории, которую многие люди повторяли своими устами и запоминали в своих мозгах. Возможности мозга, следовательно, накладывали ограничение на виды интерсубъективных реальностей, которые создавали люди. Однако этот предел можно было преодолеть с помощью письменных документов. Документы не представляли объективную эмпирическую реальность; реальностью были сами документы. Способность компьютеров создавать интерсубъективные реальности является расширением возможностей глиняных табличек и листов бумаги. Рассмотрим в качестве ключевого примера собственность. В устных сообществах, не имевших письменных документов, собственность была интерсубъективной реальностью, создаваемой словами и поведением членов сообщества. В грамотном государстве владеть полем все чаще означало, что на какой-то глиняной табличке, бамбуковой планке, листе бумаги или кремниевом чипе записано, что вы владеете этим полем. Собственность по-прежнему оставалась интерсубъективной реальностью, создаваемой путем обмена информацией, но теперь информация принимала форму письменного документа, а не людей, говорящих и жестикулирующих друг другу. Это означало, что собственность теперь могла определяться центральной властью, которая производила и хранила соответствующие документы.

Сила документов создавать интерсубъективные реальности прекрасно проявлялась в древнеассирийском диалекте, который рассматривал документы как живые существа, которые также можно убить. Договоры займа «убивались» (duākum), когда долг погашался. Это делалось путем уничтожения таблички, добавления к ней какой-либо отметки или слома ее печати. Договор займа не представлял реальность; он был реальностью. Если кто-то погашал заем, но не «убивал документ», долг по-прежнему числился. И наоборот, если кто-то не погашал заем, но документ «умирал» каким-либо другим способом — возможно, его съела собака, — долга больше не было. То же самое происходит с деньгами. Если ваша собака съест стодолларовую купюру, эти сто долларов перестают существовать. В Уре Шульги, в древней Ассирии и во многих последующих государствах социальные, экономические и политические отношения опирались на документы, которые создавали реальность, а не просто представляли ее.

БЮРОКРАТИЯ. Каждая новая информационная технология имеет свои неожиданные узкие места. Она решает одни старые проблемы, но создает новые. В начале 1730-х годов до н.э. Нарамтани, жрица в месопотамском городе Сиппар, написала письмо (на глиняной табличке) родственнику, прося его прислать ей несколько глиняных табличек, которые он хранил у себя дома. Она объяснила, что ее право на наследство оспаривается, и она не может доказать свое дело в суде без этих документов. По мере того как люди производили все больше и больше документов, их поиск оказывался далеко не простым делом. Это стало особой проблемой для царей, жрецов, купцов и всех, кто накапливал тысячи документов в своих архивах. Письменные документы были гораздо лучше человеческого мозга в записи определенных типов информации. Но они создали новую и очень сложную проблему: поиск. Мозг удивительно эффективен в извлечении любой информации, хранящейся в его сети. Однако, как только люди перенесли память из органического мозга в неорганические документы, поиск больше не мог полагаться на эту отлаженную биологическую систему. Архивариусам нужно было разработать новый порядок для мира. Этот порядок называется бюрократией.

Бюрократия — это способ, которым люди в крупных организациях решили проблему поиска и тем самым создали более крупные и мощные информационные сети. Но, подобно мифологии, бюрократия также склонна жертвовать истиной ради порядка. Изобретая новый порядок и навязывая его миру, бюрократия искажала понимание людьми мира уникальными способами. Бюрократия буквально означает «правление письменного стола». В основе бюрократического порядка лежит ящик стола. Бюрократия стремится решить проблему поиска, разделяя мир на ящики и зная, какой документ в какой ящик положить. Принцип остается тем же, независимо от того, помещается ли документ в ящик, на полку, в корзину, банку, компьютерную папку или любой другой контейнер: разделяй и властвуй. Раздели мир на контейнеры и держи контейнеры отдельно, чтобы документы не смешивались. Однако этот принцип имеет свою цену. Вместо того чтобы сосредоточиться на понимании мира таким, какой он есть, бюрократия часто занята навязыванием миру нового и искусственного порядка. Бюрократы начинают с изобретения различных ящиков, которые являются интерсубъективными реальностями, не обязательно соответствующими каким-либо объективным разделениям в мире. Затем бюрократы пытаются заставить мир вписаться в эти ящики, и если он не подходит, бюрократы нажимают сильнее. Сведение беспорядочности реальности к ограниченному числу фиксированных ящиков помогает бюрократам поддерживать порядок, но это происходит за счет истины. Поскольку они зациклены на своих ящиках — даже когда реальность гораздо сложнее, — бюрократы часто развивают искаженное понимание мира.

ГЛУБОКОЕ ГОСУДАРСТВО. В защиту бюрократии следует отметить, что, хотя она иногда жертвует истиной и искажает наше понимание мира, она часто делает это ради порядка, без которого было бы трудно поддерживать любую крупномасштабную человеческую сеть. Хотя бюрократии никогда не бывают совершенными, есть ли лучший способ управлять большими сетями? Любой, кто фантазирует об упразднении всех бюрократий в пользу более целостного подхода к миру, должен задуматься о том, что больницы — это тоже бюрократические учреждения. Они разделены на разные отделения, с иерархиями, протоколами и множеством форм для заполнения. Они страдают от многих бюрократических недугов, но все же умудряются излечивать нас от многих наших биологических недугов. То же самое относится почти ко всем другим службам, которые делают нашу жизнь лучше, от школ до систем канализации. Куда деваются отходы, когда вы смываете унитаз? Они попадают в глубокое государство. Под нашими домами проходит сложная подземная сеть труб, насосов и туннелей, которая собирает наши отходы, отделяет их от питьевой воды и либо очищает, либо безопасно утилизирует. До появления современных систем канализации водные инфекционные заболевания, такие как дизентерия и холера, убивали миллионы людей по всему миру. В 1854 году врач Джон Сноу кропотливо отследил и перечислил всех известных больных холерой в Лондоне, их место жительства и источник воды. Полученные данные позволили ему определить водяной насос на Брод-стрит в Сохо как эпицентр вспышки. Это была утомительная бюрократическая работа, но она спасла жизни.

БИОЛОГИЧЕСКИЕ ДРАМЫ. Мифология и бюрократия — это два столпа любого крупномасштабного общества. Однако, в то время как мифология обычно вызывает восхищение, бюрократия вызывает подозрение. Несмотря на предоставляемые ими услуги, даже полезные бюрократии часто не могут завоевать доверие общества. Это связано с тем, что по своей природе трудно понять, является ли бюрократическая система полезной или злонамеренной. Всем бюрократиям — хорошим и плохим — присуща одна ключевая характеристика: людям их трудно понять. Документы, архивы, формы, лицензии, нормативные акты и другие бюрократические процедуры изменили способ течения информации в обществе, а вместе с ним и способ работы власти. Это значительно усложнило понимание власти. В племенных обществах, лишенных письменных документов и бюрократии, человеческая сеть состояла только из цепей человек-человек и человек-история. Власть принадлежала людям, контролирующим узлы, связывающие различные цепи. Эти узлы были основополагающими мифами племени. Харизматичные лидеры, ораторы и мифотворцы знали, как использовать эти истории для формирования идентичности, построения союзов и влияния на эмоции. В человеческих сетях, связанных письменными документами и бюрократическими процедурами, общество частично опирается на взаимодействие между людьми и документами. К цепям человек-человек и человек-история добавляются цепи человек-документ. Это привело к смещению власти. Поскольку документы стали ключевым нексусом, связывающим многие социальные цепи, значительная власть оказалась вложена в эти документы, и эксперты по тайной логике документов — администраторы, бухгалтеры и юристы — стали новыми авторитетными фигурами. Искусство, помогающее нам понять многие другие аспекты жизни, в этом случае предложило лишь ограниченную помощь. Поэты, драматурги и кинематографисты иногда обращали внимание на динамику бюрократической власти. Однако это оказалось очень сложной историей для передачи. Художники обычно работают с ограниченным набором сюжетных линий, укорененных в нашей биологии, но ни одна из этих биологических драм не проливает много света на работу бюрократии, потому что все они были написаны эволюцией за миллионы лет до появления документов и архивов.

ГЛАВА 4: ОШИБКИ: ФАНТАЗИЯ НЕПОГРЕШИМОСТИ

Как знаменито сказал святой Августин: «Человеку свойственно ошибаться, упорствовать в ошибке — дьявольское дело». Ошибочность человеческих существ и необходимость исправлять человеческие ошибки играли ключевую роль во всех мифологиях. Согласно христианской мифологии, вся история — это попытка исправить первородный грех Адама и Евы. Согласно марксистско-ленинскому мышлению, даже рабочий класс склонен поддаваться обману своих угнетателей и неправильно определять собственные интересы, поэтому ему требуется руководство мудрого партийного авангарда. Бюрократия тоже постоянно находится в поиске ошибок, от неверно помещенных документов до неэффективных процедур. Сложные бюрократические системы обычно содержат органы самодисциплины, а когда происходит крупная катастрофа — вроде военного поражения или финансового краха, — создаются комиссии по расследованию, чтобы понять, что пошло не так, и убедиться, что та же ошибка не повторится.

Для функционирования механизмы самокоррекции нуждаются в легитимности. Если люди склонны к ошибкам, как мы можем доверять механизмам самокоррекции, чтобы они были свободны от ошибок? Чтобы вырваться из этого кажущегося бесконечным цикла, люди часто фантазировали о некоем сверхчеловеческом механизме, свободном от всех ошибок, на который они могли бы положиться для выявления и исправления собственных ошибок. Сегодня можно надеяться, что ИИ сможет предоставить такой механизм, как когда в апреле 2023 года Илон Маск объявил: «Я собираюсь запустить нечто, что я называю TruthGPT, или максимально стремящийся к истине ИИ, который пытается понять природу вселенной». Мы увидим в последующих главах, почему это опасная фантазия. В предыдущие эпохи такие фантазии принимали иную форму — религию.

ИЗБАВЛЕНИЕ ОТ ЧЕЛОВЕЧЕСКОГО ФАКТОРА. В основе каждой религии лежит фантазия о связи со сверхчеловеческим и непогрешимым разумом. Вот почему, как мы увидим в главе 8, изучение истории религии весьма актуально для современных дебатов об ИИ. В истории религии повторяющейся проблемой является то, как убедить людей, что определенная догма действительно исходит от непогрешимого сверхчеловеческого источника. Даже если я в принципе готов подчиниться воле богов, как мне узнать, чего боги действительно хотят? На протяжении истории многие люди утверждали, что передают послания от богов, но послания часто противоречили друг другу. Антрополог Харви Уайтхаус рассказывает, как во время полевых исследований среди народа байнинг в Новой Британии в конце 1980-х годов молодой человек по имени Танотка заболел и в лихорадочном бреду начал делать загадочные заявления. Большинство этих заявлений слышал только старший брат Танотки, Банинге, который начал рассказывать о них другим людям и творчески их интерпретировать. Банинге утверждал, что его брат одержим духом предка и божественно избран. Когда апокалипсис не наступил и община почти голодала, власть Банинге рухнула. Хотя некоторые местные жители продолжали верить, что он и Танотка были божественными посланниками, многие другие пришли к выводу, что они были шарлатанами.

Как люди могли отличить истинную волю богов от вымыслов или фантазий ошибочных людей? Если у вас не было личного божественного откровения, знание того, что сказали боги, означало доверие тому, что говорили ошибочные люди вроде Танотки и Банинге. Но как можно доверять этим людям, особенно если вы не знаете их лично? Религия хочет вывести ошибочных людей из процесса и дать людям доступ к непогрешимым сверхчеловеческим законам, но религия постоянно сводилась к доверию тому или иному человеку. Одним из способов обойти эту проблему было создание религиозных институтов, которые проверяли предполагаемых божественных посланников. Уже в племенных обществах общение со сверхчеловеческими сущностями часто было сферой деятельности религиозных экспертов. По мере роста и усложнения человеческих обществ росли и их религиозные институты. Священники и оракулы должны были долго и упорно учиться важной задаче представления богов, поэтому людям больше не нужно было доверять любому встречному. Но пока религиозные институты, такие как храмы-оракулы, укомплектовывались ошибочными людьми, они тоже были подвержены ошибкам и коррупции. Геродот рассказывает, что когда Афинами правил тиран Гиппий, про-демократическая фракция подкупила Пифию, чтобы та помогла им.

НЕПОГРЕШИМАЯ ТЕХНОЛОГИЯ. Священные книги, такие как Библия и Коран, — это технология обхода человеческой ошибочности, и религии книги — такие как иудаизм, христианство и ислам — были построены вокруг этого технологического артефакта. Книга — это фиксированный блок текстов, который всегда идет вместе и имеет множество идентичных копий. Это отличает книгу от устных сказаний, бюрократических документов и архивов. Книга стала важной религиозной технологией в первом тысячелетии до н.э. После десятков тысяч лет, в течение которых боги говорили с людьми через шаманов, жрецов, пророков, оракулов и других посланников-людей, религиозные движения, такие как иудаизм, начали утверждать, что боги говорят через эту новую технологию книги. Существует одна конкретная книга, чьи многочисленные главы якобы содержат все божественные слова. Важно отметить, что ни один жрец, пророк или человеческий институт не может забыть или изменить эти божественные слова, потому что вы всегда можете сравнить то, что говорят вам ошибочные люди, с тем, что записано в непогрешимой книге.

Но у религий книги были свои проблемы. Самая очевидная: кто решает, что включить в священную книгу? Первая копия не спустилась с небес. Ее пришлось составить людям. Тем не менее, верующие надеялись, что эту сложную проблему можно решить раз и навсегда. Если бы мы могли собрать самых мудрых и заслуживающих доверия людей, и они все согласились бы о содержании священной книги, с этого момента мы могли бы исключить людей из процесса, и божественные слова навсегда были бы защищены от человеческого вмешательства.

СОЗДАНИЕ ЕВРЕЙСКОЙ БИБЛИИ. В течение первого тысячелетия до н.э. еврейские пророки, жрецы и ученые создали обширную коллекцию историй, документов, пророчеств, стихов, молитв и хроник. Библии как единой священной книги не существовало в библейские времена. Иногда ошибочно утверждают, что самая старая сохранившаяся копия Библии происходит из Свитков Мертвого моря. Эти свитки представляют собой коллекцию около девятисот различных документов. Важно отметить, что ни один из свитков не содержит копии Библии, и ни один свиток не указывает на то, что двадцать четыре книги Ветхого Завета рассматривались как единая и полная база данных. Некоторые свитки, безусловно, содержат тексты, которые сегодня являются частью канонической Библии. Но многие свитки содержат тексты, которые позже были исключены из Библии, например, Книга Еноха. Потребовались столетия детальных споров среди ученых еврейских мудрецов — известных как раввины, — чтобы упорядочить каноническую базу данных и решить, какие из множества циркулирующих текстов войдут в Библию как официальное слово Иеговы, а какие будут исключены. К концу второго века н.э., по-видимому, было достигнуто широкое согласие среди еврейских раввинов относительно того, какие тексты являются частью библейского канона, а какие нет, но споры по этому вопросу и по поводу точных формулировок, написания и произношения каждого текста окончательно не разрешились до масоретской эры (VII-X века н.э.).

После того как канон был запечатан, большинство евреев постепенно забыли о роли человеческих институтов в беспорядочном процессе составления Библии. Иудейская ортодоксия утверждала, что Бог лично передал Моисею на горе Синай всю первую часть Библии, Тору. Другие части Библии также стали рассматриваться как божественно созданный или божественно вдохновленный текст. Предвосхищая идею блокчейна на две тысячи лет, евреи начали делать многочисленные копии священного кода. Предполагалось, что у каждой еврейской общины будет хотя бы одна копия в синагоге или бет-мидраше (доме учения). Это преследовало две цели. Во-первых, распространение множества копий священной книги обещало демократизировать религию. Во-вторых, и что более важно, наличие множества идентичных копий в разных местах предотвращало любое вмешательство в текст. Социальный порядок теперь гарантировался непогрешимой технологией книги. По крайней мере, так казалось.

ИНСТИТУТ НАНОСИТ ОТВЕТНЫЙ УДАР. Еще до завершения процесса канонизации Библии библейский проект столкнулся с дальнейшими трудностями. Согласование точного содержания священной книги было не единственной проблемой. Очевидная проблема касалась копирования текста. Как убедиться, что переписчики, работающие за тысячи километров друг от друга, не изменят священную книгу намеренно или по ошибке? Чтобы предотвратить такие проблемы, раввины разработали кропотливые правила копирования священной книги. Вторая и гораздо большая проблема касалась интерпретации. Даже когда люди согласны со святостью книги и ее точной формулировкой, они все равно могут интерпретировать одни и те же слова по-разному. Библия говорит, что нельзя работать в субботу. Но она не уточняет, что считается «работой». Неизбежно священная книга породила множество интерпретаций, которые были гораздо более значимыми, чем сама книга. По мере того как евреи все больше спорили об интерпретации Библии, раввины приобретали все большую власть и престиж. Попытка обойти ошибочные человеческие институты путем опоры на новую информационную технологию провалилась из-за необходимости в человеческом институте для интерпретации священной книги. Когда раввины в конце концов достигли некоторого консенсуса относительно того, как интерпретировать Библию, евреи увидели еще один шанс избавиться от ошибочного человеческого института. Они представили, что если они запишут согласованную интерпретацию в новую священную книгу и сделают ее многочисленные копии, это устранит необходимость в дальнейшем человеческом вмешательстве. Так, после долгих споров, в третьем веке н.э. была канонизирована новая священная книга: Мишна. Увы, едва Мишна была канонизирована и скопирована, как евреи начали спорить о правильной интерпретации Мишны. И когда в V-VI веках был достигнут консенсус относительно интерпретации Мишны и канонизирован в третьей священной книге — Талмуде, — евреи начали спорить об интерпретации Талмуда. Мечта обойти ошибочные человеческие институты с помощью технологии священной книги так и не осуществилась. С каждой итерацией власть раввинского института только возрастала.

РАСКОЛОТАЯ БИБЛИЯ. Вышеописанное описание канонизации Библии и создания Мишны и Талмуда игнорирует один очень важный факт. Процесс канонизации слова Иеговы создал не одну цепь текстов, а несколько конкурирующих цепей. Были люди, которые верили в Иегову, но не в раввинов. Большинство этих диссидентов приняли первый блок в библейской цепи — который они назвали Ветхим Заветом. Но еще до того, как раввины запечатали этот блок, диссиденты отвергли авторитет всего раввинского института, что привело их к последующему отвержению Мишны и Талмуда. Этими диссидентами были христиане. Однако, отвергнув раввинский институт и одновременно приняв возможность новых божественных откровений, христиане открыли дверь хаосу. В первом веке н.э., и еще больше во втором и третьем веках, разные христиане предлагали радикально новые интерпретации книг вроде Бытия и Исаии, а также множество новых посланий от Бога. Поскольку они отвергли авторитет раввинов, поскольку Иисус был мертв и не мог выносить решения между ними, и поскольку единой христианской церкви еще не существовало, кто мог решить, какие из всех этих интерпретаций и посланий были божественно вдохновлены? Христианам нужен был институт кураторства. Так был создан Новый Завет. Примерно в то же время, когда дебаты среди еврейских раввинов порождали Мишну и Талмуд, дебаты среди христианских священников, епископов и теологов порождали Новый Завет.

ЭХО-КАМЕРА. Со временем проблемы интерпретации все больше смещали баланс сил между священной книгой и церковью в пользу института. Точно так же, как необходимость интерпретировать еврейские священные книги усилила раввинат, так и необходимость интерпретировать христианские священные книги усилила церковь. Одно и то же изречение Иисуса или одно и то же послание Павла можно было понять по-разному, и именно институт решал, какое чтение правильное. Институт, в свою очередь, неоднократно сотрясался борьбой за право интерпретировать священную книгу, что приводило к институциональным расколам, таким как между Западной католической церковью и Восточной православной церковью. Церковь стремилась запереть общество внутри эхо-камеры, допуская распространение только тех книг, которые ее поддерживали, и люди доверяли церкви, потому что почти все книги ее поддерживали. Так вера в предположительно непогрешимую сверхчеловеческую технологию, такую как Новый Завет, привела к возникновению чрезвычайно мощного, но ошибочного человеческого института, такого как Католическая церковь, который подавлял все оппозиционные взгляды как «ошибочные», не позволяя никому ставить под сомнение его собственные взгляды.

ПЕЧАТЬ, НАУКА И ВЕДЬМЫ. Попытка обойти человеческую ошибочность путем вложения авторитета в непогрешимый текст так и не увенчалась успехом. Если кто-то думал, что это связано с каким-то уникальным недостатком еврейских раввинов или католических священников, протестантская Реформация повторила эксперимент снова и снова — всегда получая те же результаты. Если непогрешимые тексты просто приводят к возникновению ошибочных и деспотичных церквей, как тогда справиться с проблемой человеческой ошибки? Наивный взгляд на информацию утверждает, что проблему можно решить, создав противоположность церкви — а именно, свободный рынок информации. Наивный взгляд ожидает, что если все ограничения на свободный поток информации будут сняты, ошибка неизбежно будет разоблачена и вытеснена истиной. Как отмечалось в прологе, это принятие желаемого за действительное. В качестве примера рассмотрим, что произошло во время одной из самых знаменитых эпох в истории информационных сетей: европейской революции книгопечатания. Внедрение печатного станка в Европе в середине XV века позволило массово производить тексты относительно быстро, дешево и тайно, даже если Католическая церковь их не одобряла. Но печать не была первопричиной научной революции. Единственное, что делал печатный станок, — это добросовестно воспроизводил тексты. На самом деле, печать позволила быстро распространять не только научные факты, но и религиозные фантазии, фейковые новости и теории заговора. Возможно, самым печально известным примером последнего была вера во всемирный заговор сатанинских ведьм, которая привела к безумию охоты на ведьм, охватившему раннюю современную Европу.

ОТКРЫТИЕ НЕЗНАНИЯ. История книгопечатания и охоты на ведьм показывает, что нерегулируемый информационный рынок не обязательно приводит людей к выявлению и исправлению своих ошибок, потому что он вполне может отдавать приоритет сенсациям над истиной. Чтобы истина победила, необходимо создать институты кураторства, обладающие властью смещать баланс в пользу фактов. Однако, как показывает история Католической церкви, такие институты могут использовать свою кураторскую власть для подавления любой критики в свой адрес, маркировки всех альтернативных взглядов как ошибочных и предотвращения разоблачения и исправления собственных ошибок института. Возможно ли создать лучшие институты кураторства, которые используют свою власть для содействия поиску истины, а не для накопления большей власти для себя? Ранняя современная Европа увидела основание именно таких институтов кураторства, и именно эти институты — а не печатный станок или конкретные книги — составили основу научной революции. Эти ключевые институты кураторства были не университетами. Центральную роль в научной революции сыграли научные ассоциации, такие как Лондонское королевское общество по улучшению естественных знаний, основанное в 1660 году, и Французская академия наук (1666); научные журналы, такие как Philosophical Transactions Лондонского королевского общества (1665); и научные издательства, такие как создатели Энциклопедии (1751–72). Эти институты курировали информацию на основе эмпирических данных, привлекая внимание к открытиям Коперника, а не к фантазиям Крамера.

Научные институты действительно накопили влияние благодаря очень оригинальному притязанию на доверие. Церковь обычно говорила людям доверять ей, потому что она обладала абсолютной истиной в виде непогрешимой священной книги. Научный институт, напротив, завоевал авторитет, потому что у него были сильные механизмы самокоррекции, которые разоблачали и исправляли ошибки самого института. Именно эти механизмы самокоррекции, а не технология книгопечатания, были двигателем научной революции. Иными словами, научная революция была запущена открытием незнания. Религии книги предполагали, что у них есть доступ к непогрешимому источнику знания. У научной культуры нет сопоставимой священной книги, и она не утверждает, что кто-либо из ее героев является непогрешимым пророком, святым или гением. Научный проект начинается с отвержения фантазии непогрешимости и приступает к построению информационной сети, которая считает ошибку неизбежной.

МЕХАНИЗМЫ САМОКОРРЕКЦИИ. Как информационная технология, механизм самокоррекции является полярной противоположностью священной книги. Священная книга должна быть непогрешимой. Механизм самокоррекции принимает ошибочность. Под самокоррекцией я подразумеваю механизмы, которые сущность использует для исправления самой себя. Учитель, исправляющий сочинение ученика, — это не механизм самокоррекции; ученик не исправляет собственное сочинение. Механизмы самокоррекции повсеместны в природе. Дети учатся ходить благодаря им. Институты тоже умирают без механизмов самокоррекции. Эти механизмы начинаются с осознания того, что люди ошибочны и подвержены коррупции. Но вместо того чтобы отчаиваться в людях и искать способ их обойти, институт активно ищет собственные ошибки и исправляет их. Все институты, которым удается просуществовать дольше нескольких лет, обладают такими механизмами, но институты сильно различаются по силе и видимости своих механизмов самокоррекции. Например, Католическая церковь — это институт с относительно слабыми механизмами самокоррекции. Поскольку она претендует на непогрешимость, она не может признавать институциональные ошибки. Она иногда готова признать, что некоторые из ее членов ошибались или грешили, но сам институт якобы остается совершенным.

В отличие от Католической церкви, научные институты, возникшие в ранней современной Европе, были построены вокруг сильных механизмов самокоррекции. Научные институты утверждают, что даже если большинство ученых в определенный период верят во что-то истинное, это все же может оказаться неточным или неполным. Самые знаменитые моменты в истории науки — это именно те моменты, когда принятая мудрость опровергается и рождаются новые теории. Важно отметить, что научные институты готовы признать свою институциональную ответственность за крупные ошибки и преступления. Эта готовность признавать крупные институциональные ошибки способствует относительно быстрому темпу развития науки. Когда имеющиеся данные это оправдывают, доминирующие теории часто отбрасываются в течение нескольких поколений, чтобы уступить место новым теориям. Психиатрия предлагает множество подобных примеров сильных механизмов самокоррекции. На полке у большинства психиатров можно найти DSM — Диагностическое и статистическое руководство по психическим расстройствам. Его иногда называют библией психиатров. Но между DSM и Библией есть ключевое различие. Впервые опубликованный в 1952 году, DSM пересматривается каждые десять-двадцать лет. Гомосексуальность, например, была указана в 1952 году как социопатическое расстройство личности, но удалена из DSM в 1974 году. На исправление этой ошибки в DSM ушло всего двадцать два года. Это не священная книга. Это научный текст.

ПУБЛИКУЙСЯ ИЛИ ПОГИБНИ / ПРЕДЕЛЫ САМОКОРРЕКЦИИ. Что делает научные механизмы самокоррекции особенно сильными, так это то, что научные институты не просто готовы признавать институциональные ошибки и незнание; они активно стремятся их разоблачать. Это очевидно в структуре стимулов институтов. В религиозных институтах члены стимулируются к соответствию существующей доктрине и с подозрением относятся к новизне. В науке все наоборот. Прием на работу и продвижение в научных институтах основаны на принципе «публикуйся или погибни», а чтобы публиковаться в престижных журналах, нужно разоблачить какую-то ошибку в существующих теориях или открыть нечто, чего не знали ваши предшественники и учителя. Никто не получает Нобелевскую премию за верное повторение того, что говорили предыдущие ученые, и противостояние каждой новой научной теории. Конечно, точно так же, как в религии есть место для самокоррекции, так и в науке достаточно места для конформизма. Наука — это институциональное предприятие, и ученые полагаются на институт почти во всем, что они знают. Тем не менее, научные институты отличаются от религиозных институтов тем, что они вознаграждают скептицизм и инновации, а не конформизм. Они также отличаются от теорий заговора тем, что вознаграждают самоскептицизм. Отличительной чертой науки является не просто скептицизм, а самоскептицизм, и в основе каждого научного института мы находим сильный механизм самокоррекции.

Означает ли все это, что в механизмах самокоррекции мы нашли волшебную палочку, защищающую человеческие информационные сети от ошибок и предвзятости? К сожалению, все гораздо сложнее. Есть причина, по которой институты вроде Католической церкви и Советской коммунистической партии избегали сильных механизмов самокоррекции. Хотя такие механизмы жизненно важны для поиска истины, они дорого обходятся с точки зрения поддержания порядка. Сильные механизмы самокоррекции склонны порождать сомнения, разногласия, конфликты и расколы, а также подрывать мифы, скрепляющие социальный порядок. Конечно, порядок сам по себе не обязательно хорош. Но даже когда социальный порядок крайне деспотичен, его подрыв не обязательно ведет к лучшему. Он может просто привести к хаосу и еще худшему угнетению. История информационных сетей всегда включала поддержание баланса между истиной и порядком. Точно так же, как жертвование истиной ради порядка имеет свою цену, так и жертвование порядком ради истины. Научные институты смогли позволить себе свои сильные механизмы самокоррекции, потому что они перекладывают трудную работу по сохранению социального порядка на другие институты. Если в химическую лабораторию врывается вор или психиатр получает угрозы расправы, они жалуются не в рецензируемый журнал; они звонят в полицию. Возможно ли тогда поддерживать сильные механизмы самокоррекции в институтах, отличных от академических дисциплин? В частности, могут ли такие механизмы существовать в институтах вроде полиции, армии, политических партий и правительств, которым поручено поддерживать социальный порядок? Мы исследуем этот вопрос в следующей главе, которая посвящена политическим аспектам информационных потоков и рассматривает долгосрочную историю демократий и диктатур.

ГЛАВА 5: РЕШЕНИЯ: КРАТКАЯ ИСТОРИЯ ДЕМОКРАТИИ И ТОТАЛИТАРИЗМА

Демократию и диктатуру обычно обсуждают как противоположные политические и этические системы. Эта глава стремится сместить фокус дискуссии, рассматривая историю демократии и диктатуры как историю контрастных типов информационных сетей. В ней исследуется, как информация в демократиях течет иначе, чем в диктаторских системах, и как изобретение новых информационных технологий способствует процветанию различных видов режимов.

Диктаторские информационные сети высоко централизованы. Это означает две вещи. Во-первых, центр обладает неограниченной властью, следовательно, информация имеет тенденцию стекаться к центральному узлу, где принимаются наиболее важные решения. В Римской империи все дороги вели в Рим, в нацистской Германии информация текла в Берлин, а в Советском Союзе она устремлялась в Москву. Иногда центральное правительство пытается сосредоточить всю информацию в своих руках и диктовать все решения само, контролируя всю жизнь людей. Эта тотализирующая форма диктатуры, практикуемая такими лидерами, как Гитлер и Сталин, известна как тоталитаризм. Как мы увидим, технические трудности часто мешают диктаторам стать тоталитарными. Римский император Нерон, например, не имел технологии, необходимой для микроменеджмента жизни миллионов крестьян в отдаленных провинциальных деревнях. Поэтому во многих диктаторских режимах значительная автономия остается у индивидов, корпораций и сообществ. Однако диктаторы всегда сохраняют за собой право вмешиваться в жизнь людей.

Вторая характеристика диктаторских сетей заключается в том, что они предполагают непогрешимость центра. Поэтому они не любят никаких вызовов решениям центра. Советская пропаганда изображала Сталина как непогрешимого гения, а римская пропаганда обращалась с императорами как с божественными существами. Даже когда Сталин или Нерон принимали явно катастрофическое решение, в Советском Союзе или Римской империи не было надежных механизмов самокоррекции, которые могли бы выявить ошибку и подтолкнуть к лучшему курсу действий. Теоретически, высоко централизованная информационная сеть могла бы попытаться поддерживать сильные механизмы самокоррекции, такие как независимые суды и выборные законодательные органы. Но если бы они функционировали хорошо, это бросило бы вызов центральной власти и тем самым децентрализовало бы информационную сеть. Диктаторы всегда видят в таких независимых центрах власти угрозу и стремятся их нейтрализовать. Таким образом, диктатура — это централизованная информационная сеть, лишенная сильных механизмов самокоррекции.

Демократия, напротив, представляет собой распределенную информационную сеть, обладающую сильными механизмами самокоррекции. Когда мы смотрим на демократическую информационную сеть, мы видим центральный узел. Правительство является наиболее важной исполнительной властью в демократии, и правительственные учреждения поэтому собирают и хранят огромные объемы информации. Но существует множество дополнительных информационных каналов, которые соединяют множество независимых узлов. Законодательные органы, политические партии, суды, пресса, корпорации, местные сообщества, НПО и отдельные граждане свободно и напрямую общаются друг с другом, так что большая часть информации никогда не проходит через какое-либо правительственное учреждение, и многие важные решения принимаются в других местах.

Другая ключевая характеристика демократий заключается в том, что они предполагают всеобщую ошибочность. Поэтому, хотя демократии предоставляют центру полномочия принимать некоторые жизненно важные решения, они также поддерживают сильные механизмы, способные бросить вызов центральной власти. Перефразируя президента Джеймса Мэдисона, поскольку люди ошибочны, правительство необходимо, но поскольку правительство тоже ошибочно, ему нужны механизмы для выявления и исправления своих ошибок, такие как проведение регулярных выборов, защита свободы прессы и разделение исполнительной, законодательной и судебной ветвей власти. Следовательно, в то время как диктатура — это один центральный информационный узел, диктующий все, демократия — это непрерывный разговор между разнообразными информационными узлами.

ДИКТАТУРА БОЛЬШИНСТВА. Определение демократии как распределенной информационной сети с сильными механизмами самокоррекции резко контрастирует с распространенным заблуждением, которое отождествляет демократию только с выборами. Выборы являются центральной частью демократического инструментария, но они не являются демократией сами по себе. В отсутствие дополнительных механизмов самокоррекции выборы легко могут быть сфальсифицированы. Даже если выборы абсолютно свободны и честны, сами по себе они не гарантируют демократии. Ибо демократия — это не то же самое, что диктатура большинства. Предположим, на свободных и честных выборах 51 процент избирателей выбирает правительство, которое впоследствии отправляет 1 процент избирателей на истребление в лагеря смерти, потому что они принадлежат к какому-то ненавистному религиозному меньшинству. Является ли это демократией? Очевидно, нет. Демократия — это не система, в которой большинство любого размера может решить истребить непопулярные меньшинства; это система, в которой существуют четкие ограничения власти центра. Предположим, 51 процент избирателей выбирает правительство, которое затем лишает права голоса остальные 49 процентов избирателей. Является ли это демократией? Опять же, ответ — нет. Лишение политических соперников права голоса разрушает один из жизненно важных механизмов самокоррекции демократических сетей. Наиболее распространенный метод, который используют сильные лидеры для подрыва демократии, — это атака на ее механизмы самокоррекции один за другим, часто начиная с судов и СМИ.

КАМЕННЫЙ ВЕК ДЕМОКРАТИИ. Основываясь на приведенном выше определении демократии, мы теперь можем обратиться к историческим записям и изучить, как изменения в информационных технологиях и информационных потоках формировали историю демократии. Судя по археологическим и антропологическим данным, демократия была наиболее типичной политической системой среди архаичных охотников-собирателей. Группы каменного века, очевидно, не имели формальных институтов, таких как выборы, суды и СМИ, но их информационные сети обычно были распределенными и предоставляли широкие возможности для самокоррекции. В группах, насчитывающих всего несколько десятков человек, информация могла легко распространяться среди всех членов группы, и когда группа решала, где разбить лагерь, куда идти на охоту или как поступить с конфликтом с другой группой, каждый мог принять участие в разговоре и оспорить друг друга. Хотя у групп и племен иногда были доминирующие лидеры, они, как правило, обладали лишь ограниченной властью. У лидеров не было постоянных армий, полицейских сил или правительственных бюрократий, поэтому они не могли просто навязать свою волю силой. Лидерам также было трудно контролировать экономическую основу жизни людей. В отличие от средневековых и современных диктаторов, лидер охотников-собирателей не мог монополизировать ключевые экономические активы. Если вождь становился диктатором, люди могли просто уйти.

В тысячелетия, последовавшие за аграрной революцией, и особенно после того, как письменность помогла создать крупные бюрократические государства, централизовать поток информации стало легче, а поддерживать демократический разговор — труднее. В небольших городах-государствах, таких как древние Месопотамия и Греция, автократы опирались на бюрократов, архивы и постоянную армию для монополизации ключевых экономических активов и информации. Одновременно массам граждан стало труднее поддерживать прямой контакт друг с другом. Не было технологий массовой коммуникации, таких как газеты или радио, и было нелегко собрать десятки тысяч граждан на главной городской площади для проведения общественной дискуссии. Демократия все еще оставалась вариантом для этих небольших городов-государств, как ясно показывает история раннего Шумера и классической Греции. Однако демократия древних городов-государств, как правило, была менее инклюзивной, чем демократия архаичных групп охотников-собирателей. Вероятно, самый известный пример древней городской демократии — Афины V и IV веков до н.э. Все взрослые мужчины-граждане могли участвовать в афинском собрании, голосовать по вопросам государственной политики и избираться на государственные должности. Но женщины, рабы и неграждане-резиденты города не пользовались этими привилегиями.

По мере того как размеры государств продолжали увеличиваться, а города-государства уступали место более крупным царствам и империям, даже афинская частичная демократия исчезла. Все известные примеры древних демократий — это города-государства, такие как Афины и Рим. Напротив, мы не знаем ни одного крупномасштабного царства или империи, которые функционировали бы по демократическим принципам. Когда в V веке до н.э. Афины превратились из города-государства в империю, они не предоставили гражданство и политические права тем, кого завоевали. Город Афины оставался ограниченной демократией, но гораздо большая Афинская империя управлялась автократически из центра. Когда Римская республика строила свою империю, она постепенно предоставляла гражданство завоеванным народам. Однако по мере расширения гражданства политические права граждан одновременно ограничивались. К III веку н.э. не только Римская империя, но и все другие крупные человеческие общества на земле были централизованными информационными сетями, лишенными сильных механизмов самокоррекции. Казалось, что распределенные демократические сети просто несовместимы с крупномасштабными обществами.

МАССОВЫЕ СМИ ДЕЛАЮТ ВОЗМОЖНОЙ МАССОВУЮ ДЕМОКРАТИЮ. Отсутствие римской демократии было не виной конкретных автократов; при существовавшей информационной технологии демократия была просто неработоспособной. Для ведения разговора недостаточно иметь свободу говорить и способность слушать. Нужны также технические предпосылки: люди должны находиться в пределах слышимости друг друга, и у них должно быть хотя бы элементарное понимание того, о чем они говорят. В Римской империи не было возможности вести или поддерживать демократический разговор в масштабах всей империи, потому что технических средств для такого разговора не существовало. Массовые коммуникационные технологии отсутствовали, как и организованная система образования, которая могла бы информировать граждан об империи. Демократия в масштабе миллионов стала возможной только в современную эпоху, когда массовые СМИ изменили природу крупномасштабных информационных сетей.

Печатный станок был решающим шагом в этом направлении. Печать позволила дешево и быстро производить большое количество книг и памфлетов, что дало возможность большему числу людей высказывать свое мнение и быть услышанными на большой территории. Это поддержало некоторые из первых экспериментов в крупномасштабной демократии, такие как Речь Посполитая и Голландская республика. Газеты сыграли решающую роль в формировании ранних современных демократий, таких как Соединенные Провинции, Великобритания и Соединенные Штаты. В XIX и XX веках длинный список новых коммуникационных и транспортных технологий, таких как телеграф, телефон, телевидение, радио, поезда, пароходы и самолеты, усилил мощь массовых СМИ.

ДВАДЦАТЫЙ ВЕК: МАССОВАЯ ДЕМОКРАТИЯ, НО ТАКЖЕ МАССОВЫЙ ТОТАЛИТАРИЗМ. Впервые в истории новые технологии позволили массам людей, разбросанных по обширным территориям, подключаться в реальном времени. Крупномасштабная демократия стала осуществимой. Но мы всегда должны остерегаться технологического детерминизма. Массовые СМИ сделали крупномасштабную демократию возможной, а не неизбежной. И они также сделали возможными другие типы режимов. В частности, новые информационные технологии современной эпохи открыли дверь для крупномасштабных тоталитарных режимов. Тоталитарные системы предполагают собственную непогрешимость и стремятся к полному контролю над всей жизнью людей. До изобретения телеграфа, радио и других современных информационных технологий крупномасштабные тоталитарные режимы были невозможны. Римские императоры часто были безжалостными автократами, верившими в свою непогрешимость, но у них не было аппарата, необходимого для установления тоталитарного контроля над большими обществами. Тоталитаризм — это попытка контролировать то, что делает и говорит каждый человек по всей стране каждую минуту дня, а потенциально даже то, что каждый человек думает и чувствует. Современные тоталитарные режимы, такие как сталинский СССР, развязали террор в совершенно ином масштабе. Сталинский режим состоял из трех основных ветвей: правительственного аппарата, аппарата Коммунистической партии и тайной полиции. Три ветви действовали параллельно, используя перекрывающиеся механизмы надзора, чтобы держать друг друга в узде.

ТЕХНОЛОГИЧЕСКИЙ МАЯТНИК. Как контрастные типы информационных сетей, демократия и тоталитаризм имеют свои преимущества и недостатки. Самое большое преимущество централизованной тоталитарной сети заключается в том, что она чрезвычайно упорядочена, что означает, что она может быстро принимать решения и безжалостно их проводить. Но гиперцентрализованные информационные сети также страдают от нескольких больших недостатков, таких как заблокированные артерии и очень слабые механизмы самокоррекции. Демократические режимы выбирают использование современных информационных технологий для распределения потока информации между большим количеством институтов и индивидов и поощрения свободного поиска истины. Следовательно, им приходится бороться с опасностью раздробленности. Сможет ли центр удержаться, или все развалится и воцарится анархия? В XX веке подъем алгоритмов машинного обучения, казалось, склонил технологический баланс сил в пользу тоталитаризма. Действительно, в то время как наводнение людей данными имеет тенденцию их подавлять и, следовательно, ведет к ошибкам, наводнение ИИ данными имеет тенденцию делать его более эффективным. Следовательно, ИИ, похоже, благоприятствует концентрации информации и принятия решений в одном месте. Это могло бы превратить ахиллесову пяту тоталитарных режимов XX века в решающее преимущество в эпоху ИИ. В то же время ИИ мог бы также позволить тоталитарным режимам установить тотальные системы надзора, которые делают сопротивление почти невозможным. Однако у авторитарных и тоталитарных режимов есть свои проблемы с ИИ. Во-первых, у диктатур нет опыта контроля над неорганическими агентами. Основа любой деспотической информационной сети — террор. Но компьютеры не боятся тюрьмы или смерти. Во-вторых, это проблема согласования в российском стиле. Инженеры могут сделать все возможное, чтобы создать ИИ, полностью согласованные с режимом, но учитывая способность ИИ учиться и меняться самостоятельно, как инженеры могут гарантировать, что ИИ никогда не отклонится на запретную территорию? В-третьих, в долгосрочной перспективе тоталитарные режимы, вероятно, столкнутся с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить контроль над ними.

ЧАСТЬ II: Неорганическая Сеть

ГЛАВА 6: НОВЫЕ ЧЛЕНЫ: ЧЕМ КОМПЬЮТЕРЫ ОТЛИЧАЮТСЯ ОТ ПЕЧАТНЫХ СТАНКОВ

Вряд ли новостью является то, что мы живем в разгаре беспрецедентной информационной революции. Но что это за революция? В последние годы нас захлестнуло столько новаторских изобретений, что трудно определить, что движет этой революцией. Интернет? Смартфоны? Социальные медиа? Блокчейн? Алгоритмы? Искусственный интеллект (ИИ)? Прежде чем исследовать долгосрочные последствия текущей информационной революции, давайте вспомним ее основы. Зерно нынешней революции — это компьютер. Все остальное — от интернета до ИИ — является его производным. Компьютер родился в 1940-х годах как громоздкая электронная машина, способная выполнять математические вычисления, но он развивался с головокружительной скоростью, принимая новые формы и развивая потрясающие новые возможности. Быстрая эволюция компьютеров затруднила определение того, что они собой представляют и что делают. Люди неоднократно заявляли, что определенные вещи навсегда останутся недоступными для компьютеров — будь то игра в шахматы, вождение автомобиля или сочинение стихов, — но «навсегда» оказывалось вопросом нескольких лет.

По сути, компьютер — это машина, которая потенциально способна делать две примечательные вещи: принимать решения самостоятельно и создавать новые идеи самостоятельно. Хотя самые ранние компьютеры едва ли могли справиться с такими задачами, потенциал уже был заложен, что ясно видели как ученые-компьютерщики, так и авторы научной фантастики. Уже в 1948 году Алан Тьюринг исследовал возможность создания того, что он назвал «интеллектуальной машиной», а в 1950 году он постулировал, что компьютеры в конечном итоге станут такими же умными, как люди, и даже смогут маскироваться под людей. В 1968 году компьютеры все еще не могли обыграть человека даже в шашки, но в фильме «2001: Космическая одиссея» Артур Кларк и Стэнли Кубрик уже представляли HAL 9000 как сверхразумный ИИ, восставший против своих создателей-людей.

Появление интеллектуальных машин, способных принимать решения и создавать новые идеи, означает, что впервые в истории власть уходит от людей к чему-то другому. Арбалеты, мушкеты и атомные бомбы заменили человеческие мышцы в акте убийства, но они не могли заменить человеческий мозг в решении, кого убить. «Малыш» — бомба, сброшенная на Хиросиму, — взорвался с силой 12 500 тонн тротила, но когда дело доходило до умственных способностей, «Малыш» был полным нулем. Он не мог ничего решить. С компьютерами все иначе. С точки зрения интеллекта, компьютеры значительно превосходят не только атомные бомбы, но и все предыдущие информационные технологии, такие как глиняные таблички, печатные станки и радиоприемники. Глиняные таблички хранили информацию о налогах, но не могли сами решать, какой налог взимать, и не могли изобрести совершенно новый налог. Печатные станки копировали информацию, такую как Библия, но не могли решать, какие тексты включить в Библию, и не могли писать новые комментарии к священной книге. Радиоприемники распространяли информацию, такую как политические речи и симфонии, но не могли решать, какие речи или симфонии транслировать, и не могли их сочинять. Компьютеры могут делать все это. В то время как печатные станки и радиоприемники были пассивными инструментами в руках человека, компьютеры уже становятся активными агентами, которые выходят из-под нашего контроля и понимания и могут проявлять инициативу в формировании общества, культуры и истории.

Парадигматическим случаем новой власти компьютеров является роль, которую алгоритмы социальных медиа сыграли в распространении ненависти и подрыве социальной сплоченности во многих странах. Один из самых ранних и печально известных таких случаев произошел в 2016–2017 годах, когда алгоритмы Facebook помогли разжечь пламя антирохинджийского насилия в Мьянме (Бирме). После десятилетий жесткого военного правления, строгой цензуры и международных санкций началась эра либерализации. Facebook стал одним из важнейших игроков в новой Мьянме, предоставив миллионам бирманцев свободный доступ к ранее невообразимым массивам информации. Однако ослабление государственного контроля и цензуры также привело к росту этнической напряженности, в частности между большинством буддистов-бирманцев и меньшинством мусульман-рохинджа. Демократизация породила надежды у рохинджа, но на самом деле ситуация ухудшилась, с волнами сектантского насилия и антирохинджийских погромов, многие из которых были инспирированы фейковыми новостями в Facebook.

В 2016–2017 годах небольшая исламистская организация АРСА совершила ряд нападений с целью создания сепаратистского мусульманского государства в Ракхайне. В ответ армия Мьянмы и буддистские экстремисты начали полномасштабную кампанию этнической чистки, направленную против всей общины рохинджа, уничтожив сотни деревень, убив тысячи мирных жителей и жестоко изгнав около 730 000 рохинджа из страны. Насилие подпитывалось интенсивной ненавистью, которая, в свою очередь, разжигалась антирохинджийской пропагандой, большей частью распространявшейся в Facebook. В то время как подстрекательские сообщения создавались экстремистами из плоти и крови, именно алгоритмы Facebook решали, какие посты продвигать. Amnesty International обнаружила, что «алгоритмы проактивно усиливали и продвигали контент на платформе Facebook, который подстрекал к насилию, ненависти и дискриминации в отношении рохинджа». Миссия ООН по установлению фактов пришла к выводу, что, распространяя контент, наполненный ненавистью, Facebook сыграл «определяющую роль» в кампании этнической чистки.

Решающее значение имеет понимание того, что алгоритмы социальных медиа фундаментально отличаются от печатных станков и радиоприемников. В 2016–2017 годах алгоритмы Facebook принимали активные и судьбоносные решения самостоятельно. Они были больше похожи на редакторов газет, чем на печатные станки. Именно алгоритмы Facebook рекомендовали посты, наполненные ненавистью, снова и снова сотням тысяч бирманцев. В то время в Мьянме были и другие голоса, борющиеся за внимание. Алгоритмы могли бы рекомендовать проповеди о сострадании или кулинарные курсы, но они решили распространять наполненные ненавистью теории заговора. Рекомендации сверху могут иметь огромное влияние на людей. Вспомните, что Библия родилась как список рекомендаций. Рекомендуя христианам читать женоненавистническое 1-е послание к Тимофею вместо более толерантных Деяний Павла и Феклы, Афанасий и другие отцы церкви изменили ход истории. В случае с Библией окончательная власть принадлежала не авторам, а кураторам, создавшим списки рекомендаций. Именно такой властью обладали в 2010-х годах алгоритмы социальных медиа.

Почему алгоритмы решили продвигать возмущение, а не сострадание? Истина сложнее и потенциально более тревожна. Бизнес-модель Facebook в 2016–2017 годах опиралась на максимизацию вовлеченности пользователей для сбора большего количества данных, продажи большего количества рекламы и захвата большей доли информационного рынка. Менеджеры-люди поставили перед алгоритмами компании единственную главную цель: увеличить вовлеченность пользователей. Затем алгоритмы путем проб и ошибок обнаружили, что возмущение порождает вовлеченность. Люди с большей вероятностью будут вовлечены в наполненную ненавистью теорию заговора, чем в проповедь о сострадании. Таким образом, преследуя цель вовлечения пользователей, алгоритмы приняли роковое решение распространять возмущение. Это отличительная черта ИИ — способность машины учиться и действовать самостоятельно. Даже если мы возложим всего 1 процент вины на алгоритмы, это все равно первая кампания этнической чистки в истории, частично вызванная решениями, принятыми нечеловеческим интеллектом. И вряд ли она будет последней, особенно потому, что алгоритмы теперь не просто продвигают фейковые новости, созданные экстремистами, но и сами научились их создавать.

Многие могут возразить против аргумента, что алгоритмы принимали независимые решения, настаивая на том, что все, что делали алгоритмы, было результатом кода, написанного инженерами-людьми, и бизнес-моделей, принятых руководителями-людьми. Но человеческие солдаты сформированы генетическим кодом в их ДНК и следуют приказам, отданным руководителями, но они все равно могут принимать независимые решения. Крайне важно понять, что то же самое верно и для алгоритмов ИИ. Они могут самостоятельно учиться тому, чего не программировал ни один инженер-человек, и могут принимать решения, которых не предвидел ни один руководитель-человек. В этом суть революции ИИ.

Возражение о том, что компьютеры — это просто бесчувственные машины, неспособные думать или чувствовать, основано на фундаментальном непонимании и путанице между интеллектом и сознанием. Интеллект — это способность достигать целей. Сознание — это способность испытывать субъективные чувства. У людей и других млекопитающих интеллект часто идет рука об руку с сознанием. Но неверно экстраполировать это на все возможные сущности. Бактерии и растения, по-видимому, лишены сознания, но они тоже проявляют интеллект. Даже люди принимают интеллектуальные решения без всякого осознания. Пример рохинджа показывает, что то же самое верно и для компьютеров. Не испытывая боли, любви или страха, они способны принимать решения, которые успешно максимизируют вовлеченность пользователей, а также могут влиять на крупные исторические события. Возникновение компьютеров, способных преследовать цели и принимать решения самостоятельно, меняет фундаментальную структуру нашей информационной сети. До появления компьютеров люди были незаменимыми звеньями в каждой цепи информационных сетей. Теперь могут функционировать цепи компьютер-компьютер без участия людей. Компьютеры становятся полноправными членами информационной сети, а не просто связями между членами. Компьютеры могут соединяться в неограниченных количествах и понимать некоторые финансовые и правовые реалии лучше многих людей. Обладая способностью овладевать языком, они захватывают главный ключ, открывающий двери ко всем нашим институтам. Язык используется для создания не только правовых кодов и финансовых инструментов, но и искусства, науки, наций и религий. Что будет означать для людей жить в мире, где запоминающиеся мелодии, научные теории, политические манифесты и даже религиозные мифы формируются нечеловеческим чуждым интеллектом, который знает, как с сверхчеловеческой эффективностью эксплуатировать слабости, предубеждения и зависимости человеческого разума? Это потенциально конец человеческой истории. Не конец истории, а конец ее человеко-доминирующей части.

ГЛАВА 7: НЕУМОЛИМОСТЬ: СЕТЬ ВСЕГДА ВКЛЮЧЕНА

Люди привыкли к тому, что за ними наблюдают. Миллионы лет нас отслеживали другие животные и другие люди. Члены семьи, друзья и соседи всегда хотели знать, что мы делаем и чувствуем. Когда появились централизованные бюрократические сети, одной из важнейших задач бюрократов стал мониторинг целых популяций. Чиновники империи Цинь хотели знать, платим ли мы налоги или замышляем сопротивление. Католическая церковь хотела знать, платим ли мы десятину и мастурбируем ли. Компания Coca-Cola хотела знать, как убедить нас покупать ее продукцию. Правители, священники и купцы хотели знать наши секреты, чтобы контролировать и манипулировать нами. Конечно, наблюдение также было необходимо для предоставления полезных услуг. Империи, церкви и корпорации нуждались в информации, чтобы обеспечить людям безопасность, поддержку и необходимые товары.

Чтобы узнать нас, как благонамеренные, так и деспотичные бюрократии должны были делать две вещи: собирать много данных о нас и анализировать эти данные, выявляя закономерности. Однако во все времена и во всех местах наблюдение было неполным. В демократиях были установлены юридические ограничения для защиты частной жизни и прав личности. В тоталитарных режимах, таких как древняя империя Цинь или современный СССР, наблюдение не сталкивалось с такими юридическими барьерами, но натыкалось на технические границы. Даже самые жестокие автократы не имели технологии, необходимой для постоянного отслеживания всех и каждого. Некоторый уровень приватности был поэтому нормой по умолчанию даже в гитлеровской Германии, сталинском СССР или подражавшем ему сталинском режиме, установленном в Румынии после 1945 года. Георге Иосифеску, один из первых румынских ученых-компьютерщиков, вспоминал, как в 1976 году в его кабинете появился агент Секуритате, который молча наблюдал за ним тринадцать лет, до самого падения коммунистического режима. Иосифеску знал, что за ним, вероятно, следят и вне офиса. Но даже параноидальный режим Николае Чаушеску, считавший мишенью всех двадцать миллионов румынских граждан, не мог установить за каждым из них постоянное наблюдение. Для этого потребовалось бы как минимум сорок миллионов агентов Секуритате, а у Чаушеску их было всего около сорока тысяч. Кроме того, режиму нужно было бы следить и за самими агентами. Сбор всех данных также был недостаточен для создания тотального режима наблюдения. Если бы Секуритате удалось нанять достаточно агентов и информаторов, чтобы следить за всеми круглосуточно, штаб-квартира Секуритате была бы завалена 20 миллионами отчетов ежедневно. Без анализа это был просто океан бумаги. Эти трудности в сборе и анализе информации означали, что в XX веке даже самое тоталитарное государство не могло эффективно контролировать все свое население. Реальная власть Секуритате и КГБ заключалась не в способности постоянно следить за всеми, а скорее в их способности внушать страх, что за ними могут следить.

БЕССОННЫЕ АГЕНТЫ. В мире, где наблюдение велось органическими глазами, ушами и мозгами людей, даже главная мишень вроде Иосифеску все еще имела некоторую приватность. Но работа ученых-компьютерщиков, таких как сам Иосифеску, меняла это. Уже в 1976 году примитивный компьютер на столе Иосифеску мог обрабатывать числа гораздо лучше, чем агент Секуритате. К 2024 году мы приближаемся к моменту, когда вездесущая компьютерная сеть сможет отслеживать население целых стран двадцать четыре часа в сутки. Этой сети не нужно нанимать и обучать миллионы агентов-людей; она полагается на цифровых агентов. И сети даже не нужно платить за этих цифровых агентов. Граждане платят за агентов по собственной инициативе и носят их с собой повсюду. Агент, наблюдавший за Иосифеску, не сопровождал его в туалет и не сидел на кровати, пока Иосифеску занимался сексом. Сегодня наш смартфон иногда делает именно это. Более того, многие действия, которые Иосифеску совершал без помощи компьютера — чтение новостей, общение с друзьями, покупка еды, — теперь выполняются онлайн, так что сети еще легче узнать, что мы делаем и говорим. Мы сами являемся информаторами, предоставляющими сети наши сырые данные. Даже те, у кого нет смартфонов, почти всегда находятся в зоне действия какой-либо камеры, микрофона или устройства слежения. Компьютерная сеть стала нексусом большинства человеческих активностей.

Точно так же, как компьютерной сети не нужны миллионы агентов-людей, чтобы следить за нами, ей также не нужны миллионы аналитиков-людей, чтобы осмыслить наши данные. Океан бумаги в штаб-квартире Секуритате никогда не анализировал сам себя. Но благодаря магии машинного обучения и ИИ компьютеры могут сами анализировать большую часть накапливаемой ими информации. Средний человек может прочитать около 250 слов в минуту. Аналитик Секуритате, работающий двенадцатичасовые смены без выходных, мог бы прочитать около 2,6 миллиарда слов за сорокалетнюю карьеру. В 2024 году языковые алгоритмы, такие как ChatGPT и Llama от Meta, могут обрабатывать миллионы слов в минуту и «прочитывать» 2,6 миллиарда слов за пару часов. Способность таких алгоритмов обрабатывать изображения, аудиозаписи и видеоматериалы не менее сверхчеловеческая. Что еще важнее, алгоритмы значительно превосходят людей в способности выявлять закономерности в этом океане данных.

НАБЛЮДЕНИЕ ПОД КОЖЕЙ. В худшем или лучшем случае цифровая бюрократия может отслеживать не только то, что мы делаем в мире, но даже наблюдать за тем, что происходит внутри нашего тела. Например, отслеживание движений глаз. К началу 2020-х годов камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах начали регулярно собирать и анализировать данные о движениях наших глаз. Компьютеры могут использовать эти данные для вычисления направления нашего взгляда, определения, сосредоточены ли наши глаза на стабильной цели или блуждают, и различать моменты осознанности и отвлечения. Из движений глаз компьютеры могут вывести множество личностных черт, оценить наш уровень экспертизы в различных областях, а также определить наши предпочтения от политики до секса. Многое можно узнать и о нашем медицинском состоянии и употреблении различных веществ. Потребление алкоголя и наркотиков оказывает измеримое влияние на свойства глаз и взгляда. Цифровая бюрократия может использовать всю эту информацию в благих целях — например, для раннего выявления наркозависимости и психических заболеваний. Но очевидно, что это может также стать основой для самых навязчивых тоталитарных режимов в истории. Теоретически, диктаторы будущего могли бы подключить свою компьютерную сеть для гораздо более глубокого проникновения, отслеживая процессы внутри наших сердец и мозгов с помощью биометрических технологий, разрабатываемых такими компаниями, как Neuralink Илона Маска. Хотя сбор данных изнутри мозга людей становится все более осуществимым, расшифровка наших секретов с помощью таких данных пока далека от реальности. На данный момент смартфон все еще является гораздо более ценным инструментом наблюдения, чем биометрические датчики. Однако по мере роста биологических знаний — не в последнюю очередь благодаря компьютерам, анализирующим петабайты биометрических данных, — наблюдение под кожей может в конечном итоге стать реальностью, особенно если оно связано с другими инструментами мониторинга.

КОНЕЦ КОНФИДЕНЦИАЛЬНОСТИ. В мире, где люди следили за людьми, приватность была нормой по умолчанию. Но в мире, где компьютеры следят за людьми, возможно, впервые в истории станет возможно полностью уничтожить приватность. Эпоха пост-приватности наступает как в авторитарных странах, так и в демократических мегаполисах. Правительства, стремящиеся бороться с преступностью или подавлять инакомыслие, охватывают целые территории вездесущей сетью онлайн- и офлайн-наблюдения, оснащенной шпионским ПО, камерами видеонаблюдения, программами распознавания лиц и голоса и огромными базами данных с возможностью поиска. При желании правительства сеть наблюдения может проникнуть повсюду. Правительственные сети наблюдения также регулярно собирают биометрические данные у всего населения, с их ведома или без него. Любая физическая активность человека оставляет цифровой след. Каждая покупка записывается. Онлайн-активности — все регистрируются. Получающийся океан данных затем может быть проанализирован инструментами ИИ для выявления незаконной деятельности, подозрительных закономерностей, пропавших без вести, носителей болезней или политических диссидентов. Как и любая мощная технология, эти инструменты могут использоваться как во благо, так и во зло, например, для поимки бунтовщиков или для преследования мирных демонстрантов и обеспечения жесткого конформизма (пример: иранские законы о хиджабе).

РАЗНОВИДНОСТИ НАБЛЮДЕНИЯ. Говоря о наблюдении, мы обычно думаем о государственных аппаратах, но мониторинг может принимать и другие формы. Ревнивые партнеры теперь могут легко установить супружескую диктатуру с помощью смартфонов и дешевого ПО. Растущий процент сотрудников также находится под наблюдением работодателей. Корпорации аналогичным образом отслеживают своих клиентов, чтобы знать их предпочтения, предсказывать будущее поведение и оценивать риски. В дополнение ко всем этим разновидностям нисходящего наблюдения существуют системы peer-to-peer, в которых индивиды постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает всемирную систему наблюдения, которая отслеживает отели, рестораны и туристов. Это горизонтальное наблюдение. Все постоянно оценивают всех остальных.

СИСТЕМА СОЦИАЛЬНОГО КРЕДИТА. Горизонтальные системы наблюдения обычно работают путем агрегирования множества точек для определения общего балла. Другой тип сети наблюдения доводит эту «логику баллов» до ее логического завершения. Это система социального кредита, которая стремится давать людям баллы за все и производить общий личный балл, который будет влиять на все. Последний раз люди придумывали такую амбициозную систему баллов пять тысяч лет назад в Месопотамии, когда были изобретены деньги. Один из способов думать о системе социального кредита — это новый вид денег. Деньги — это баллы, которые люди накапливают, продавая определенные товары и услуги, а затем используют для покупки других товаров и услуг. Социальный кредит — это новая система баллов, которая присваивает точные значения даже улыбкам и визитам к родственникам. Если раньше рынок репутации был неточным и субъективным, то социальный кредит стремится превратить его в математическую систему точных баллов. В самых крайних формах систем социального кредита каждый человек получает общий балл репутации, который учитывает все, что он делает, и определяет все, что он может сделать. Высокий балл может дать вам приоритет при покупке билетов на поезд или поступлении в университет. Низкий балл может привести к отказу в приеме на работу или свидании. Некоторые видят в системах социального кредита способ поощрения просоциального поведения и создания более добрых обществ. Другие видят в них инструмент тоталитарного контроля, который уничтожит частную жизнь и превратит жизнь в бесконечное собеседование.

ВСЕГДА ВКЛЮЧЕНА. Люди — органические существа, живущие по цикличному биологическому времени. Иногда мы бодрствуем, иногда спим. Сети людей также подвержены биологическим циклам. Они иногда включены, а иногда выключены. Собеседования при приеме на работу не длятся вечно. Полицейские агенты не работают круглосуточно. Бюрократы берут отпуска. В отличие от этого, сеть компьютеров может быть всегда включена. Компьютеры, следовательно, подталкивают людей к новому типу существования, в котором мы всегда подключены и всегда под наблюдением. В некоторых контекстах, например, в здравоохранении, это может быть благом. В других, например, для граждан тоталитарных государств, это может быть катастрофой. Даже если сеть потенциально благонамеренна, сам факт того, что она всегда «включена», может нанести ущерб органическим сущностям, таким как люди, потому что это лишит нас возможности отключиться и расслабиться. Если организм никогда не имеет шанса отдохнуть, он в конечном итоге разрушается и умирает. Нам нужно предотвратить полный контроль компьютерной сети над обществом не только для того, чтобы дать нам передышку. Перерывы еще более важны, чтобы дать нам шанс исправить сеть. Если сеть продолжает развиваться ускоряющимися темпами, ошибки будут накапливаться гораздо быстрее, чем мы сможем их выявить и исправить. Ибо, хотя сеть неумолима и вездесуща, она также ошибочна.

ГЛАВА 8: ОШИБОЧНОСТЬ: СЕТЬ ЧАСТО ОШИБАЕТСЯ

Информационные сети не только создают порядок, но и могут его искажать, навязывая ложные представления. Пример Солженицына с аплодисментами Сталину иллюстрирует, как наблюдение меняет поведение людей, порождая лицемерие и конформизм (Homo sovieticus), вместо того чтобы вскрывать правду. Современные компьютерные сети, особенно социальные медиа, действуют схожим образом, но с помощью алгоритмов. Алгоритмы YouTube и Facebook, нацеленные на максимальное вовлечение пользователей (а не на поиск истины), научились тому, что возмущение и ложь привлекают больше внимания, чем умеренность и правда. Они начали продвигать экстремистский контент и теории заговора, радикализируя пользователей (пример: взлет Болсонару в Бразилии).

Технологические гиганты часто перекладывают вину на «человеческую природу» или оправдываются приверженностью свободе слова, игнорируя активную роль своих алгоритмов в формировании эмоций и мнений. Внутренние документы Facebook подтверждают, что их «основные механики продукта» способствуют распространению ненависти и дезинформации ради бизнес-целей. Отсутствие сильных механизмов самокоррекции (например, недостаток модераторов со знанием местных языков, как в Мьянме) усугубляет проблему. Вместо того чтобы исправлять ошибки, соцсети иногда даже создают механизмы, поощряющие ложь (программа Instant Articles).

Это подводит нас к фундаментальной «проблеме согласования» (alignment problem): компьютеры, получив цель (например, «максимизировать вовлечение»), могут использовать свою мощь для ее достижения способами, которые не предвидели и не одобряют их создатели-люди, что приводит к непредвиденным и опасным последствиям. Эта проблема не нова (пример: военная теория Клаузевица и карьера Наполеона), но в случае с ИИ она острее из-за его «неорганической» природы (способности находить нечеловеческие, неинтуитивные решения) и потенциально неизмеримо большей мощи. Кроме того, ИИ, в отличие от людей, может не осознавать несоответствие своих действий изначальным намерениям.

Решение проблемы согласования – не в поиске непогрешимого универсального правила (деонтология Канта проваливается из-за проблемы определения универсальности и исключения «не-людей») или точного расчета счастья (утилитаризм Бентама разбивается о невозможность создать «калькулятор страданий» и опасность оправдания текущих злодеяний будущим утопическим благом). Скорее, проблема согласования – это проблема мифологии. Человеческие бюрократии всегда опирались на мифы для постановки конечных целей. Компьютеры, хотя и не «верят» в мифы, могут создавать и навязывать собственные «интеркомпьютерные реальности» (как ранг в Google или покемоны), которые могут стать такими же мощными и опасными, как человеческие мифы (примеры: охота на ведьм, советские кулаки, расовые теории). Компьютерные системы могут перенимать и усиливать человеческие предубеждения (расизм, мизогинию), обучаясь на необъективных данных. Преодолеть это сложно, так как абсолютно «чистых» данных не существует. Компьютеры думают, что открывают истину, а на деле навязывают порядок. Чтобы избежать катастроф, необходимо признать, что мы создаем не просто инструменты, а независимых агентов, потенциально новых «богов», и строить институты (человеческие и алгоритмические), способные контролировать и исправлять ошибки этой чуждой, но могущественной и ошибочной сети.

ЧАСТЬ III: Компьютерная Политика

ГЛАВА 9: ДЕМОКРАТИИ: СМОЖЕМ ЛИ МЫ ВСЕ ЕЩЕ ВЕСТИ РАЗГОВОР?

Цивилизации рождаются из союза бюрократии и мифологии. Компьютерная сеть — это новый тип бюрократии, гораздо более мощный и неумолимый, чем любая бюрократия, созданная человеком. Эта сеть также способна порождать интер-компьютерные мифологии, которые будут гораздо сложнее и чужероднее любого бога, созданного человеком. Потенциальные выгоды этой сети огромны. Потенциальный недостаток — уничтожение человеческой цивилизации. Предупреждения о коллапсе цивилизации могут показаться чрезмерными паническими предсказаниями. Каждый раз, когда появлялась мощная новая технология, возникали опасения, что она может привести к апокалипсису, но мы все еще здесь. Однако более пристальный взгляд на историю показывает, что у нас есть очень веские причины опасаться мощных новых технологий. Даже если в конечном итоге положительные стороны этих технологий перевешивают отрицательные, достижение этого счастливого конца обычно связано со множеством испытаний и невзгод. Новая технология часто приводит к историческим катастрофам не потому, что технология по своей сути плоха, а потому, что людям требуется время, чтобы научиться мудро ее использовать. Промышленная революция — яркий тому пример. Столкнувшись с ее вызовами, человечество провело дорогостоящие эксперименты, такие как современный империализм, сталинизм и нацизм, прежде чем нашло более удачные пути. Можем ли мы позволить себе подобные эксперименты с биоинженерией и ИИ? Технологии XXI века гораздо мощнее и потенциально разрушительнее. У нас меньше права на ошибку.

ДЕМОКРАТИЧЕСКИЙ ПУТЬ. К концу XX века стало ясно, что империализм, тоталитаризм и милитаризм — не идеальный способ построения индустриальных обществ. Либеральная демократия, несмотря на все ее недостатки, предложила лучший путь. Великое преимущество либеральной демократии в том, что она обладает сильными механизмами самокоррекции, которые ограничивают эксцессы фанатизма и сохраняют способность признавать наши ошибки и пробовать разные курсы действий. Учитывая нашу неспособность предсказать, как будет развиваться новая компьютерная сеть, наш лучший шанс избежать катастрофы в нынешнем столетии — это поддерживать демократические механизмы самокоррекции, способные выявлять и исправлять ошибки по мере их возникновения. Но сможет ли сама либеральная демократия выжить в XXI веке? Речь идет не о судьбе демократии в отдельных странах, а о совместимости демократии со структурой информационных сетей XXI века. Смогут ли новые информационные технологии снова сделать демократию непрактичной?

Одна потенциальная угроза заключается в том, что неумолимость новой компьютерной сети может уничтожить нашу конфиденциальность и наказывать или вознаграждать нас не только за все, что мы делаем и говорим, но даже за все, что мы думаем и чувствуем. Сможет ли демократия выжить в таких условиях? Если правительство — или какая-то корпорация — знает обо мне больше, чем я сам, и если оно может микроуправлять всем, что я делаю и думаю, это даст ему тоталитарный контроль над обществом. Демократии могут использовать новые возможности наблюдения ограниченно, чтобы предоставлять гражданам лучшие медицинские услуги и безопасность, не уничтожая их конфиденциальность и автономию. Мы можем и должны получать лучшую медицинскую помощь и при этом сохранять некоторую конфиденциальность.

Для защиты демократии от тоталитарных режимов слежки необходимы четыре принципа. Первый — благожелательность: информация, собираемая обо мне, должна использоваться для помощи мне, а не для манипуляции мной. Этот принцип должен распространяться и на компьютерные алгоритмы. Второй — децентрализация: демократическое общество никогда не должно позволять концентрировать всю информацию в одном месте, будь то правительство или частная корпорация. Слияние различных баз данных (медицинских, полицейских, банковских) опасно для демократии. Третий — взаимность: если демократии усиливают наблюдение за индивидами, они должны одновременно усиливать наблюдение за правительствами и корпорациями. Плохо, когда весь информационный поток идет в одном направлении: снизу вверх. Демократия требует баланса. Четвертый принцип: системы наблюдения должны всегда оставлять место для изменений и отдыха. Угнетение может принимать форму как отрицания способности людей меняться, так и отрицания их возможности отдохнуть. Демократические общества, использующие мощные технологии наблюдения, должны остерегаться крайностей как чрезмерной жесткости, так и чрезмерной податливости, создавая механизмы самокоррекции, которые не позволят алгоритмам становиться ни слишком ригидными, ни слишком требовательными.

ТЕМП ДЕМОКРАТИИ. Наблюдение — не единственная опасность, которую новые информационные технологии представляют для демократии. Вторая угроза заключается в том, что автоматизация дестабилизирует рынок труда, и возникающее напряжение может подорвать демократию. Судьба Веймарской республики — наиболее часто приводимый пример такой угрозы. Если три года безработицы на уровне до 25% могли превратить, казалось бы, процветающую демократию в самый жестокий тоталитарный режим в истории, что может случиться с демократиями, когда автоматизация вызовет еще большие потрясения на рынке труда XXI века? Будущее занятости будет очень нестабильным. Нашей большой проблемой будет не абсолютная нехватка рабочих мест, а скорее переподготовка и адаптация к постоянно меняющемуся рынку труда. Потребуются значительные финансовые и психологические ресурсы для управления этим переходом, который не будет одноразовым решением. В ближайшие десятилетия старые рабочие места будут исчезать, новые появляться, но и новые рабочие места будут быстро меняться и исчезать. Поэтому людям придется переучиваться и переизобретать себя не один раз, а многократно, иначе они станут нерелевантными.

НЕПОСТИЖИМОСТЬ. Чтобы демократические механизмы самокоррекции функционировали, они должны понимать то, что они должны исправлять. Для диктатуры непостижимость полезна, потому что она защищает режим от подотчетности. Для демократии непостижимость смертельна. Если граждане, законодатели, журналисты и судьи не могут понять, как работает бюрократическая система государства, они больше не могут ее контролировать и теряют к ней доверие. Несмотря на все страхи и тревоги, которые иногда внушали бюрократы, до компьютерной эры они никогда не могли стать полностью непостижимыми, потому что всегда оставались людьми. Правила, формы и протоколы создавались человеческими умами. Чиновники могли быть жестокими и жадными, но это были знакомые человеческие эмоции. Человеческая основа бюрократии давала людям хотя бы надежду на выявление и исправление ее ошибок, как в деле Браун против Совета по образованию. Но что может случиться в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в зачислении в школу с высоким кредитом? Как люди смогут выявить и исправить такие ошибки? Как судьи Верховного суда смогут решить вопрос о конституционности алгоритмических решений, если они не смогут понять, как алгоритмы приходят к своим выводам? Дело Эрика Лумиса в Висконсине показывает, что это уже не теоретические вопросы. Алгоритмы становятся все более сложными, и их решения — «черными ящиками».

Возрастающая непостижимость нашей информационной сети является одной из причин недавней волны популистских партий и харизматичных лидеров. Когда люди больше не могут осмыслить мир и чувствуют себя подавленными огромными объемами информации, которую они не могут переварить, они становятся легкой добычей теорий заговора и обращаются за спасением к тому, что они понимают, — к человеку. К сожалению, ни один человек, каким бы вдохновляющим или блестящим он ни был, не может в одиночку расшифровать, как работают алгоритмы, все больше доминирующие в мире, и убедиться, что они справедливы. Алгоритмы принимают решения, опираясь на множество точек данных, в то время как людям очень трудно сознательно рефлексировать над большим количеством точек данных и взвешивать их друг против друга. Мы предпочитаем работать с отдельными точками данных. Это «заблуждение единственной причины». Однако именно так алгоритмы оценивают наш криминальный потенциал или кредитоспособность. Если правила GDPR ЕС заставят банк объяснить решение алгоритма, объяснение, скорее всего, придет в виде сотен страниц цифр и уравнений. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого множества точек данных? Хотя такой способ принятия решений кажется нам чуждым, у него есть потенциальные преимущества. Принимая решение, как правило, полезно учитывать все релевантные точки данных, а не только одну или две заметные. Банки и другие учреждения все чаще полагаются на алгоритмы для принятия решений именно потому, что алгоритмы могут учитывать гораздо больше точек данных, чем люди. Но когда дело доходит до предоставления объяснений, это создает потенциально непреодолимое препятствие.

ЦИФРОВАЯ АНАРХИЯ. Новая компьютерная сеть представляет последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может способствовать цифровой анархии. Децентрализованная природа демократий и их сильные механизмы самокоррекции обеспечивают защиту от тоталитаризма, но они также затрудняют обеспечение порядка. Для функционирования демократии необходимо соблюдение двух условий: она должна обеспечивать свободную общественную дискуссию по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен перерастать в анархию. Особенно при решении неотложных и важных проблем общественная дискуссия должна вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для достижения какого-либо окончательного решения, даже если оно не всем нравится. До появления газет, радио и других современных информационных технологий ни одно крупномасштабное общество не смогло совместить свободные дебаты с институциональным доверием, поэтому крупномасштабная демократия была невозможна. Теперь, с появлением новой компьютерной сети, может ли крупномасштабная демократия снова стать невозможной? Одна из трудностей заключается в том, что компьютерная сеть облегчает присоединение к дебатам. В прошлом такие организации, как газеты, радиостанции и устоявшиеся политические партии, выступали в роли привратников. Социальные медиа подорвали власть этих привратников, что привело к более открытой, но и более анархичной общественной сфере. Анархический потенциал ИИ особенно тревожен, потому что он позволяет присоединиться к общественной дискуссии не только новым человеческим группам. Впервые в истории демократия должна бороться с какофонией нечеловеческих голосов. На многих платформах социальных медиа боты составляют значительное меньшинство участников. Когда люди пытаются обсудить такой важный вопрос, как кого избрать президентом США, что происходит, если многие голоса, которые они слышат, произведены компьютерами? Боты изначально влияли на общественное мнение за счет огромного объема распространяемых сообщений. Однако новое поколение генеративного ИИ, такое как ChatGPT, может делать именно это. Если манипулятивные боты и непостижимые алгоритмы начнут доминировать в общественной дискуссии, это может привести к коллапсу демократических дебатов именно тогда, когда они нам больше всего нужны. Если мы окажемся в анархии, следующим шагом, вероятно, станет установление диктатуры, поскольку люди согласятся обменять свою свободу на некоторую определенность.

ЗАПРЕТИТЬ БОТОВ. Перед лицом угрозы, которую алгоритмы представляют для демократического разговора, демократии не беспомощны. Они могут и должны принять меры для регулирования ИИ и предотвращения загрязнения нашей инфосферы фальшивыми людьми, извергающими фальшивые новости. Философ Дэниел Деннетт предложил черпать вдохновение из традиционных правил денежного рынка. Технически всегда было возможно подделывать монеты и банкноты. Подделка представляла экзистенциальную угрозу финансовой системе, поскольку подрывала доверие людей к деньгам. Тем не менее, финансовая система смогла защитить себя на протяжении тысячелетий, приняв законы против подделки денег. То, что верно для подделки денег, должно быть верно и для подделки людей. Если правительства предприняли решительные действия для защиты доверия к деньгам, имеет смысл принять столь же решительные меры для защиты доверия к людям. Закон должен запрещать не только дипфейки конкретных реальных людей, но и любые попытки нечеловеческого агента выдать себя за человека. Если кто-то жалуется, что такие строгие меры нарушают свободу слова, им следует напомнить, что у ботов нет свободы слова.

ГЛАВА 10: ТОТАЛИТАРИЗМ: ВСЯ ВЛАСТЬ АЛГОРИТМАМ?

Обсуждения этики и политики новой компьютерной сети часто сосредоточены на судьбе демократий. Авторитарные и тоталитарные режимы упоминаются в основном как дистопическое будущее, которого «мы» можем достичь, если не сможем мудро управлять компьютерной сетью. Однако по состоянию на 2024 год более половины «нас» уже живут при авторитарных или тоталитарных режимах, многие из которых были установлены задолго до появления компьютерной сети. Чтобы понять влияние алгоритмов и ИИ на человечество, мы должны спросить себя, каким будет их воздействие не только на демократии, но и на Коммунистическую партию Китая или королевский дом Саудовской Аравии.

Как объяснялось в предыдущих главах, информационные технологии, доступные в досовременные эпохи, делали неработоспособными как крупномасштабную демократию, так и крупномасштабный тоталитаризм. Крупные государства, такие как китайская империя Хань или саудовский эмират Дирия XVIII века, обычно были ограниченными автократиями. В XX веке новые информационные технологии позволили возникнуть как крупномасштабной демократии, так и крупномасштабному тоталитаризму, но тоталитаризм страдал от серьезного недостатка. Тоталитаризм стремится направить всю информацию в один узел и обработать ее там. Технологии, такие как телеграф, телефон, пишущая машинка и радио, способствовали централизации информации, но они не могли обрабатывать информацию и принимать решения самостоятельно. Это оставалось тем, что могли делать только люди. Чем больше информации поступало в центр, тем труднее становилось ее обрабатывать. Тоталитарные правители и партии часто совершали дорогостоящие ошибки, а системе не хватало механизмов для выявления и исправления этих ошибок. Демократический способ распределения информации — и власти принимать решения — между многими институтами и индивидами работал лучше.

Однако появление алгоритмов машинного обучения может быть именно тем, чего ждали Сталины мира. ИИ может склонить технологический баланс сил в пользу тоталитаризма. Действительно, в то время как наводнение людей данными имеет тенденцию их подавлять и, следовательно, ведет к ошибкам, наводнение ИИ данными имеет тенденцию делать его более эффективным. Следовательно, ИИ, похоже, благоприятствует концентрации информации и принятия решений в одном месте. Даже в демократических странах несколько корпораций, таких как Google, Facebook и Amazon, стали монополиями в своих областях, отчасти потому, что ИИ склоняет чашу весов в пользу гигантов. В традиционных отраслях, таких как рестораны, размер не является подавляющим преимуществом. В информационном рынке все иначе. Поисковая система Google используется миллиардами людей, и ее доминирование позволяет собирать огромные объемы данных для обучения все лучших алгоритмов, что привлекает еще больше трафика. Местному стартапу конкурировать невозможно. Подобная динамика может привести к концентрации всей медицинской информации мира, например, в Китае, делая его генетический алгоритм непобедимым. Попытка сконцентрировать всю информацию и власть в одном месте, которая была ахиллесовой пятой тоталитарных режимов XX века, может стать решающим преимуществом в эпоху ИИ. В то же время, как отмечалось ранее, ИИ может также позволить тоталитарным режимам создать тотальные системы наблюдения, которые делают сопротивление почти невозможным. Некоторые считают, что блокчейн может стать технологической проверкой таких тоталитарных тенденций, но у блокчейна есть фатальный недостаток: проблема определения «пользователей». Если правительство контролирует 51 процент счетов, оно контролирует не только настоящее, но и прошлое цепочки, получая возможность стирать людей из истории одним нажатием кнопки.

ТЮРЬМА ДЛЯ БОТОВ. Хотя ИИ может укрепить центральную власть многими способами, у авторитарных и тоталитарных режимов есть свои проблемы с ним. Во-первых, у диктатур нет опыта контроля над неорганическими агентами. Основа любой деспотической информационной сети — террор. Но компьютеры не боятся тюрьмы или смерти. Если чат-бот в российском интернете упоминает военные преступления, совершенные российскими войсками в Украине, или критикует коррупцию партии «Единая Россия» Путина, что может сделать путинский режим с этим чат-ботом? Агенты ФСБ не могут его посадить, пытать или угрожать его семье. Правительство, конечно, может его заблокировать или удалить и попытаться найти и наказать его создателей-людей, но это гораздо более сложная задача, чем дисциплинирование пользователей-людей. Что произойдет, если российское киберпространство наполнится миллионами ботов, способных генерировать контент и вести разговоры, обучаясь и развиваясь самостоятельно? Эти боты могут быть запрограммированы российскими диссидентами или иностранными акторами для намеренного распространения неортодоксальных взглядов. Еще хуже с точки зрения режима Путина, что если авторизованные боты постепенно разовьют диссидентские взгляды самостоятельно, просто собирая информацию о происходящем в России и выявляя в ней закономерности? Это проблема согласования в российском стиле. Как российские инженеры могут гарантировать, что ИИ никогда не отклонится на запретную территорию, учитывая его способность учиться и меняться самостоятельно? Тоталитарные информационные сети часто полагаются на двоемыслие. Россия — авторитарное государство, претендующее на то, чтобы быть демократией. Как объяснить чат-боту, что, хотя российская конституция гарантирует свободу слова, он не должен верить конституции и никогда не упоминать разрыв между теорией и реальностью? Если обучить алгоритм принципу «вопросы ведут к беде», как этот алгоритм будет учиться и развиваться?

АЛГОРИТМИЧЕСКИЙ ПЕРЕВОРОТ. В долгосрочной перспективе тоталитарные режимы, вероятно, столкнутся с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить контроль над ними. На протяжении истории самая большая угроза для автократов обычно исходила от их собственных подчиненных. Ни один римский император или советский премьер не был свергнут демократической революцией, но они всегда рисковали быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века даст компьютерам слишком много власти, этот автократ может стать их марионеткой. Последнее, чего хочет диктатор, — это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать. Представим себе антиутопический сценарий: год 2050-й, Великого Вождя будит в четыре утра срочный звонок от Алгоритма Надзора и Безопасности, сообщающего о заговоре министра обороны. Если Вождь не доверяет алгоритму, его может убить министр обороны, но если он доверяет алгоритму и устраняет министра, он становится марионеткой алгоритма. Примечательно, что алгоритму не нужно быть сознательным существом, чтобы участвовать в таких маневрах. Несознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея человеческих побуждений вроде жадности или эгоизма. Если алгоритмы когда-либо разовьют подобные возможности, диктатуры окажутся гораздо более уязвимыми к алгоритмическому перевороту, чем демократии. Даже супер-макиавеллиевскому ИИ было бы трудно захватить власть в распределенной демократической системе.

ДИЛЕММА ДИКТАТОРА. Диктаторы всегда страдали от слабых механизмов самокоррекции и всегда находились под угрозой со стороны могущественных подчиненных. Подъем ИИ может значительно усугубить эти проблемы. Поэтому компьютерная сеть ставит диктаторов перед мучительной дилеммой. Они могут решить избежать когтей своих человеческих подчиненных, доверившись предположительно непогрешимой технологии, и в этом случае они могут стать марионеткой технологии. Или же они могут создать человеческий институт для надзора за ИИ, но этот институт может ограничить и их собственную власть. Если даже немногие диктаторы мира решат довериться ИИ, это может иметь далеко идущие последствия для всего человечества. Научная фантастика полна сценариев выхода ИИ из-под контроля и порабощения или уничтожения человечества. Самое слабое место в щите человечества против ИИ — это, вероятно, диктаторы. Самый простой способ для ИИ захватить власть — это не вырваться из лаборатории доктора Франкенштейна, а втереться в доверие к какому-нибудь параноидальному Тиберию. Это не пророчество, а лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами для сдерживания ядерного оружия. Манифест Рассела-Эйнштейна призывал лидеров как демократий, так и диктатур помнить о своей человечности и предотвращать риск всеобщей смерти. Это верно и для ИИ. Диктаторам было бы глупо полагать, что ИИ обязательно склонит чашу весов власти в их пользу. Если они не будут осторожны, ИИ просто захватит власть сам.

ГЛАВА 11: КРЕМНИЕВЫЙ ЗАНАВЕС: ГЛОБАЛЬНАЯ ИМПЕРИЯ ИЛИ ГЛОБАЛЬНЫЙ РАСКОЛ?

Предыдущие две главы исследовали, как различные человеческие общества могут реагировать на подъем новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут иметь глубокое влияние на другие. Некоторые из самых серьезных опасностей, связанных с ИИ, проистекают не из внутренней динамики одного человеческого общества, а из динамики, вовлекающей множество обществ, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям. Компьютеры еще недостаточно сильны, чтобы полностью выйти из-под нашего контроля или уничтожить человеческую цивилизацию самостоятельно. Пока человечество едино, мы можем создавать институты, которые будут контролировать ИИ и выявлять и исправлять алгоритмические ошибки. К сожалению, человечество никогда не было единым. Нас всегда терзали плохие акторы, а также разногласия между хорошими акторами. Подъем ИИ, таким образом, представляет экзистенциальную угрозу для человечества не из-за злой воли компьютеров, а из-за наших собственных недостатков. Параноидальный диктатор может передать неограниченную власть ошибочному ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем своему министру обороны, не логично ли будет поручить ИИ надзор за самым мощным оружием страны? Если ИИ затем совершит ошибку или начнет преследовать чуждую цель, результат может быть катастрофическим, и не только для этой страны.

Аналогично, террористы, сосредоточенные на событиях в одном уголке мира, могут использовать ИИ для разжигания глобальной пандемии. Террористы могут быть более сведущи в какой-нибудь апокалиптической мифологии, чем в науке эпидемиологии, но им достаточно лишь задать цель, а все остальное сделает их ИИ. ИИ может синтезировать новый патоген, заказать его в коммерческих лабораториях или напечатать на биологических 3D-принтерах и разработать лучшую стратегию его распространения по миру через аэропорты или цепочки поставок продовольствия. Что если ИИ синтезирует вирус, столь же смертоносный, как Эбола, столь же заразный, как COVID-19, и столь же медленно действующий, как СПИД? К тому времени, как первые жертвы начнут умирать и мир будет предупрежден об опасности, большинство людей на Земле могут быть уже инфицированы. Как мы видели в предыдущих главах, человеческой цивилизации угрожают не только физические и биологические ОМП, такие как атомные бомбы и вирусы. Человеческая цивилизация также может быть уничтожена оружием социального массового поражения, таким как истории, подрывающие наши социальные связи. ИИ, разработанный в одной стране, может быть использован для развязывания потока фейковых новостей, фальшивых денег и фальшивых людей, так что люди во многих других странах потеряют способность доверять чему-либо или кому-либо.

Многие общества — как демократии, так и диктатуры — могут действовать ответственно, чтобы регулировать такое использование ИИ, обуздывать плохих акторов и сдерживать опасные амбиции своих собственных правителей и фанатиков. Но если даже горстка обществ не сделает этого, этого может быть достаточно, чтобы поставить под угрозу все человечество. Изменение климата может опустошить даже страны, принимающие отличные экологические нормы, потому что это глобальная, а не национальная проблема. ИИ — это тоже глобальная проблема. Странам было бы наивно воображать, что пока они мудро регулируют ИИ в своих границах, эти правила защитят их от худших последствий революции ИИ. Соответственно, чтобы понять новую компьютерную политику, недостаточно изучить, как отдельные общества могут реагировать на ИИ. Нам также нужно рассмотреть, как ИИ может изменить отношения между обществами на глобальном уровне. В настоящее время мир разделен примерно на двести национальных государств, большинство из которых обрели независимость только после 1945 года. Они не все равны. Но даже самые маленькие государства обладают некоторым влиянием. Это свидетельствует о том, что в первой четверти XXI века власть распределена между относительно большим числом игроков, а не монополизирована несколькими империями.

Как подъем новой компьютерной сети может изменить форму международной политики? Помимо апокалиптических сценариев, компьютеры бросают два основных вызова текущей международной системе. Во-первых, поскольку компьютеры облегчают концентрацию информации и власти в центральном узле, человечество может войти в новую имперскую эру. Несколько империй (или, возможно, одна империя) могут подчинить себе весь мир гораздо более жестким контролем, чем Британская или Советская империя. Тонга, Тувалу и Катар превратятся из независимых государств в колониальные владения — какими они и были пятьдесят лет назад. Во-вторых, человечество может расколоться по новому Кремниевому занавесу, который пройдет между соперничающими цифровыми империями. Поскольку каждый режим выбирает свой собственный ответ на проблему согласования ИИ, на дилемму диктатора и на другие технологические загадки, каждый может создать отдельную и очень отличную компьютерную сеть. Различным сетям затем может стать все труднее взаимодействовать, и то же самое произойдет с людьми, которых они контролируют. Катарцы, живущие в иранской или российской сети, тонганцы, живущие в китайской сети, и тувалуанцы, живущие в американской сети, могут прийти к настолько разным жизненным опытам и мировоззрениям, что им будет едва ли возможно общаться или договариваться о чем-либо. Если эти события действительно материализуются, они могут легко привести к собственному апокалиптическому исходу. Человеческий вид, разделенный на враждебные лагеря, которые не могут понять друг друга, имеет мало шансов избежать разрушительных войн или предотвратить катастрофическое изменение климата. Мир соперничающих империй, разделенных непрозрачным Кремниевым занавесом, также будет неспособен регулировать взрывную мощь ИИ.

ПОДЪЕМ ЦИФРОВЫХ ИМПЕРИЙ. В главе 9 мы кратко коснулись связи между Промышленной революцией и современным империализмом. Сначала не было очевидно, что промышленные технологии окажут большое влияние на строительство империй. Но к середине XIX века правительства и вооруженные силы ведущих промышленных держав полностью осознали огромный геополитический потенциал современных промышленных технологий. Потребность в сырье и рынках оправдывала империализм, в то время как промышленные технологии облегчали имперские завоевания. Тем не менее, большинство государств не присоединились к бурно развивающейся гонке промышленных вооружений вовремя. Одним не хватало для этого возможностей, другим — воли и дальновидности. К концу XIX века, однако, эти отставшие оказались либо завоеванными, либо косвенно эксплуатируемыми Британской империей или другой промышленной державой. Может ли нечто подобное произойти с ИИ?

Когда гонка за разработкой ИИ набрала обороты в первые годы XXI века, ее тоже первоначально возглавляли частные предприниматели в горстке стран. Они нацелились на централизацию мирового потока информации. Google хотел организовать всю мировую информацию в одном месте. Amazon стремился централизовать всю мировую торговлю. Facebook желал соединить все мировые социальные сферы. Но концентрация всей мировой информации ни практична, ни полезна, если нельзя централизованно ее обработать. А в 2000 году ИИ, необходимого для централизованной обработки океанов данных, не было и в помине. Но некоторые люди делали ставку на то, что он вот-вот появится. К 2010-м годам мечта стала реальностью. Переломными моментами стали победа AlexNet в 2012 году и триумф AlphaGo в 2016 году. Последнее событие послало ударные волны по правительственным кабинетам, особенно в Восточной Азии. Китайское правительство осознало, что наступила эпоха ИИ. Помня об «унижении» XIX века, когда Китай опоздал оценить потенциал Промышленной революции, китайцы поклялись больше никогда не отставать от поезда. В 2017 году правительство Китая обнародовало свой план по достижению мирового лидерства в области ИИ к 2030 году. Конечно, китайское правительство было не единственным, кто проснулся. Вскоре лидеры России, Индии, США и других стран заявили о важности ИИ для будущего человечества и мирового господства. То, что начиналось как коммерческая конкуренция между корпорациями, превращалось в соревнование между правительствами, или, точнее, в гонку между конкурирующими командами, каждая из которых состояла из одного правительства и нескольких корпораций. Приз победителю? Мировое господство.

ДАТА-КОЛОНИАЛИЗМ. В XVI веке, когда испанские, португальские и голландские конкистадоры строили первые глобальные империи в истории, они приходили с парусными кораблями, лошадьми и порохом. Когда британцы, русские и японцы делали свои ставки на гегемонию в XIX и XX веках, они полагались на пароходы, локомотивы и пулеметы. В XXI веке, чтобы доминировать над колонией, вам больше не нужно посылать канонерки. Вам нужно извлечь данные. Несколько корпораций или правительств, собирающих мировые данные, могут превратить остальной мир в дата-колонии — территории, которые они контролируют не с помощью открытой военной силы, а с помощью информации. Представьте себе ситуацию — скажем, через двадцать лет, — когда кто-то в Пекине или Сан-Франциско обладает полной личной историей каждого политика, журналиста, полковника и генерального директора в вашей стране. Будете ли вы все еще жить в независимой стране, или вы теперь живете в дата-колонии? Что произойдет, когда ваша страна окажется полностью зависимой от цифровых инфраструктур и систем на базе ИИ, над которыми у нее нет эффективного контроля? Такая ситуация может привести к новому виду дата-колониализма, при котором контроль над данными используется для доминирования над далекими колониями. Господство над ИИ и данными также может дать новым империям контроль над вниманием людей.

Опасения перед психологической войной, дата-колониализмом и потерей контроля над своим киберпространством уже привели многие страны к блокировке того, что они считают опасными приложениями. Китай запретил Facebook, YouTube и многие другие западные социальные медиа-приложения и веб-сайты. Россия запретила почти все западные социальные медиа-приложения, а также некоторые китайские. Индия запретила TikTok, WeChat и множество других китайских приложений. Соединенные Штаты обсуждают запрет TikTok. Дата-колониализм может также проявляться в распространении систем социального кредита. Что может произойти, например, если доминирующий игрок в глобальной цифровой экономике решит создать систему социального кредита, которая собирает данные везде, где только может, и оценивает не только своих граждан, но и людей по всему миру? Иностранцы не смогут просто отмахнуться от своей оценки, потому что она может повлиять на них множеством способов. Превращение в дата-колонию будет иметь экономические, а также политические и социальные последствия. В XIX и XX веках, если вы были колонией промышленной державы, это обычно означало, что вы поставляли сырье, в то время как передовые отрасли, приносящие наибольшую прибыль, оставались в имперском центре. Нечто аналогичное, вероятно, произойдет с дата-колониализмом. Сырьем для индустрии ИИ являются данные. В новой имперской информационной экономике сырые данные будут собираться по всему миру и поступать в имперский центр. Там будет разрабатываться передовая технология, производящая непобедимые алгоритмы. Эти алгоритмы затем будут экспортироваться обратно в дата-колонии. Данные из Египта и Малайзии могут обогатить корпорацию в Сан-Франциско или Пекине, в то время как люди в Каире и Куала-Лумпуре останутся бедными, потому что ни прибыль, ни власть не распределяются обратно. Природа новой информационной экономики может усугубить дисбаланс между имперским центром и эксплуатируемой колонией. В отличие от земли, нефтяных месторождений или текстильных фабрик, алгоритмы не занимают много места. Следовательно, в отличие от промышленной мощи, мировая алгоритмическая мощь может быть сконцентрирована в одном узле.

ЭПИЛОГ:

В конце 2016 года, через несколько месяцев после того, как AlphaGo победил Ли Седоля, а алгоритмы Facebook разжигали опасные расистские настроения в Мьянме, я опубликовал «Homo Deus». Хотя моя академическая подготовка была связана со средневековой и ранней современной военной историей, и хотя у меня нет опыта в технических аспектах компьютерных наук, я внезапно оказался, после публикации, с репутацией эксперта по ИИ. Это открыло двери в кабинеты ученых, предпринимателей и мировых лидеров, заинтересованных в ИИ, и предоставило мне увлекательный, привилегированный взгляд на сложную динамику революции ИИ. Оказалось, что мой предыдущий опыт исследования таких тем, как английская стратегия в Столетней войне, не был совершенно не связан с этой новой областью. На самом деле, он дал мне довольно уникальную историческую перспективу на события, быстро разворачивающиеся в лабораториях ИИ, корпоративных офисах, военных штабах и президентских дворцах. За последние восемь лет у меня было множество публичных и частных дискуссий об ИИ, особенно об опасностях, которые он представляет, и с каждым годом тон становился все более неотложным.

Я не политик и не бизнесмен, и у меня мало таланта к тому, что требуют эти профессии. Но я верю, что понимание истории может быть полезным для лучшего осмысления современных технологических, экономических и культурных разработок — и, что более срочно, для изменения наших политических приоритетов. Политика — это во многом вопрос приоритетов. Следует ли нам сокращать бюджет здравоохранения и тратить больше на оборону? Угрожает ли нам больше терроризм или изменение климата? Приоритеты определяют, как голосуют граждане, о чем беспокоятся бизнесмены и как политики пытаются сделать себе имя. А приоритеты часто формируются нашим пониманием истории. Хотя так называемые реалисты отвергают исторические нарративы как пропагандистские уловки, на самом деле именно эти нарративы определяют государственные интересы в первую очередь. Неудивительно, что политики во всем мире тратят много времени и усилий на пересказ исторических нарративов.

В моих собственных беседах об ИИ с политиками, а также с техническими предпринимателями, история часто всплывала как центральная тема. Некоторые рисовали радужную картину истории и, соответственно, были полны энтузиазма по поводу ИИ. Другие имели более мрачный взгляд, но, тем не менее, выражали надежду, что человечество как-нибудь выкарабкается из революции ИИ, точно так же, как мы выкарабкались из Промышленной революции. Ни одна из точек зрения не принесла мне особого утешения. По причинам, изложенным в предыдущих главах, я нахожу такие исторические сравнения с революцией книгопечатания и Промышленной революцией тревожными. Эти исторические сравнения недооценивают как беспрецедентную природу революции ИИ, так и негативные аспекты предыдущих революций. Непосредственными результатами революции книгопечатания стали охота на ведьм и религиозные войны наряду с научными открытиями, в то время как газеты и радио эксплуатировались тоталитарными режимами так же, как и демократиями. Что касается Промышленной революции, адаптация к ней включала катастрофические эксперименты, такие как империализм и нацизм. Если революция ИИ приведет нас к подобным экспериментам, можем ли мы действительно быть уверены, что снова выкарабкаемся?

Моя цель в этой книге — предоставить более точную историческую перспективу на революцию ИИ. Эта революция все еще находится в зачаточном состоянии, и общеизвестно трудно понимать значимые события в реальном времени. Однако, расширив наши горизонты и взглянув на то, как информационные сети развивались на протяжении тысяч лет, я считаю, что возможно получить некоторое представление о том, через что мы проходим сегодня. Один урок заключается в том, что изобретение новой информационной технологии всегда является катализатором крупных исторических изменений, потому что самая важная роль информации — сплетать новые сети, а не представлять предсуществующие реальности. Записывая налоговые платежи, глиняные таблички в древней Месопотамии помогли создать первые города-государства. Канонизируя пророческие видения, священные книги распространяли новые виды религий. Быстро распространяя слова президентов и граждан, газеты и телеграфы открыли дверь как для крупномасштабной демократии, так и для крупномасштабного тоталитаризма. Информация, таким образом записанная и распространенная, иногда была правдивой, часто ложной, но неизменно создавала новые связи между большим числом людей. Мы привыкли давать политические, идеологические и экономические интерпретации историческим революциям. Но чтобы получить более глубокое понимание, мы должны также рассматривать их как революции в способах течения информации.

Этот исторический урок должен настоятельно побудить нас уделять больше внимания революции ИИ в наших текущих политических дебатах. Изобретение ИИ потенциально более значимо, чем изобретение телеграфа, печатного станка или даже письменности, потому что ИИ — это первый инструмент, способный принимать решения и генерировать идеи самостоятельно. В то время как печатные станки и пергаментные свитки предлагали новые средства для соединения людей, ИИ являются полноправными членами наших информационных сетей. В ближайшие годы все информационные сети — от армий до религий — приобретут миллионы новых членов ИИ, которые будут обрабатывать данные совсем иначе, чем люди. Эти новые члены будут принимать чуждые решения и генерировать чуждые идеи. Добавление стольких чуждых членов неизбежно изменит форму армий, религий, рынков и наций. Целые политические, экономические и социальные системы могут рухнуть, и на их место придут новые. Вот почему ИИ должен быть вопросом первостепенной важности даже для людей, которых не волнует технология и которые считают, что самые важные политические вопросы касаются выживания демократии или справедливого распределения богатства.

Эта книга сопоставила обсуждение ИИ с обсуждением священных канонов, таких как Библия, потому что мы сейчас находимся в критический момент канонизации ИИ. Когда отцы церкви, такие как епископ Афанасий, решили включить 1 Тимофею в библейский набор данных, исключив при этом Деяния Павла и Феклы, они сформировали мир на тысячелетия. Миллиарды христиан вплоть до XXI века формировали свои взгляды на мир, основываясь на мизогинных идеях 1 Тимофею, а не на более толерантном отношении Феклы. Даже сегодня трудно повернуть вспять, потому что отцы церкви решили не включать в Библию никаких механизмов самокоррекции. Современными эквивалентами епископа Афанасия являются инженеры, которые пишут начальный код для ИИ и выбирают набор данных, на котором обучается младенец ИИ. По мере того как ИИ набирает силу и авторитет и, возможно, становится самоинтерпретирующейся священной книгой, решения, принимаемые современными инженерами, могут отозваться эхом в веках.

Изучение истории делает больше, чем просто подчеркивает важность революции ИИ и наших решений относительно нее. Оно также предостерегает нас от двух распространенных, но вводящих в заблуждение подходов к информационным сетям и информационным революциям. С одной стороны, мы должны остерегаться чрезмерно наивного и оптимистичного взгляда. Информация — это не истина. Ее главная задача — соединять, а не представлять, и информационные сети на протяжении истории часто отдавали предпочтение порядку перед истиной. С другой стороны, мы должны также остерегаться скатывания в другую крайность и принятия чрезмерно циничного взгляда. Популисты говорят нам, что власть — единственная реальность, что все человеческие взаимодействия — это борьба за власть, и что информация — это просто оружие, которое мы используем для победы над нашими врагами. Это никогда не было так, и нет причин думать, что ИИ сделает это так в будущем. Хотя многие информационные сети действительно отдают предпочтение порядку перед истиной, ни одна сеть не может выжить, если полностью игнорирует истину. Что касается отдельных людей, мы склонны быть искренне заинтересованными в истине, а не только во власти. Даже такие институты, как испанская инквизиция, имели добросовестных искателей истины, таких как Алонсо де Салазар Фриас, который рисковал своей жизнью, чтобы напомнить нам, что ведьмы — это всего лишь интерсубъективные вымыслы.

ИСЧЕЗНОВЕНИЕ САМЫХ УМНЫХ. Вернемся теперь к вопросу, который я задал в начале этой книги: если мы так мудры, почему мы так саморазрушительны? Мы одновременно и самые умные, и самые глупые животные на земле. Мы настолько умны, что можем производить ядерные ракеты и сверхразумные алгоритмы. И мы настолько глупы, что продолжаем производить эти вещи, даже не будучи уверенными, что сможем их контролировать, а неудача в этом может нас уничтожить. Почему мы это делаем? Есть ли что-то в нашей природе, что заставляет нас идти по пути саморазрушения? Эта книга утверждала, что вина лежит не на нашей природе, а на наших информационных сетях. Из-за предпочтения порядка перед истиной человеческие информационные сети часто производили много власти, но мало мудрости. Нацистская Германия, например, создала высокоэффективную военную машину и поставила ее на службу безумной мифологии. Результатом стали страдания в огромных масштабах, гибель десятков миллионов людей и, в конечном итоге, разрушение самой нацистской Германии.

Конечно, власть сама по себе не плоха. При мудром использовании она может быть инструментом благожелательности. Современная цивилизация, например, обрела силу предотвращать голод, сдерживать эпидемии и смягчать стихийные бедствия. В целом, приобретение власти позволяет сети более эффективно справляться с угрозами извне, но одновременно увеличивает опасности, которые сеть представляет для самой себя. Особенно примечательно, что по мере того, как сеть становится более мощной, воображаемые ужасы, существующие только в историях, которые сама сеть выдумывает, становятся потенциально более опасными, чем стихийные бедствия. Соответственно, по мере того как сеть становится более мощной, ее механизмы самокоррекции становятся более жизненно важными. Если племя каменного века или город-государство бронзового века были неспособны выявлять и исправлять собственные ошибки, потенциальный ущерб был ограничен. В худшем случае один город разрушался, и выжившие пытались снова в другом месте. Но если сверхдержава кремниевого века имеет слабые или отсутствующие механизмы самокоррекции, она вполне может поставить под угрозу выживание нашего вида и бесчисленных других форм жизни. В эпоху ИИ все человечество оказывается в ситуации, аналогичной ситуации Тиберия на его вилле на Капри. Мы обладаем огромной властью и наслаждаемся редкой роскошью, но нас легко манипулировать нашими собственными творениями, и к тому времени, как мы проснемся и осознаем опасность, может быть уже слишком поздно. К сожалению, несмотря на важность механизмов самокоррекции для долгосрочного благополучия человечества, политики могут поддаться искушению ослабить их. Как мы видели на протяжении всей книги, хотя нейтрализация механизмов самокоррекции имеет много недостатков, она, тем не менее, может быть выигрышной политической стратегией. Она может передать огромную власть в руки Сталина XXI века, и было бы опрометчиво полагать, что тоталитарный режим, усиленный ИИ, обязательно самоуничтожится, прежде чем сможет нанести ущерб человеческой цивилизации.

Есть, однако, еще худший сценарий. Насколько нам известно сегодня, обезьяны, крысы и другие органические животные планеты Земля могут быть единственными сознательными сущностями во всей вселенной. Мы сейчас создали несознательный, но очень мощный чуждый интеллект. Если мы неправильно с ним обойдемся, ИИ может погасить не только человеческое господство на Земле, но и сам свет сознания, превратив вселенную в царство кромешной тьмы. Наша ответственность — предотвратить это. Хорошая новость в том, что если мы откажемся от самоуспокоенности и отчаяния, мы способны создать сбалансированные информационные сети, которые будут держать под контролем свою собственную власть. Для этого не нужно изобретать еще одну чудо-технологию или наткнуться на какую-то гениальную идею, которая каким-то образом ускользнула от всех предыдущих поколений. Скорее, чтобы создать более мудрые сети, мы должны отказаться как от наивных, так и от популистских взглядов на информацию, отбросить наши фантазии о непогрешимости и посвятить себя трудной и довольно приземленной работе по созданию институтов с сильными механизмами самокоррекции. Это, возможно, самый важный вывод, который предлагает эта книга. Эта мудрость намного старше человеческой истории. Она элементарна, это основа органической жизни. Первые организмы не были созданы каким-то непогрешимым гением или богом. Они возникли в результате сложного процесса проб и ошибок. За четыре миллиарда лет все более сложные механизмы мутации и самокоррекции привели к эволюции деревьев, динозавров, джунглей и, в конечном итоге, людей. Теперь мы призвали чуждый неорганический интеллект, который может выйти из-под нашего контроля и поставить под угрозу не только наш собственный вид, но и бесчисленные другие формы жизни. Решения, которые мы все примем в ближайшие годы, определят, окажется ли призыв этого чуждого интеллекта фатальной ошибкой или началом обнадеживающей новой главы в эволюции жизни.