Эссе Дарио Амодея

Мои каналы:

Машины любящей благодати Как ИИ может изменить мир к лучшему Октябрь 2024 года

Я много думаю и говорю о рисках мощного ИИ. Компания, генеральным директором которой я являюсь, Anthropic, проводит много исследований о том, как снизить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или «думер», который считает, что ИИ будет в основном нести зло или опасность. Я совершенно так не считаю. На самом деле, одна из моих главных причин сосредоточиться на рисках заключается в том, что они — единственное, что стоит между нами и тем, что я вижу как фундаментально позитивное будущее. Я думаю, что большинство людей недооценивают то, насколько радикальными могут быть преимущества ИИ, точно так же, как я думаю, что большинство людей недооценивают, насколько серьезными могут быть риски.

В этом эссе я пытаюсь набросать, как может выглядеть эта позитивная сторона — как может выглядеть мир с мощным ИИ, если все пойдет хорошо. Конечно, никто не может знать будущее с какой-либо уверенностью или точностью, и последствия мощного ИИ, вероятно, будут еще более непредсказуемыми, чем прошлые технологические изменения, поэтому все это неизбежно будет состоять из догадок. Но я стремлюсь по крайней мере к обоснованным и полезным догадкам, которые улавливают суть того, что произойдет, даже если большинство деталей в конечном итоге окажутся неверными. Я включаю множество деталей главным образом потому, что считаю, что конкретное видение больше способствует развитию дискуссии, чем сильно завуалированное и абстрактное.

Сначала, однако, я хотел бы кратко объяснить, почему я и Anthropic до сих пор не так много говорили о плюсах мощного ИИ, и почему мы, вероятно, продолжим, в целом, много говорить о рисках. В частности, я сделал этот выбор из желания:

Максимизировать рычаги влияния. Базовое развитие технологии ИИ и многие (но не все) ее преимущества кажутся неизбежными (если только риски не пустят все под откос) и фундаментально управляются мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут сильно изменить их вероятность.
Избежать восприятия в качестве пропаганды. Компании, занимающиеся ИИ, говорящие обо всех удивительных преимуществах ИИ, могут выглядеть как пропагандисты или как будто они пытаются отвлечь внимание от недостатков. Я также считаю, что в принципе вредно для души тратить слишком много времени на «расхваливание собственного товара».
Избежать грандиозности. Меня часто отталкивает то, как многие публичные фигуры, занимающиеся рисками ИИ (не говоря уже о лидерах ИИ-компаний), говорят о мире после AGI так, как будто их миссия — единолично привести к нему, подобно пророку, ведущему свой народ к спасению. Я считаю опасным рассматривать компании как сущности, в одностороннем порядке формирующие мир, и опасным рассматривать практические технологические цели в по сути религиозных терминах.
Избежать багажа «научной фантастики». Хотя я думаю, что большинство людей недооценивают потенциал мощного ИИ, небольшое сообщество людей, которые действительно обсуждают радикальное будущее ИИ, часто делает это в излишне «научно-фантастическом» тоне (с участием, например, загруженных разумов, освоения космоса или общих вайбов киберпанка). Я думаю, это заставляет людей относиться к таким утверждениям менее серьезно и наделяет их некой нереальностью. Чтобы было ясно, проблема не в том, возможны ли или вероятны описанные технологии (в основном эссе это обсуждается в мельчайших деталях) — скорее дело в том, что этот «вайб» коннотативно протаскивает кучу культурного багажа и невысказанных предположений о том, какое будущее желательно, как будут разворачиваться различные социальные проблемы и т.д.. В результате это часто читается как фантазия для узкой субкультуры, отталкивая большинство людей.

Тем не менее, несмотря на все вышеперечисленные опасения, я действительно считаю важным обсуждать, как может выглядеть хороший мир с мощным ИИ, стараясь изо всех сил избегать вышеупомянутых ловушек. На самом деле, я думаю, что критически важно иметь подлинно вдохновляющее видение будущего, а не просто план по тушению пожаров. Многие последствия мощного ИИ носят состязательный или опасный характер, но в конце концов должно быть что-то, за что мы боремся, какой-то результат с положительной суммой, где всем становится лучше, что-то, что сплотит людей, чтобы они поднялись над своими распрями и противостояли предстоящим вызовам. Страх — это один из видов мотивации, но его недостаточно: нам также нужна надежда.

Список позитивных применений мощного ИИ чрезвычайно длинен (и включает робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, как мне кажется, имеют наибольший потенциал для прямого улучшения качества человеческой жизни. Пять категорий, которые вызывают у меня наибольший энтузиазм, это:

Биология и физическое здоровье
Нейронаука и психическое здоровье
Экономическое развитие и бедность
Мир и управление
Работа и смысл жизни

Мои прогнозы будут радикальными по большинству стандартов (кроме научно-фантастических видений «сингулярности»*), но я делаю их серьезно и искренне. Все, что я говорю, вполне может оказаться неверным (повторяя мой тезис выше), но я по крайней мере попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт как в биологии, так и в нейронауке, и я являюсь информированным любителем в области экономического развития, но я уверен, что во многом ошибусь. Одна вещь, которую я осознал при написании этого эссе: было бы ценно собрать группу профильных экспертов (в области биологии, экономики, международных отношений и других), чтобы написать гораздо лучшую и более информированную версию того, что я здесь представил. Вероятно, лучше всего рассматривать мои усилия здесь как стартовый запрос (prompt) для этой группы.

(Примечание автора к тексту: Я действительно ожидаю, что реакция меньшинства людей будет: «это довольно банально». Я думаю, что этим людям нужно, говоря языком Twitter, «потрогать траву». Но что еще более важно, банальность — это хорошо с социальной точки зрения. Я думаю, что люди могут справиться лишь с определенным объемом изменений за один раз, и темп, который я описываю, вероятно, близок к пределам того, что общество может усвоить без экстремальной турбулентности.)

Базовые предположения и концептуальная рамка

Чтобы сделать все это эссе более точным и обоснованным, полезно четко указать, что мы подразумеваем под мощным ИИ (т.е. порог, при котором начинают отсчитываться 5-10 лет), а также изложить рамки для размышлений о последствиях такого ИИ, как только он появится.

Как будет выглядеть мощный ИИ (мне не нравится термин AGI**) и когда (или если) он появится, — это сама по себе огромная тема. Это тема, которую я обсуждал публично и мог бы написать о ней совершенно отдельное эссе (вероятно, когда-нибудь я это сделаю). Очевидно, многие скептически относятся к тому, что мощный ИИ будет создан в ближайшее время, а некоторые сомневаются, что он вообще когда-либо будет создан. Я думаю, он может появиться уже в 2026 году, хотя есть пути, по которым это может занять гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что он появится довольно скоро, и сосредоточиться на том, что произойдет в течение 5-10 лет после этого. Я также хочу принять определение того, как будет выглядеть такая система, каковы ее возможности и как она взаимодействует, даже если здесь есть место для разногласий.

*(Примечание автора к тексту: Я нахожу AGI неточным термином, который собрал вокруг себя много научно-фантастического багажа и хайпа. Я предпочитаю «мощный ИИ» или «Наука и инженерия экспертного уровня», которые передают то, что я имею в виду, без хайпа.)

Под мощным ИИ я подразумеваю ИИ-модель — вероятно, похожую по форме на сегодняшние LLM, хотя она может быть основана на другой архитектуре, может включать несколько взаимодействующих моделей и может обучаться по-другому — со следующими свойствами:

С точки зрения чистого интеллекта*, она умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, писательстве и т.д.. Это означает, что она может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, писать сложные кодовые базы с нуля и т.д..
Помимо того, что это просто «умная вещь, с которой вы разговариваете», у нее есть все «интерфейсы», доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Она может участвовать в любых действиях, коммуникациях или удаленных операциях, обеспечиваемых этим интерфейсом, включая совершение действий в интернете, получение или отдачу указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видео и так далее. Все эти задачи она выполняет, опять же, с навыками, превосходящими самых способных людей в мире.
Она не просто пассивно отвечает на вопросы; вместо этого ей можно поручить задачи, на выполнение которых уходят часы, дни или недели, и затем она уходит и выполняет эти задачи автономно, как это делал бы умный сотрудник, запрашивая разъяснения по мере необходимости.
У нее нет физического воплощения (кроме жизни на экране компьютера), но она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; в теории она могла бы даже проектировать роботов или оборудование для собственного использования.
Ресурсы, используемые для обучения модели, можно перепрофилировать для запуска миллионов ее экземпляров (это соответствует прогнозируемым размерам кластеров к ~2027 году), и модель может поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человека****. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.

(Примечание автора к тексту: В этом эссе я использую слово «интеллект» для обозначения общей способности решать проблемы, которая может быть применена в различных областях. Некоторые исследователи спорят, является ли интеллект единым концептом, но это тема для другой дискуссии.)(Примечание автора к тексту: Скорость в 10-100 раз выше человеческой — это примерно текущая скорость систем ИИ. Например, они могут прочитать страницу текста за пару секунд и написать страницу за 20 секунд. Со временем более крупные модели замедляют процесс, а более мощные чипы ускоряют его; пока эти два эффекта примерно уравновешивали друг друга.)

Каждая из этих миллионов копий может действовать независимо над несвязанными задачами, или, если необходимо, все они могут работать вместе так же, как сотрудничают люди, возможно, с различными субпопуляциями, точно настроенными, чтобы быть особенно хорошими в определенных задачах.

Мы могли бы резюмировать это как «страна гениев в дата-центре».

Очевидно, такая сущность была бы способна решать очень сложные проблемы, очень быстро, но нетривиально выяснить, насколько быстро. Две «крайние» позиции обе кажутся мне ложными. Во-первых, вы можете подумать, что мир мгновенно трансформируется в масштабе секунд или дней («Сингулярность»), поскольку превосходящий интеллект опирается сам на себя и решает любую возможную научную, инженерную и операционную задачу почти сразу. Проблема с этим заключается в том, что существуют реальные физические и практические ограничения, например, связанные с созданием оборудования или проведением биологических экспериментов. Даже новая страна гениев столкнулась бы с этими пределами. Интеллект может быть очень мощным, но это не волшебная пыльца фей.

Во-вторых, и наоборот, вы могли бы поверить, что технологический прогресс насыщен или ограничен в скорости данными реального мира или социальными факторами, и что интеллект, превосходящий человеческий, добавит очень мало*. Это кажется мне столь же неправдоподобным — я могу придумать сотни научных или даже социальных проблем, где большая группа действительно умных людей радикально ускорила бы прогресс, особенно если они не ограничены анализом и могут заставлять вещи происходить в реальном мире (что может наша постулируемая страна гениев, в том числе направляя или помогая командам людей). (Примечание автора к тексту: Это может показаться позицией «соломенного чучела», но такие осторожные мыслители, как Тайлер Коуэн и Мэтт Иглесиас, поднимали этот вопрос как серьезную проблему, и я не думаю, что это безумие.)

Я думаю, что истина, вероятно, будет некой хаотичной смесью этих двух крайних картин, чем-то, что варьируется от задачи к задаче и от области к области и очень тонко в своих деталях. Я считаю, что нам нужны новые концептуальные рамки, чтобы продуктивно обдумывать эти детали.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная отдача от труда/земли/капитала» отражает идею о том, что в данной ситуации данный фактор может быть или не быть ограничивающим — например, военно-воздушным силам нужны и самолеты, и пилоты, и наем большего количества пилотов не сильно поможет, если у вас закончились самолеты. Я считаю, что в эпоху ИИ мы должны говорить о предельной отдаче от интеллекта*, и пытаться выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли думать таким образом — спрашивать «насколько то, что ты умнее, помогает в этой задаче и в какие сроки?» — но кажется, что это правильный способ концептуализировать мир с очень мощным ИИ. (Примечание автора к тексту: Ближайшая экономическая работа к этому вопросу, о которой я знаю, — это работа о «технологиях общего назначения» и «нематериальных инвестициях», которые служат дополнением к таким технологиям.)

Моя догадка о списке факторов, которые ограничивают интеллект или дополняют его, включает:

Скорость внешнего мира. Интеллектуальным агентам нужно интерактивно действовать в мире, чтобы достигать целей, а также учиться*. Но мир движется лишь с определенной скоростью. Клетки и животные функционируют с фиксированной скоростью, поэтому эксперименты на них занимают определенное количество времени, которое может быть неснижаемым. То же самое относится к аппаратному обеспечению, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Более того, в науке часто требуется много экспериментов последовательно, где каждый учится на предыдущем или основывается на нем. Все это означает, что скорость, с которой может быть завершен крупный проект — например, разработка лекарства от рака — может иметь неснижаемый минимум, который нельзя уменьшить дальше, даже если интеллект продолжает расти. (Примечание автора к тексту: Это обучение может включать временное обучение в контексте или традиционное обучение; и то, и другое будет ограничено скоростью физического мира.)
Потребность в данных. Иногда сырых данных не хватает, и в их отсутствие больший интеллект не помогает. Сегодняшние физики элементарных частиц очень изобретательны и разработали широкий спектр теорий, но им не хватает данных для выбора между ними, потому что данные ускорителей частиц так ограничены. Неясно, справились бы они кардинально лучше, будь они сверхразумны — разве что, возможно, ускорив строительство более крупного ускорителя.
Внутренняя сложность. Некоторые вещи по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не может предсказывать или распутывать их существенно лучше, чем человек или компьютер сегодня. Например, в хаотичной системе (такой как задача трех тел) даже невероятно мощный ИИ мог бы предсказывать в общем случае лишь незначительно дальше в будущее по сравнению с сегодняшними людьми и компьютерами*. (Примечание автора к тексту: В хаотичной системе малые ошибки экспоненциально накапливаются со временем, поэтому даже колоссальное увеличение вычислительной мощности дает лишь небольшое улучшение того, насколько далеко вперед можно делать предсказания.)
Ограничения со стороны людей. Многие вещи нельзя сделать, не нарушая законы, не причиняя вред людям или не внося хаос в общество. Согласованный (aligned) ИИ не захотел бы делать эти вещи (а если у нас несогласованный ИИ, мы возвращаемся к разговору о рисках). Многие человеческие социальные структуры неэффективны или даже активно вредны, но их трудно изменить, соблюдая такие ограничения, как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств. Примеры достижений, которые хорошо работают в техническом смысле, но чье влияние было существенно снижено правилами или неуместными страхами, включают ядерную энергетику, сверхзвуковые полеты и даже лифты.
Законы физики. Это более суровая версия первого пункта. Существуют определенные физические законы, которые кажутся незыблемыми. Невозможно двигаться быстрее света. Пудинг нельзя «размешать обратно». На квадратном сантиметре чипа может быть лишь определенное количество транзисторов, прежде чем они станут ненадежными. Вычисления требуют определенной минимальной энергии на стирание бита, что ограничивает плотность вычислений в мире.

Существует дальнейшее различие, основанное на временных масштабах. Вещи, которые являются жесткими ограничениями в краткосрочной перспективе, могут стать более податливыми интеллекту в долгосрочной. Например, интеллект мог бы использоваться для разработки новой экспериментальной парадигмы, которая позволяет нам изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, более крупный ускоритель частиц), или (в рамках этических норм) для поиска путей обхода ограничений, связанных с людьми (например, помощь в улучшении системы клинических испытаний, помощь в создании новых юрисдикций, где в клинических испытаниях меньше бюрократии, или улучшение самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешевыми).

Таким образом, мы должны представить картину, где интеллект изначально сильно ограничен другими факторами производства, но со временем сам интеллект все больше обходит эти другие факторы, даже если они никогда полностью не исчезают (а некоторые вещи, вроде законов физики, абсолютны)*. Ключевой вопрос — как быстро все это происходит и в каком порядке. (Примечание автора к тексту: Мое предположение заключается в том, что мощный ИИ будет использоваться для создания еще более мощного ИИ, но эффект от этого будет меньше, чем вы могли бы представить, именно из-за «убывающей предельной отдачи от интеллекта». Интеллект будет продолжать быстро расти, но его влияние в конечном итоге будет ограничено неинтеллектуальными факторами.)

Имея в виду вышеописанную концептуальную рамку, я попытаюсь ответить на этот вопрос для пяти областей, упомянутых во введении.

1. Биология и здоровье.

Биология — это, пожалуй, та область, где научный прогресс имеет наибольший потенциал для прямого и однозначного улучшения качества жизни человека. В прошлом веке были окончательно побеждены некоторые из древнейших человеческих недугов (такие как оспа), но многие другие все еще остаются, и победа над ними стала бы огромным гуманитарным достижением. Помимо простого лечения болезней, биологическая наука в принципе может улучшить базовое качество здоровья человека, увеличив продолжительность здоровой жизни, расширив контроль и свободу над нашими собственными биологическими процессами и решив повседневные проблемы, которые мы в настоящее время считаем неизменными составляющими человеческого бытия.

Говоря языком «ограничивающих факторов» из предыдущего раздела, основными проблемами при прямом применении интеллекта к биологии являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три фактора связаны друг с другом). Человеческие ограничения также играют роль на более позднем этапе, когда дело доходит до клинических испытаний. Давайте рассмотрим их по порядку.

Эксперименты на клетках, животных и даже химические процессы ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток, или просто ожидание протекания химических реакций, и это иногда может занимать дни или даже недели, без очевидных способов это ускорить. Эксперименты на животных могут занимать месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для исследований долгосрочных результатов). Отчасти в связи с этим часто не хватает данных — не столько количественно, сколько качественно: всегда ощущается нехватка четких, недвусмысленных данных, которые изолируют интересующий биологический эффект от других 10 000 сопутствующих процессов, или которые причинно вмешиваются в данный процесс, или которые напрямую измеряют какой-либо эффект (в отличие от вывода о его последствиях каким-либо косвенным или зашумленным способом). Даже массивные количественные молекулярные данные, такие как протеомные данные, которые я собирал во время работы над методами масс-спектрометрии, зашумлены и многое упускают (в каких типах клеток были эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Частично причиной этих проблем с данными является внутренняя сложность: если вы когда-либо видели схему, показывающую биохимию метаболизма человека, вы знаете, что очень трудно изолировать эффект от любой части этой сложной системы и еще труднее вмешаться в систему точным или предсказуемым образом. И, наконец, помимо чисто внутреннего времени, которое требуется для проведения эксперимента на людях, реальные клинические испытания сопряжены с большой бюрократией и нормативными требованиями, которые (по мнению многих людей, включая меня) добавляют ненужное дополнительное время и тормозят прогресс.

Учитывая все это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в биологии в целом. Исторически сложилось так, что математики, специалисты по информатике и физики, применявшие свои навыки в биологии в течение последних 30 лет, были весьма успешны, но не оказали того по-настоящему преобразующего воздействия, на которое первоначально надеялись. Часть скептицизма была снята благодаря крупным и революционным прорывам, таким как AlphaFold (создатели которого только что заслуженно получили Нобелевскую премию по химии) и AlphaProteo11, но по-прежнему существует мнение, что ИИ полезен (и будет полезен) только в ограниченном наборе обстоятельств. Распространенная формулировка звучит так: «ИИ может лучше анализировать ваши данные, но он не может производить больше данных или улучшать качество данных. Мусор на входе — мусор на выходе».

Но я думаю, что эта пессимистичная точка зрения рассматривает ИИ неверно. Если наша основная гипотеза о прогрессе ИИ верна, то правильнее рассматривать ИИ не как метод анализа данных, а как виртуального биолога, который выполняет все задачи, свойственные биологам, включая разработку и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто говоря людям, какие эксперименты проводить — как главный исследователь сказал бы своим аспирантам), изобретение новых биологических методов или методов измерения и так далее. Именно за счет ускорения всего исследовательского процесса в целом ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ трансформировать биологию: я не говорю об ИИ просто как об инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, управления и улучшения почти всего, что делают биологи.

Чтобы уточнить, откуда, по моему мнению, скорее всего, пойдет ускорение, отмечу: удивительно большая часть прогресса в биологии стала результатом поистине крошечного числа открытий, часто связанных с широкими инструментами или методами измерения12, которые позволяют точно, но обобщенно или программируемо вмешиваться в биологические системы. Возможно, совершается около одного такого крупного открытия в год, и в совокупности они, вероятно, обеспечивают >50% прогресса в биологии. Эти открытия так сильны именно потому, что они прорываются сквозь внутреннюю сложность и ограничения данных, напрямую расширяя наше понимание и контроль над биологическими процессами. Несколько открытий за десятилетие обеспечили основную часть нашего фундаментального научного понимания биологии и послужили толчком для многих наиболее мощных методов лечения.

Некоторые примеры включают:

CRISPR: метод, который позволяет редактировать любой ген у живых организмов (замена любой произвольной последовательности гена на любую другую произвольную последовательность). С момента разработки оригинального метода происходили постоянные улучшения с целью таргетинга на определенные типы клеток, повышения точности и сокращения числа правок неправильного гена — все это необходимо для безопасного использования у людей.
Различные виды микроскопии для наблюдения за тем, что происходит на точном уровне: современные световые микроскопы (с различными флуоресцентными методами, специальной оптикой и т.д.), электронные микроскопы, атомно-силовые микроскопы и т.д.
Секвенирование и синтез генома, стоимость которых за последние пару десятилетий снизилась на несколько порядков.
Оптогенетические методы, которые позволяют заставить нейрон активироваться, воздействуя на него светом.
мРНК-вакцины, которые, в принципе, позволяют нам разработать вакцину от чего угодно, а затем быстро адаптировать ее (мРНК-вакцины, конечно же, стали известны во время COVID).
Клеточная терапия, такая как CAR-T, которая позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, на что угодно.
Концептуальные озарения, такие как микробная теория болезней или осознание связи между иммунной системой и раком13.

Я беру на себя труд перечислить все эти технологии, потому что хочу сделать о них важнейшее заявление: я думаю, что скорость их открытия могла бы быть увеличена в 10 или более раз, если бы было гораздо больше талантливых, креативных исследователей. Иными словами, я считаю, что отдача от интеллекта для этих открытий высока, и что все остальное в биологии и медицине в основном следует из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые нам следует взять в привычку задавать, когда мы пытаемся определить «отдачу от интеллекта». Во-первых, эти открытия обычно делаются крошечным числом исследователей, часто одними и теми же людьми многократно, что указывает на навык, а не на случайный поиск (последнее могло бы означать, что ограничивающим фактором являются длительные эксперименты). Во-вторых, они часто «могли бы быть сделаны» на годы раньше: например, CRISPR был естественным компонентом иммунной системы бактерий, известным с 1980-х годов, но людям потребовалось еще 25 лет, чтобы понять, что его можно перепрофилировать для общего редактирования генов. Они также часто задерживаются на многие годы из-за отсутствия поддержки перспективных направлений со стороны научного сообщества (см. эту статью об изобретателе мРНК-вакцин; подобных историй множество). В-третьих, успешные проекты часто бывают разрозненными или являются запоздалыми идеями, которые поначалу не казались людям многообещающими, а не масштабными усилиями с огромным финансированием. Это говорит о том, что открытия обусловлены не просто массовой концентрацией ресурсов, а изобретательностью.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (вам нужно сначала сделать открытие A, чтобы получить инструменты или знания для открытия B) — что опять же может создать экспериментальные задержки — многие, возможно, большинство, независимы, а это значит, что над многими из них можно работать параллельно. Оба этих факта, а также мой общий опыт работы биологом, убедительно говорят мне о том, что сотни таких открытий ждут своего часа, если бы ученые были умнее и лучше устанавливали связи между огромным объемом биологических знаний, которыми обладает человечество (снова вспомните пример CRISPR). Успех AlphaFold/AlphaProteo в решении важных проблем гораздо эффективнее, чем у людей, несмотря на десятилетия тщательно разработанного физического моделирования, обеспечивает подтверждение концепции (хотя и с узким инструментом в узкой области), которое должно указать путь вперед.

Таким образом, я предполагаю, что мощный ИИ мог бы как минимум в 10 раз увеличить скорость этих открытий, обеспечив нам следующие 50-100 лет биологического прогресса за 5-10 лет.14

Почему не в 100 раз? Возможно, это осуществимо, но здесь становятся важными как последовательная зависимость, так и время экспериментов: чтобы получить 100 лет прогресса за 1 год, требуется, чтобы множество вещей пошли правильно с первого раза, включая эксперименты на животных и такие вещи, как проектирование микроскопов или дорогих лабораторных установок. На самом деле я открыт для (возможно, абсурдно звучащей) идеи, что мы могли бы получить 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к тому, что мы сможем получить 100 лет за 1 год. Иными словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и разработка оборудования имеют определенную «латентность» и требуют определенного «несократимого» числа итераций, чтобы узнать то, что невозможно вывести логически. Но поверх этого возможен массовый параллелизм15.

Как насчет клинических испытаний? Хотя с ними связано много бюрократии и задержек, правда заключается в том, что значительная часть (хотя далеко не вся!) их медлительности в конечном итоге проистекает из необходимости тщательной оценки лекарств, которые едва работают или работают неоднозначно. К сожалению, это верно для большинства методов лечения сегодня: среднестатистическое лекарство от рака увеличивает выживаемость на несколько месяцев, но при этом имеет значительные побочные эффекты, которые необходимо тщательно измерять (похожая история с лекарствами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и трудным компромиссам, в поиске которых регулирующие органы обычно не сильны, опять же из-за бюрократии и сложности пересекающихся интересов.

Когда что-то работает действительно хорошо, дело идет намного быстрее: существует ускоренная процедура одобрения, и легкость одобрения гораздо выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, вероятно, должны были быть одобрены за ~2 месяца. Но такого рода задержки (~1 год для лекарства от начала до конца) в сочетании с массовой параллелизацией и необходимостью в некотором, но не слишком большом количестве итераций («несколько попыток») весьма совместимы с радикальной трансформацией в течение 5-10 лет. Еще более оптимистично можно предположить, что биологическая наука с использованием ИИ уменьшит потребность в итерациях в клинических испытаниях за счет разработки лучших экспериментальных моделей на животных и клетках (или даже симуляций), которые точнее предсказывают, что произойдет с людьми. Это будет особенно важно при разработке лекарств против процесса старения, который растягивается на десятилетия и где нам нужен более быстрый цикл итераций.

Наконец, что касается клинических испытаний и социальных барьеров, стоит прямо отметить, что в некотором смысле биомедицинские инновации имеют необычайно сильный послужной список успешного внедрения, в отличие от некоторых других технологий16. Как упоминалось во введении, многие технологии тормозятся социальными факторами, несмотря на то, что технически работают хорошо. Это может навести на пессимистичный взгляд относительно того, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно громоздок, после разработки они обычно успешно внедряются и используются.

Подводя итог сказанному выше, мой основной прогноз заключается в том, что биология и медицина с использованием ИИ позволят нам сжать прогресс, которого люди-биологи достигли бы за следующие 50-100 лет, в 5-10 лет. Я буду называть это «сжатым XXI веком»: идея о том, что после разработки мощного ИИ мы за несколько лет совершим весь прогресс в биологии и медицине, который мы бы совершили за весь XXI век.

Хотя предсказывать, что сможет сделать мощный ИИ через несколько лет, по-прежнему по своей сути сложно и спекулятивно, есть некая конкретика в вопросе: «А что смогли бы сделать люди без посторонней помощи в ближайшие 100 лет?». Если просто посмотреть на то, чего мы достигли в XX веке, или экстраполировать первые 2 десятилетия XXI века, или спросить, что нам дадут «10 CRISPR и 50 CAR-T», все это предлагает практичные, обоснованные способы оценки общего уровня прогресса, которого мы могли бы ожидать от мощного ИИ.

Ниже я пытаюсь составить список того, что мы можем ожидать. Он не основан на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но он пытается передать общий уровень радикализма, который нам следует ожидать:

Надежная профилактика и лечение почти всех17 естественных инфекционных заболеваний. Учитывая колоссальные успехи в борьбе с инфекционными заболеваниями в XX веке, нет ничего радикального в том, чтобы представить, что мы могли бы более или менее «закончить работу» в рамках сжатого XXI века. мРНК-вакцины и подобные им технологии уже указывают путь к «вакцинам от всего». Будут ли инфекционные заболевания полностью искоренены в мире (а не только в некоторых местах) зависит от вопросов бедности и неравенства, которые обсуждаются в Разделе 3.
Устранение большинства видов рака. Смертность от рака снижалась примерно на 2% в год в течение последних нескольких десятилетий; таким образом, мы находимся на пути к искоренению большинства видов рака в XXI веке при нынешних темпах развития человеческой науки. Некоторые подтипы уже в значительной степени излечиваются (например, некоторые типы лейкемии с помощью CAR-T терапии), и, возможно, я еще больше воодушевлен перспективой создания очень избирательных лекарств, которые нацеливаются на рак в зачаточном состоянии и не дают ему расти. ИИ также сделает возможными режимы лечения, очень тонко адаптированные под индивидуализированный геном рака — они возможны и сегодня, но чрезвычайно дороги с точки зрения времени и человеческих знаний, и ИИ должен позволить нам их масштабировать. Кажется возможным снижение смертности и заболеваемости на 95% и более. Тем не менее, рак чрезвычайно разнообразен и адаптивен, и, вероятно, это самое сложное из подобных заболеваний для полного уничтожения. Не будет ничего удивительного, если сохранится набор редких, сложных злокачественных новообразований.
Очень эффективная профилактика и эффективные лекарства от генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, позволит предотвращать большинство генетических заболеваний, а некий более безопасный, более надежный потомок CRISPR может излечить большинство генетических заболеваний у существующих людей. Однако системные поражения организма, затрагивающие большую долю клеток, могут стать последними препятствиями.
Предотвращение болезни Альцгеймера. Нам было очень трудно понять, что вызывает болезнь Альцгеймера (это как-то связано с бета-амилоидным белком, но фактические детали, похоже, очень сложны). Похоже, это именно тот тип проблемы, который можно решить с помощью лучших инструментов измерения, изолирующих биологические эффекты; поэтому я с оптимизмом смотрю на способность ИИ решить ее. Есть хорошие шансы, что в конечном итоге ее можно будет предотвратить с помощью относительно простых вмешательств, как только мы действительно поймем, что происходит. Тем не менее, ущерб от уже существующей болезни Альцгеймера, возможно, будет очень трудно обратить вспять.
Улучшение лечения большинства других недугов. Это общая категория для других недугов, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них кажутся «более легкими» для решения, чем рак и болезнь Альцгеймера, и во многих случаях они уже находятся в стадии резкого спада. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1, уже достигли огромного прогресса в борьбе с ожирением и диабетом.
Биологическая свобода. За последние 70 лет произошли достижения в области контроля рождаемости, фертильности, контроля веса и многого другого. Но я подозреваю, что ускоренная ИИ биология значительно расширит границы возможного: вес, внешний вид, репродукция и другие биологические процессы будут полностью под контролем людей. Мы будем называть это биологической свободой: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и проживать свою жизнь так, как ему больше всего нравится. Конечно, возникнут важные вопросы о глобальном равенстве доступа; см. Раздел 3 для этого.
Удвоение продолжительности жизни человека18. Это может показаться радикальным, но в XX веке продолжительность жизни увеличилась почти в 2 раза (с ~40 лет до ~75), поэтому это «в тренде», что «сжатый XXI век» снова удвоит ее до 150. Очевидно, что вмешательства, связанные с замедлением самого процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения (в основном детских) преждевременных смертей от болезней, но масштаб изменений не является беспрецедентным19. Конкретно говоря, уже существуют препараты, увеличивающие максимальную продолжительность жизни у крыс на 25-50% с ограниченными побочными эффектами. И некоторые животные (например, некоторые виды черепах) уже живут 200 лет, поэтому люди явно не находятся на каком-то теоретическом верхнем пределе. По догадке, самым важным, что может понадобиться, могли бы стать надежные биомаркеры старения человека, неподверженные закону Гудхарта, поскольку это позволит быстро проводить итерации в экспериментах и клинических испытаниях. Как только продолжительность жизни человека достигнет 150 лет, мы, возможно, сможем достичь «скорости убегания» (escape velocity), выиграв достаточно времени, чтобы большинство из тех, кто живет сегодня, смогли жить так долго, как они захотят, хотя, конечно, нет никаких гарантий, что это биологически возможно.

Стоит посмотреть на этот список и поразмыслить о том, насколько другим будет мир, если все это будет достигнуто через 7-12 лет (что соответствовало бы агрессивному графику развития ИИ). Само собой разумеется, что это стало бы невообразимым гуманитарным триумфом, одновременным искоренением большинства бедствий, преследовавших человечество тысячелетиями. Многие из моих друзей и коллег воспитывают детей, и я надеюсь, что когда эти дети вырастут, любое упоминание о болезнях будет звучать для них так же, как цинга, оспа или бубонная чума звучат для нас. Это поколение также извлечет выгоду из возросшей биологической свободы и самовыражения, и, если повезет, также сможет жить так долго, как захочет.

Трудно переоценить, насколько неожиданными будут эти изменения для всех, кроме небольшого сообщества людей, ожидавших появления мощного ИИ. Например, тысячи экономистов и политических экспертов в США в настоящее время спорят о том, как сохранить платежеспособность систем Social Security и Medicare, и, в более широком смысле, как сдержать рост расходов на здравоохранение (которое в основном потребляется теми, кому за 70, и особенно пациентами с неизлечимыми заболеваниями, такими как рак). Ситуация для этих программ, вероятно, радикально улучшится, если все это сбудется20, поскольку соотношение населения трудоспособного возраста и пенсионеров кардинально изменится. Без сомнения, эти проблемы сменятся другими, например, как обеспечить широкий доступ к новым технологиям, но стоит задуматься о том, насколько сильно изменится мир, даже если биология окажется единственной областью, которая будет успешно ускорена ИИ.

2. Нейронаука и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, и не касался нейронауки или психического здоровья. Но нейронаука — это субдисциплина биологии, а психическое здоровье так же важно, как и физическое. На самом деле, если уж на то пошло, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, ПТСР, психопатия21 или умственная отсталость. Еще миллиарды людей борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более легкие версии одного из этих тяжелых клинических расстройств. И, как и в случае с общей биологией, возможно, удастся выйти за рамки простого решения проблем к улучшению базового качества человеческого опыта.

Базовая концептуальная рамка, которую я изложил для биологии, в равной степени применима и к нейронауке. Эта область движется вперед благодаря небольшому числу открытий, часто связанных с инструментами для измерения или точного вмешательства — в приведенном выше списке оптогенетика была открытием в нейронауке, а с недавних пор методы CLARITY и экспансионная микроскопия являются достижениями в том же духе, в дополнение ко многим общим методам клеточной биологии, которые напрямую переносятся в нейронауку. Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ, и поэтому концепция «100 лет прогресса за 5-10 лет» применима к нейронауке так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс нейронауки в XX веке был огромен — например, мы даже не понимали, как или почему нейроны генерируют импульсы (срабатывают), вплоть до 1950-х годов. Таким образом, кажется разумным ожидать, что ускоренная ИИ нейронаука приведет к быстрому прогрессу в течение нескольких лет.

К этой базовой картине следует добавить одну вещь: некоторые вещи, которые мы узнали (или узнаём) о самом ИИ за последние несколько лет, вероятно, помогут продвинуть нейронауку, даже если ею продолжат заниматься только люди. Интерпретируемость является очевидным примером: хотя биологические нейроны на первый взгляд работают совершенно иначе, чем искусственные нейроны (они общаются с помощью спайков и часто зависят от частоты спайков, поэтому присутствует элемент времени, которого нет в искусственных нейронах, и куча деталей, касающихся физиологии клеток и нейромедиаторов, существенно модифицирует их работу), базовый вопрос о том, «как распределенные, обученные сети простых элементов, выполняющих комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений», остается тем же, и я сильно подозреваю, что детали коммуникации отдельных нейронов будут абстрагированы в большинстве интересных вопросов о вычислениях и цепях22. В качестве всего лишь одного примера этого: вычислительный механизм, открытый исследователями интерпретируемости в системах ИИ, был недавно заново открыт в мозге мышей.

Проводить эксперименты на искусственных нейронных сетях гораздо проще, чем на реальных (последнее часто требует хирургического вмешательства в мозг животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейронауки. Более того, мощные ИИ, вероятно, сами смогут развивать и применять этот инструмент лучше, чем люди.

Однако, помимо простой интерпретируемости, то, что мы узнали от ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) вызвать революцию в нейронауке. Когда я работал в нейронауке, многие люди сосредотачивались на том, что я бы сейчас счел неправильными вопросами об обучении, потому что концепции «гипотезы масштабирования» / «горького урока» еще не существовало. Идея о том, что простая целевая функция плюс огромное количество данных могут управлять невероятно сложным поведением, делает более интересным понимание целевых функций и архитектурных предвзятостей, и менее интересным — понимание деталей возникающих вычислений. Я не следил внимательно за этой областью в последние годы, но у меня есть смутное ощущение, что вычислительные нейробиологи до сих пор не до конца усвоили этот урок. Мое отношение к гипотезе масштабирования всегда было таким: «ага — это объяснение на высоком уровне того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что это мнение среднестатистического нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не полностью принята даже внутри самой сферы ИИ.

Я думаю, что нейробиологи должны пытаться объединить это базовое понимание с особенностями человеческого мозга (биофизическими ограничениями, эволюционной историей, топологией, деталями моторных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые из ключевых загадок нейронауки. Некоторые, вероятно, так и делают, но я подозреваю, что этого пока недостаточно, и что ИИ-нейробиологи смогут более эффективно использовать этот ракурс для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс нейронауки по четырем различным направлениям, которые, как я надеюсь, смогут работать вместе для лечения психических заболеваний и улучшения функций:

Традиционная молекулярная биология, химия и генетика. По сути, это та же история, что и общая биология в Разделе 1, и ИИ, вероятно, может ускорить ее с помощью тех же механизмов. Существует множество лекарств, которые модулируют нейромедиаторы для изменения работы мозга, влияния на бдительность или восприятие, изменения настроения и т.д., и ИИ может помочь нам изобрести гораздо больше. ИИ, вероятно, также может ускорить исследования генетических основ психических заболеваний.
Тонкие нейронные измерения и вмешательства. Это способность измерять, что делает множество отдельных нейронов или нейронных цепей, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды — это технологии, способные как к измерениям, так и к вмешательству в живых организмах, и ряд очень передовых методов (таких как молекулярные «бегущие строки» (ticker tapes) для считывания паттернов срабатывания большого числа отдельных нейронов) также были предложены и кажутся принципиально возможными.
Продвинутая вычислительная нейронаука. Как отмечалось выше, и конкретные идеи, и гештальт современного ИИ, вероятно, могут быть плодотворно применены к вопросам системной нейронауки, включая, возможно, раскрытие реальных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.
Поведенческие вмешательства. Я не слишком часто упоминал это, учитывая акцент на биологической стороне нейронауки, но психиатрия и психология, конечно же, разработали широкий репертуар поведенческих вмешательств на протяжении XX века; логично предположить, что ИИ мог бы ускорить и их — как разработку новых методов, так и помощь пациентам в соблюдении существующих методов. В более широком смысле, идея «ИИ-тренера», который всегда помогает вам быть лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется очень многообещающей.

Я предполагаю, что совместная работа этих четырех направлений прогресса, как и в случае с физическими заболеваниями, шла бы по пути к излечению или профилактике большинства психических заболеваний в следующие 100 лет, даже если бы ИИ не был вовлечен — и, следовательно, может быть разумным образом завершена за 5-10 лет ускоренного ИИ развития. Если говорить конкретно, я предполагаю, что произойдет что-то вроде этого:

Большинство психических заболеваний, вероятно, можно будет вылечить. Я не эксперт в психиатрических заболеваниях (свое время в нейронауке я посвятил созданию зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как ПТСР, депрессия, шизофрения, зависимости и т.д., могут быть поняты и очень эффективно излечены с помощью некоторой комбинации четырех вышеуказанных направлений. Ответ, вероятно, будет представлять собой некую комбинацию «что-то пошло не так на биохимическом уровне» (хотя это может быть очень сложно) и «что-то пошло не так с нейронной сетью на высоком уровне». То есть это вопрос системной нейронауки — хотя это не отрицает влияния поведенческих вмешательств, обсуждавшихся выше. Инструменты для измерения и вмешательства, особенно на живых людях, похоже, приведут к быстрой итерации и прогрессу.
Состояния, которые являются очень «структурными», могут оказаться более сложными, но не невозможными. Есть некоторые доказательства того, что психопатия связана с очевидными нейроанатомическими различиями — что некоторые области мозга у психопатов просто меньше или менее развиты. Также считается, что психопатам не хватает эмпатии с раннего возраста; что бы ни отличалось в их мозге, вероятно, так было всегда. То же самое может быть справедливо для некоторых нарушений интеллекта и, возможно, других состояний. Реструктуризация мозга звучит сложно, но это также кажется задачей с высокой отдачей от интеллекта. Возможно, есть какой-то способ перевести мозг взрослого человека в более раннее или более пластичное состояние, где его можно будет изменить. Я очень не уверен, насколько это возможно, но инстинкт подсказывает мне с оптимизмом смотреть на то, что ИИ может здесь изобрести.
Эффективная генетическая профилактика психических заболеваний кажется возможной.Большинство психических заболеваний частично наследуются, и полногеномные исследования ассоциаций (GWAS) начинают набирать обороты в выявлении соответствующих факторов, которых часто бывает много. Вероятно, большинство из этих заболеваний можно будет предотвратить с помощью скрининга эмбрионов, аналогично истории с физическими заболеваниями. Одно отличие состоит в том, что психиатрические заболевания с большей вероятностью являются полигенными (свой вклад вносят многие гены), поэтому из-за сложности возрастает риск неосознанной селекции против положительных черт, которые коррелируют с заболеванием. Однако, как ни странно, в последние годы исследования GWAS, похоже, предполагают, что эти корреляции могли быть преувеличены. В любом случае, ускоренная ИИ нейронаука может помочь нам во всем этом разобраться. Конечно, скрининг эмбрионов на сложные признаки поднимает ряд социальных проблем и будет спорным, хотя я бы предположил, что большинство людей поддержат скрининг на тяжелые или изнурительные психические заболевания.
Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены.У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются достигающими уровня клинического заболевания. Некоторые люди вспыльчивы, другим трудно сосредоточиться или они часто сонливы, некоторые боязливы или тревожны, или плохо реагируют на перемены. Сегодня уже существуют лекарства, помогающие, например, с бодростью или концентрацией (кофеин, модафинил, риталин), но, как и во многих других предыдущих областях, гораздо большее, вероятно, будет возможным. Вероятно, существует гораздо больше таких препаратов, которые еще не были открыты, и могут появиться совершенно новые методы вмешательства, такие как направленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в XX веке, которые настраивают когнитивные функции и эмоциональное состояние, я с большим оптимизмом смотрю на «сжатый XXI век», в котором каждый сможет заставить свой мозг работать немного лучше и сделать свой повседневный опыт более полноценным.
Базовый человеческий опыт может стать намного лучше. Делая еще один шаг вперед: многие люди переживали необычайные моменты озарения, творческого вдохновения, сострадания, самореализации, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку и у одного и того же человека в разное время, а иногда они также могут быть вызваны различными препаратами (хотя часто и с побочными эффектами). Все это говорит о том, что «пространство того, что возможно испытать» очень широко, и что большая часть жизни людей могла бы состоять из этих необычных моментов. Вероятно, также возможно повсеместно улучшить различные когнитивные функции. Это, пожалуй, нейробиологическая версия «биологической свободы» или «увеличенной продолжительности жизни».

Одной из тем, которая часто всплывает в научно-фантастических изображениях ИИ, но которую я намеренно здесь не обсуждал, является «загрузка разума» (mind uploading) — идея запечатления паттерна и динамики человеческого мозга и воплощения их в программном обеспечении. Эта тема могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я считаю загрузку почти наверняка возможной в принципе, на практике она сталкивается со значительными технологическими и социальными проблемами, даже при наличии мощного ИИ, которые, вероятно, выводят ее за рамки обсуждаемого нами 5-10-летнего окна.

Вкратце, ускоренная ИИ нейронаука, скорее всего, значительно улучшит лечение или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и ментальную свободу» и когнитивные и эмоциональные способности человека. Это будет столь же радикально, как и улучшения физического здоровья, описанные в предыдущем разделе. Возможно, мир не будет выглядеть иначе снаружи, но мир, каким его воспринимают люди, станет гораздо лучшим и более гуманным местом, а также местом, которое предлагает больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья смягчит множество других социальных проблем, в том числе тех, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Предыдущие два раздела были посвящены разработке новых технологий, которые лечат болезни и улучшают качество человеческой жизни. Однако с гуманитарной точки зрения возникает очевидный вопрос: «У всех ли будет доступ к этим технологиям?».

Одно дело — разработать лекарство от болезни, и совсем другое — искоренить эту болезнь во всем мире. В более широком смысле, многие существующие медицинские вмешательства еще не применяются повсеместно, и то же самое касается (немедицинских) технологических улучшений в целом. Иными словами, уровень жизни во многих частях света по-прежнему остается отчаянно низким: ВВП на душу населения в странах Африки к югу от Сахары составляет около 2000 долларов по сравнению с ~75 000 долларов в Соединенных Штатах. Если ИИ еще больше увеличит экономический рост и качество жизни в развитом мире, но мало чем поможет развивающемуся миру, мы должны будем рассматривать это как ужасный моральный провал и пятно на подлинных гуманитарных победах из предыдущих двух разделов. В идеале мощный ИИ должен помочь развивающемуся миру догнать развитый, даже если он революционизирует последний.

Я не так уверен в том, что ИИ сможет решить проблему неравенства и экономического роста, как в том, что он сможет изобретать фундаментальные технологии, потому что технология имеет столь очевидную высокую отдачу от интеллекта (включая способность обходить сложности и нехватку данных), тогда как экономика включает в себя множество ограничений со стороны людей, а также большую долю внутренней сложности. Я несколько скептически отношусь к тому, что ИИ смог бы решить знаменитую «проблему социалистического расчета»23, и я не думаю, что правительства передадут (или должны передавать) свою экономическую политику такой сущности, даже если бы она могла это сделать. Существуют также проблемы, например, как убедить людей принимать методы лечения, которые эффективны, но к которым они могут относиться с подозрением.

Проблемы, с которыми сталкивается развивающийся мир, еще более усложняются повсеместной коррупцией как в частном, так и в государственном секторах. Коррупция создает порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает новую коррупцию. Основанные на ИИ планы экономического развития должны будут учитывать коррупцию, слабые институты и другие сугубо человеческие проблемы.

Тем не менее, я действительно вижу веские причины для оптимизма. Болезни уже искоренялись, и многие страны уже проходили путь от бедности к богатству, и очевидно, что решения, принимаемые в этих задачах, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Поэтому ИИ, вероятно, сможет выполнять их лучше, чем они выполняются в настоящее время. Могут также существовать целевые вмешательства, которые обходят человеческие ограничения и на которых ИИ мог бы сосредоточиться. Но что еще более важно, мы должны попытаться. Как ИИ-компаниям, так и политикам развитых стран нужно будет внести свой вклад, чтобы гарантировать, что развивающийся мир не останется в стороне; моральный долг слишком велик. Поэтому в этом разделе я продолжу приводить оптимистичные аргументы, но прошу везде иметь в виду, что успех не гарантирован и зависит от наших общих усилий.

Ниже я делаю некоторые догадки о том, как, по моему мнению, могут развиваться события в развивающемся мире в течение 5-10 лет после создания мощного ИИ:

Распределение медицинских вмешательств. Область, в которой я, возможно, настроен наиболее оптимистично, — это распространение медицинских вмешательств по всему миру. Болезни действительно искоренялись с помощью кампаний, инициированных сверху: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и ришта почти искоренены, регистрируется менее 100 случаев в год. Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и кажется очень вероятным, что у систем ИИ, превосходящих человеческий интеллект, есть потенциал справляться с этим лучше, чем люди. Логистика распределения, вероятно, также может быть значительно оптимизирована. Как ранний донор GiveWell, я усвоил одну вещь: некоторые благотворительные организации в сфере здравоохранения намного эффективнее других; есть надежда, что усилия, ускоренные ИИ, будут еще эффективнее. Кроме того, некоторые биологические достижения на самом деле значительно упрощают логистику распределения: например, малярию трудно искоренить, потому что она требует лечения каждый раз при заражении; вакцина, которую нужно ввести только один раз, делает логистику намного проще (и такие вакцины от малярии фактически разрабатываются в настоящее время). Возможны и еще более простые механизмы распространения: некоторые болезни в принципе можно искоренить, воздействуя на их животных-переносчиков, например, выпуская комаров, зараженных бактерией, которая блокирует их способность переносить болезнь (и которые затем заражают всех остальных комаров), или просто используя генный драйв для уничтожения комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании по индивидуальному лечению миллионов. В целом, я думаю, что 5-10 лет — это разумный срок для того, чтобы значительная часть (возможно, 50%) преимуществ здравоохранения, стимулируемых ИИ, распространилась даже на самые бедные страны мира. Хорошей целью для развивающегося мира через 5-10 лет после появления мощного ИИ могло бы стать, по крайней мере, достижение значительно более высокого уровня здоровья, чем в развитом мире сегодня, даже если он продолжит отставать от развитых стран. Достижение этой цели, конечно, потребует огромных усилий в области глобального здравоохранения, благотворительности, политической защиты и многих других сферах, в чем разработчики ИИ и политики должны помочь.
Экономический рост. Сможет ли развивающийся мир быстро догнать развитый не только в сфере здравоохранения, но и по всем экономическим показателям? Для этого есть прецеденты: в последние десятилетия XX века несколько экономик Восточной Азии достигли устойчивых темпов роста реального ВВП на уровне ~10% в год, что позволило им догнать развитый мир. Люди, занимавшиеся экономическим планированием, принимали решения, которые привели к этому успеху, не путем прямого контроля над целыми экономиками, а путем использования нескольких ключевых рычагов (таких как промышленная политика роста, ориентированного на экспорт, и сопротивление искушению полагаться на богатство природных ресурсов); вполне правдоподобно, что «ИИ-министры финансов и руководители центральных банков» могли бы повторить или превзойти это 10-процентное достижение. Важный вопрос заключается в том, как заставить правительства развивающихся стран принять их, уважая при этом принцип самоопределения: некоторые могут воспринять это с энтузиазмом, но другие, вероятно, отнесутся к этому скептически. Если говорить об оптимистичной стороне, многие медицинские вмешательства из предыдущего пункта, вероятно, органично ускорят экономический рост: искоренение СПИДа, малярии и паразитарных червей оказало бы преобразующее воздействие на производительность, не говоря уже об экономических выгодах, которые принесли бы некоторые нейробиологические вмешательства (такие как улучшение настроения и концентрации) как в развитом, так и в развивающемся мирах. Наконец, немедицинские технологии, ускоренные ИИ (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, лучшая логистика и распределение и т. д.), могут просто естественным образом проникнуть в мир; например, даже сотовые телефоны быстро проникли в Африку к югу от Сахары с помощью рыночных механизмов, не требуя благотворительных усилий. С более негативной стороны, хотя ИИ и автоматизация имеют много потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые еще не прошли индустриализацию. Поиск способов гарантировать, что эти страны все еще смогут развиваться и улучшать свою экономику в эпоху растущей автоматизации, является важной задачей, которую предстоит решить экономистам и политикам. В целом, сценарием мечты — возможно, целью, к которой следует стремиться, — стали бы темпы роста ВВП в развивающемся мире на 20% в год, где по 10% приходилось бы на экономические решения на основе ИИ и на естественное распространение ускоренных ИИ технологий, включая здоровье, но не ограничиваясь им. Если бы это было достигнуто, то через 5-10 лет Африка к югу от Сахары достигла бы нынешнего ВВП Китая на душу населения, а большая часть остального развивающегося мира поднялась бы до уровня выше нынешнего ВВП США. Опять же, это сценарий мечты, а не то, что произойдет по умолчанию: это то, над чем мы все должны работать вместе, чтобы сделать это более вероятным.
Продовольственная безопасность24. Достижения в области сельскохозяйственных технологий, такие как лучшие удобрения и пестициды, большая автоматизация и более эффективное землепользование, резко увеличили урожайность на протяжении XX века, спасая миллионы людей от голода. В настоящее время генная инженерия еще больше улучшает многие культуры. Поиск еще большего числа способов сделать это — а также сделать сельскохозяйственные цепочки поставок еще более эффективными — мог бы дать нам вторую «Зеленую революцию», управляемую ИИ, которая поможет сократить разрыв между развивающимся и развитым миром.
Смягчение последствий изменения климата. Изменение климата будет ощущаться гораздо сильнее в развивающемся мире, препятствуя его развитию. Мы можем ожидать, что ИИ приведет к улучшению технологий, которые замедляют или предотвращают изменение климата, от технологий удаления углерода из атмосферы и экологически чистой энергии до выращенного в лаборатории мяса, которое снижает нашу зависимость от углеродоемкого промышленного животноводства. Конечно, как обсуждалось выше, технология — не единственное, что ограничивает прогресс в борьбе с изменением климата; как и во всех других проблемах, обсуждаемых в этом эссе, важны человеческие социальные факторы. Но есть веские основания полагать, что исследования, дополненные ИИ, дадут нам средства, позволяющие сделать смягчение последствий изменения климата гораздо менее дорогостоящим и разрушительным, сделав многие возражения неактуальными и высвободив развивающимся странам ресурсы для большего экономического прогресса.
Неравенство внутри стран. В основном я говорил о неравенстве как о глобальном явлении (и я действительно считаю, что это его самое важное проявление), но неравенство, конечно, существует и внутри стран. С развитием передовых медицинских вмешательств и особенно радикальным увеличением продолжительности жизни или препаратов для улучшения когнитивных функций, безусловно, возникнут обоснованные опасения, что эти технологии будут «только для богатых». Я более оптимистично смотрю на неравенство внутри стран, особенно в развитом мире, по двум причинам. Во-первых, рынки лучше работают в развитом мире, и рынки обычно хорошо справляются со снижением стоимости дорогостоящих технологий с течением времени25. Во-вторых, политические институты развитого мира более чутко реагируют на запросы своих граждан и обладают большими государственными возможностями для реализации программ всеобщего доступа — и я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни. Конечно, успех таких требований не предопределен — и это еще одна область, где мы все вместе должны сделать все возможное, чтобы обеспечить справедливое общество. Существует отдельная проблема неравенства богатства (в отличие от неравенства доступа к технологиям, спасающим жизнь и улучшающим ее качество), которая кажется более сложной и которую я обсуждаю в Разделе 5.
Проблема «отказа» (opt-out). Одна из проблем, вызывающих обеспокоенность как в развитых, так и в развивающихся странах, заключается в том, что люди отказываются от благ, предоставляемых ИИ (подобно движению против вакцин или движениям луддитов в более широком смысле). В конечном итоге могут возникнуть порочные циклы, когда, например, люди, наименее способные принимать правильные решения, отказываются именно от тех технологий, которые улучшают их способности принимать решения, что приведет к постоянно растущему разрыву и даже созданию антиутопического низшего класса (некоторые исследователи утверждают, что это подорвет демократию — эту тему я подробнее обсуждаю в следующем разделе). Это в очередной раз бросило бы моральную тень на позитивные достижения ИИ. Это сложная проблема, так как я не считаю этичным принуждать людей, но мы, по крайней мере, можем попытаться повысить уровень их научного понимания — и, возможно, сам ИИ сможет нам в этом помочь. Одним из обнадеживающих признаков является то, что исторически антитехнологические движения больше «лаяли, чем кусали»: критиковать современные технологии популярно, но в конечном итоге большинство людей принимают их, по крайней мере, когда это вопрос личного выбора. Люди, как правило, принимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно сталкиваются с препятствиями, такие как ядерная энергетика, обычно являются объектом коллективных политических решений.

В целом, я с оптимизмом смотрю на возможность быстрого донесения биологических достижений ИИ до людей в развивающемся мире. Я надеюсь, хотя и не уверен, что ИИ также сможет обеспечить беспрецедентные темпы экономического роста и позволит развивающемуся миру по крайней мере превзойти нынешний уровень развитого мира. Меня беспокоит проблема «отказа» как в развитом, так и в развивающемся мирах, но я подозреваю, что со временем она сойдет на нет и что ИИ сможет помочь ускорить этот процесс. Это не будет идеальный мир, и отстающие не смогут полностью догнать остальных, по крайней мере в первые несколько лет. Но прилагая значительные усилия с нашей стороны, мы, возможно, сможем направить ситуацию в правильное русло — и быстро. Если мы это сделаем, мы сможем внести по крайней мере первый взнос в счет тех обещаний достоинства и равенства, которые мы в долгу перед каждым человеком на Земле.

4. Мир и управление

Предположим, что все в первых трех разделах идет хорошо: болезни, бедность и неравенство значительно сокращены, а базовый уровень человеческого опыта существенно повышен. Из этого не следует, что все основные причины человеческих страданий решены. Люди по-прежнему представляют угрозу друг для друга. Хотя существует тенденция, при которой технологические улучшения и экономическое развитие ведут к демократии и миру, это очень слабая тенденция с частыми (и недавними) откатами назад. На заре XX века люди думали, что оставили войну позади; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «Конце истории» и окончательном триумфе либеральной демократии; этого до сих пор не произошло. Двадцать лет назад американские политики верили, что свободная торговля с Китаем заставит его либерализоваться по мере обогащения; этого совсем не произошло, и теперь мы, похоже, движемся ко второй холодной войне с возрождающимся авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии на самом деле могут давать преимущество авторитаризму, а не демократии, как считалось изначально (например, в период «Арабской весны»). Кажется важным попытаться понять, как мощный ИИ будет пересекаться с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских причин полагать, что ИИ будет предпочтительно или структурно продвигать демократию и мир так же, как, по моему мнению, он структурно продвинет здоровье человека и смягчит бедность. Человеческий конфликт носит состязательный характер, и ИИ в принципе может помочь как «хорошим», так и «плохим» парням. Более того, некоторые структурные факторы кажутся тревожными: ИИ, по-видимому, сделает возможными гораздо более совершенную пропаганду и слежку — оба главных инструмента в арсенале автократа. Поэтому мы, как отдельные действующие лица, должны склонить чашу весов в правильном направлении: если мы хотим, чтобы ИИ способствовал демократии и индивидуальным правам, нам придется бороться за этот результат. Я чувствую это даже сильнее, чем в отношении международного неравенства: триумф либеральной демократии и политическая стабильность не гарантированы, возможно, даже маловероятны, и потребуют огромных жертв и самоотдачи от всех нас, как это часто бывало в прошлом.

Я рассматриваю эту проблему как состоящую из двух частей: международный конфликт и внутреннее устройство государств. На международном уровне кажется очень важным, чтобы демократии имели преимущество на мировой арене при создании мощного ИИ. Авторитаризм, усиленный ИИ, кажется слишком ужасным, чтобы о нем думать, поэтому демократии должны иметь возможность устанавливать условия, на которых мощный ИИ придет в мир, как для того, чтобы избежать порабощения автократами, так и для предотвращения нарушений прав человека внутри авторитарных стран.

В настоящее время моя догадка о лучшем способе сделать это — через «стратегию Антанты»26, в которой коалиция демократий стремится получить явное преимущество (даже если только временное) в области мощного ИИ путем обеспечения безопасности своей цепочки поставок, быстрого масштабирования и блокирования или задержки доступа противников к ключевым ресурсам, таким как чипы и полупроводниковое оборудование. Эта коалиция, с одной стороны, использовала бы ИИ для достижения надежного военного превосходства (кнут), в то же время предлагая распределить преимущества мощного ИИ (пряник) все более широкой группе стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного похоже на программу «Атом ради мира»). Коалиция стремилась бы заручиться поддержкой все большей части мира, изолируя наших худших противников и в конечном итоге ставя их в положение, когда им будет выгоднее пойти на ту же сделку, что и остальному миру: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не сражаться с превосходящим врагом.

Если мы сможем сделать все это, мы получим мир, в котором демократии лидируют на мировой арене и обладают экономической и военной мощью, позволяющей избежать подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут превратить свое превосходство в области ИИ в долговременное преимущество. Оптимистично это могло бы привести к «вечному 1991 году» — миру, в котором демократии имеют преимущество, и мечты Фукуямы реализуются. Опять же, этого будет очень трудно достичь, и это потребует, в частности, тесного сотрудничества между частными ИИ-компаниями и демократическими правительствами, а также чрезвычайно мудрых решений о балансе между кнутом и пряником.

Даже если все это пойдет хорошо, остается вопрос о борьбе между демократией и автократией внутри каждой страны. Очевидно, трудно предсказать, что здесь произойдет, но у меня есть некоторый оптимизм по поводу того, что при глобальной обстановке, в которой демократии контролируют самый мощный ИИ, ИИ может на самом деле структурно благоприятствовать демократии повсюду. В частности, в этой среде демократические правительства могут использовать свой превосходящий ИИ для победы в информационной войне: они могут противодействовать операциям влияния и пропаганде со стороны автократий и даже, возможно, смогут создать глобально свободную информационную среду, предоставляя каналы информации и услуги ИИ таким образом, что у автократий не будет технических возможностей для их блокировки или мониторинга. Вероятно, нет необходимости распространять пропаганду, нужно лишь противодействовать злонамеренным атакам и разблокировать свободный поток информации. Хотя это произойдет не сразу, такие равные условия имеют хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни в Разделах 1-3 должно, при прочих равных условиях, способствовать развитию демократии: исторически так и было, по крайней мере в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования будет способствовать демократии, поскольку все три фактора отрицательно коррелируют с поддержкой авторитарных лидеров. В целом, люди хотят больше самовыражения, когда их другие потребности удовлетворены, а демократия, помимо прочего, является формой самовыражения. Наоборот, авторитаризм процветает на страхе и обиде.

Во-вторых, есть хороший шанс, что свободная информация действительно подрывает авторитаризм, если автократы не могут ее подвергнуть цензуре. А нецензурируемый ИИ также может дать людям мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, отказывая людям в определенном виде общего знания, не давая им понять, что «король-то голый». Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения автократов их власти, разрушения чар и сплочения поддержки против диктатора. Сверхчеловечески эффективная ИИ-версия Поповича (чья квалификация, похоже, имеет высокую отдачу от интеллекта) в кармане каждого, та, которую диктаторы бессильны заблокировать или подвергнуть цензуре, могла бы создать попутный ветер для диссидентов и реформаторов по всему миру. Повторюсь, это будет долгая и затяжная борьба, победа в которой не гарантирована, но если мы спроектируем и создадим ИИ правильным образом, это может, по крайней мере, стать борьбой, в которой сторонники свободы повсюду будут иметь преимущество.

Как и в случае с нейробиологией и биологией, мы также можем спросить, как все могло бы быть «лучше, чем обычно» — не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже в демократических странах несправедливость случается постоянно. Общества, основанные на верховенстве закона, обещают своим гражданам, что все будут равны перед законом, и каждый имеет право на основные права человека, но очевидно, что на практике люди не всегда получают эти права. То, что это обещание выполняется хотя бы частично, уже повод для гордости, но может ли ИИ помочь нам действовать лучше?

Например, мог бы ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся в правовом или судебном контексте, что системы ИИ станут причиной дискриминации, и эти опасения важны, и от них нужно защищаться. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только от реагирования на риски. Поистине зрелое и успешное внедрение ИИ имеет потенциал для уменьшения предвзятости и обеспечения большей справедливости для всех.

Столетиями правовые системы сталкивались с дилеммой: закон стремится быть беспристрастным, но он по своей сути субъективен и поэтому должен интерпретироваться предвзятыми людьми. Попытки сделать закон полностью механическим не увенчались успехом, потому что реальный мир запутан и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как «жестокое и необычное наказание» или «полностью лишенное какой-либо общественной ценности», которые затем интерпретируются людьми — и часто это делается таким образом, что проявляется предвзятость, фаворитизм или произвол. «Умные контракты» в криптовалютах не произвели революцию в праве, потому что обычный код недостаточно умен, чтобы судить обо всем, что представляет интерес. Но ИИ может оказаться достаточно умным для этого: это первая технология, способная выносить широкие, нечеткие суждения повторяемым и механическим образом.

Я не предлагаю буквально заменить судей системами ИИ, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира, кажется, должно иметь серьезные положительные применения в законе и правосудии. По крайней мере, такие системы могли бы работать вместе с людьми в качестве помощника в принятии решений. В любой такой системе будет важна прозрачность, и зрелая наука об ИИ могла бы ее обеспечить: процесс обучения таких систем мог бы быть всесторонне изучен, а передовые методы интерпретируемости могли бы использоваться, чтобы заглянуть внутрь финальной модели и оценить ее на наличие скрытых предубеждений, что просто невозможно сделать с людьми. Такие инструменты ИИ также могли бы использоваться для мониторинга нарушений основных прав в судебном или полицейском контексте, делая конституции более самоисполняемыми.

В том же духе ИИ можно было бы использовать как для агрегирования мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска точек соприкосновения и компромиссов. Некоторые ранние идеи в этом направлении были предприняты проектом вычислительной демократии, включая сотрудничество с Anthropic. Более информированные и вдумчивые граждане, очевидно, укрепили бы демократические институты.

Существует также явная возможность использования ИИ для помощи в предоставлении государственных услуг — таких как медицинские льготы или социальные услуги, — которые в принципе доступны всем, но на практике часто серьезно недостаточны и в одних местах работают хуже, чем в других. Сюда входят медицинские услуги, Департамент автотранспорта (DMV), налоги, социальное обеспечение, контроль за соблюдением строительных норм и так далее. Наличие очень вдумчивого и информированного ИИ, чья работа заключается в том, чтобы предоставить вам все, на что вы по закону имеете право от государства, понятным для вас способом, — и который также помогает вам соблюдать часто запутанные государственные правила, — было бы огромным достижением. Повышение потенциала государства помогает как выполнить обещание о равенстве перед законом, так и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основным фактором циничного отношения к правительству27.

Все это несколько расплывчатые идеи, и, как я сказал в начале этого раздела, я далеко не так уверен в их осуществимости, как в достижениях биологии, нейробиологии и сокращении бедности. Они могут быть нереалистично утопичными. Но важно иметь амбициозное видение, быть готовым мечтать по-крупному и пробовать новое. Видение ИИ как гаранта свободы, индивидуальных прав и равенства перед законом — это слишком мощное видение, чтобы за него не бороться. Политика XXI века с использованием ИИ могла бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, который поможет сделать либеральную демократию той формой правления, которую захочет принять весь мир.

5. Работа и смысл жизни

Даже если все в предыдущих четырех разделах пойдет хорошо — мы не только избавимся от болезней, бедности и неравенства, но и либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут лучшими версиями самих себя — по крайней мере один важный вопрос все еще остается. «Здорово, что мы живем в таком технологически продвинутом мире, а также справедливом и достойном, — может кто-то возразить, — но если ИИ будет делать все, в чем люди будут находить смысл? Если на то пошло, как они вообще выживут экономически?».

Я считаю этот вопрос более сложным, чем остальные. Я не имею в виду, что я обязательно настроен более пессимистично по этому поводу, чем по другим вопросам (хотя я и вижу проблемы). Я имею в виду, что он более расплывчат и его сложнее предсказать заранее, потому что он касается макроскопических вопросов о том, как организовано общество, которые обычно решаются только со временем и децентрализованным образом. Например, исторические общества охотников-собирателей могли бы вообразить, что жизнь бессмысленна без охоты и различных видов религиозных ритуалов, связанных с охотой, и сочли бы, что наше сытое технологическое общество лишено цели. Они также могли бы не понять, как наша экономика может обеспечить всех, или какую полезную функцию люди могут выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, при этом имея в виду, что краткость этого раздела вовсе не следует воспринимать как признак того, что я не отношусь к этим проблемам серьезно — напротив, это признак отсутствия ясных ответов.

Что касается вопроса о смысле, я думаю, что с большой вероятностью ошибочно полагать, что задачи, за которые вы беретесь, бессмысленны просто потому, что ИИ мог бы выполнить их лучше. Большинство людей ни в чем не являются лучшими в мире, и это их не особенно беспокоит. Конечно, сегодня они все еще могут вносить свой вклад благодаря сравнительному преимуществу и могут черпать смысл из производимой ими экономической ценности, но люди также получают огромное удовольствие от занятий, которые не приносят никакой экономической выгоды. Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и разговаривая с друзьями, и все это генерирует нулевую экономическую ценность. Я мог бы потратить день, пытаясь стать лучше в видеоигре или быстрее подняться на гору на велосипеде, и для меня не имеет особого значения, что кто-то где-то намного лучше в этих вещах. В любом случае, я думаю, что смысл в основном проистекает из человеческих отношений и связей, а не из экономического труда. Люди действительно хотят испытывать чувство достижения, даже чувство соревнования, и в мире после ИИ будет совершенно возможно тратить годы на выполнение какой-то очень сложной задачи со сложной стратегией, подобно тому, что люди делают сегодня, когда они приступают к исследовательским проектам, пытаются стать голливудскими актерами или основывают компании28. Тот факт, что (а) где-то ИИ мог бы в принципе выполнить эту задачу лучше, и (б) эта задача больше не является экономически вознаграждаемым элементом глобальной экономики, не кажется мне очень важным.

Экономическая часть на самом деле кажется мне более сложной, чем часть о смысле. Под «экономической» в этом разделе я подразумеваю возможную проблему того, что большинство или все люди не смогут вносить значимый вклад в достаточно развитую экономику, управляемую ИИ. Это более макроскопическая проблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в Разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество по-прежнему будет сохранять востребованность людей и фактически повышать их производительность, и даже может в некотором роде уравнять шансы между людьми. Пока ИИ лишь на 90% лучше справляется с данной работой, остальные 10% приведут к тому, что человеческий труд получит высокий рычаг влияния, что повысит компенсацию и фактически создаст кучу новых рабочих мест для людей, дополняющих и усиливающих то, в чем хорош ИИ, так что эти «10%» расширятся и продолжат обеспечивать занятость почти всех. Фактически, даже если ИИ сможет выполнять 100% задач лучше людей, но останется неэффективным или дорогим в некоторых задачах, или если ресурсы, необходимые людям и ИИ, будут существенно различаться, логика сравнительного преимущества продолжит применяться. Одной из областей, где люди, вероятно, будут сохранять относительное (или даже абсолютное) преимущество в течение значительного времени, является физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже немного после того момента, когда мы достигнем «страны гениев в дата-центре».

Однако я действительно думаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и настолько дешевым, что это больше не будет применяться. В этот момент наше нынешнее экономическое устройство больше не будет иметь смысла, и возникнет необходимость в более широкой общественной дискуссии о том, как должна быть организована экономика.

Хотя это может звучать безумно, факт в том, что цивилизация в прошлом успешно преодолевала крупные экономические сдвиги: от охоты и собирательства к земледелию, от земледелия к феодализму, и от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и более странное, и что это нечто такое, что никто сегодня еще не смог хорошо себе представить. Это может быть так же просто, как крупный безусловный базовый доход для всех, хотя я подозреваю, что это будет лишь небольшой частью решения. Это могла бы быть капиталистическая экономика ИИ-систем, которые затем будут раздавать ресурсы (в огромных количествах, поскольку общий экономический пирог будет гигантским) людям на основе некой вторичной экономики того, что ИИ-системы сочтут целесообразным поощрять в людях (на основе некоего суждения, в конечном итоге вытекающего из человеческих ценностей). Возможно, экономика будет работать на баллах Whuffie (прим. пер. — рейтинг репутации). Или, возможно, люди в конце концов продолжат быть экономически ценными каким-то образом, не предусмотренным обычными экономическими моделями. Все эти решения имеют массу возможных проблем, и невозможно узнать, будут ли они иметь смысл, без множества итераций и экспериментов. И как и в случае с некоторыми другими вызовами, нам, вероятно, придется бороться, чтобы получить здесь хороший результат: эксплуататорские или антиутопические направления также явно возможны и должны быть предотвращены. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это когда-нибудь позже.

Подведение итогов

Охватывая различные темы выше, я попытался изложить видение мира, который является одновременно правдоподобным, если все с ИИ пойдет хорошо, и намного лучшим, чем сегодняшний мир. Я не знаю, реалистичен ли этот мир, и даже если так, он не будет достигнут без огромных усилий и борьбы многих смелых и преданных делу людей. Каждому (включая ИИ-компании!) нужно будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если все это действительно произойдет за 5–10 лет — поражение большинства болезней, рост биологической и когнитивной свободы, избавление миллиардов людей от нищеты, чтобы они могли приобщиться к новым технологиям, ренессанс либеральной демократии и прав человека — я подозреваю, что все наблюдающие за этим будут удивлены тем эффектом, который это на них окажет. Я не имею в виду опыт личного извлечения выгоды из всех новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как давний набор идеалов материализуется перед нами всеми сразу. Я думаю, что многих это в буквальном смысле доведет до слез.

На протяжении всего процесса написания этого эссе я замечал интересное противоречие. В одном смысле изложенное здесь видение является чрезвычайно радикальным: это не то, чего почти кто-либо ожидает в следующем десятилетии, и многим оно, вероятно, покажется абсурдной фантазией. Некоторые могут даже не счесть это желательным; оно воплощает ценности и политический выбор, с которыми не все согласятся. Но в то же время в этом есть что-то ослепительно очевидное — что-то предопределенное — как если бы множество разных попыток представить хороший мир неизбежно вели примерно сюда.

В романе Иэна М. Бэнкса «Игрок»29 главный герой — член общества под названием Культура, которое основано на принципах, мало чем отличающихся от тех, что я изложил здесь — отправляется в репрессивную милитаристскую империю, в которой лидерство определяется соревнованием в сложной боевой игре. Игра, однако, достаточно сложна, чтобы стратегия игрока в ней, как правило, отражала его собственное политическое и философское мировоззрение. Главному герою удается победить императора в игре, показав, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанном на безжалостной конкуренции и выживании наиболее приспособленных. В известном посте Скотта Александера высказывается тот же тезис — что конкуренция саморазрушительна и имеет тенденцию приводить к обществу, основанному на сострадании и сотрудничестве. «Дуга моральной вселенной» — еще одна похожая концепция.

Я думаю, что ценности Культуры — это выигрышная стратегия, потому что они представляют собой сумму миллионов небольших решений, которые обладают явной моральной силой и имеют тенденцию объединять всех на одной стороне. С базовыми человеческими интуициями о справедливости, сотрудничестве, любознательности и автономии трудно спорить, и они накапливаются так, как зачастую не могут наши более разрушительные порывы. Легко утверждать, что дети не должны умирать от болезней, если мы можем это предотвратить, и отсюда легко перейти к утверждению, что все дети в равной степени имеют право на это. Отсюда нетрудно перейти к аргументу, что мы все должны объединиться и применить наши интеллекты для достижения этого результата. Мало кто не согласен с тем, что люди должны быть наказаны за нападение на других или причинение им вреда без необходимости, и отсюда недалеко до идеи, что наказания должны быть последовательными и систематическими для всех людей. Точно так же интуитивно понятно, что люди должны иметь автономию и нести ответственность за свою собственную жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге ведут к верховенству закона, демократии и ценностям Просвещения. Если не неизбежно, то, по крайней мере, как статистическая тенденция, именно туда человечество уже и направлялось. ИИ просто предлагает возможность добраться туда быстрее — сделать логику более ясной, а пункт назначения — более четким.

Тем не менее, это нечто невероятно прекрасное. У нас есть возможность сыграть какую-то небольшую роль в том, чтобы сделать это реальностью.

Спасибо Кевину Эсвелту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Брыньолфссону, Джиму МакКлейву, Аллану Дафо и многим людям в Anthropic за рецензирование черновиков этого эссе.

Победителям Нобелевской премии по химии 2024 года, за то, что указали всем нам путь.

Сноски (от автора):

1 https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace 2 Я действительно ожидаю, что реакция меньшинства людей будет: «это довольно банально». Я думаю, что этим людям нужно, говоря языком Twitter, «потрогать траву». Но что еще более важно, банальность — это хорошо с социальной точки зрения. Я думаю, что люди могут справиться лишь с определенным объемом изменений за один раз, и темп, который я описываю, вероятно, близок к пределам того, что общество может усвоить без экстремальной турбулентности. 3 Я нахожу AGI неточным термином, который собрал вокруг себя много научно-фантастического багажа и хайпа. Я предпочитаю "мощный ИИ" или "Наука и инженерия экспертного уровня", которые передают то, что я имею в виду, без хайпа. 4 В этом эссе я использую "интеллект" для обозначения общей способности решать проблемы, которая может быть применена в различных областях. Это включает в себя такие способности, как рассуждение, обучение, планирование и творчество. Хотя в этом эссе я использую слово "интеллект" для краткости, я признаю, что природа интеллекта — сложная и дискуссионная тема в когнитивной науке и исследованиях ИИ. Некоторые исследователи утверждают, что интеллект — это не единая, унифицированная концепция, а скорее набор отдельных когнитивных способностей. Другие утверждают, что существует общий фактор интеллекта (g-фактор), лежащий в основе различных когнитивных навыков. Но это тема для другой дискуссии. 5 Это примерно текущая скорость систем ИИ — например, они могут прочитать страницу текста за пару секунд и написать страницу текста, возможно, за 20 секунд, что в 10-100 раз превышает скорость, с которой это могут делать люди. Со временем более крупные модели имеют тенденцию замедлять этот процесс, но более мощные чипы ускоряют его; до сих пор эти два эффекта примерно уравновешивали друг друга. 6 Это может показаться позицией «соломенного чучела», но такие осторожные мыслители, как Тайлер Коуэн и Мэтт Иглесиас, поднимали этот вопрос как серьезную проблему (хотя я не думаю, что они полностью придерживаются этой точки зрения), и я не думаю, что это безумие. 7 Ближайшая экономическая работа, о которой я знаю, посвященная этому вопросу, — это работа о «технологиях общего назначения» и «нематериальных инвестициях», которые служат дополнением к технологиям общего назначения. 8 Это обучение может включать временное контекстное обучение или традиционную тренировку; и то, и другое будет ограничено скоростью физического мира. 9 В хаотичной системе небольшие ошибки экспоненциально накапливаются со временем, так что даже колоссальное увеличение вычислительной мощности ведет лишь к небольшому улучшению того, насколько далеко вперед можно делать предсказания, а на практике ошибка измерения может ухудшить это еще больше. 10 Другим фактором, конечно же, является то, что мощный ИИ потенциально может быть использован для создания еще более мощного ИИ. Мое предположение заключается в том, что это может произойти (на самом деле, вероятно, произойдет), но его эффект будет меньше, чем вы могли бы вообразить, именно из-за «убывающей предельной отдачи от интеллекта», обсуждаемой здесь. Другими словами, ИИ продолжит быстро умнеть, но его влияние в конечном итоге будет ограничено неинтеллектуальными факторами, и анализ именно их имеет наибольшее значение для скорости научного прогресса за пределами ИИ. 11 Эти достижения стали для меня вдохновением и, возможно, самым мощным из существующих примеров того, как ИИ используется для трансформации биологии. 12 "Прогресс в науке зависит от новых методов, новых открытий и новых идей, вероятно, именно в таком порядке." - Сидней Бреннер 13 Спасибо Парагу Маллику за предложение этого пункта. 14 Я не хотел загромождать текст спекуляциями о том, какие конкретные будущие открытия могла бы сделать наука с помощью ИИ, но вот мозговой штурм некоторых возможностей: — Разработка лучших вычислительных инструментов, таких как AlphaFold и AlphaProteo — то есть общей системы ИИ, ускоряющей нашу способность создавать специализированные вычислительные биологические инструменты ИИ. — Более эффективный и избирательный CRISPR. — Более продвинутые клеточные терапии. — Достижения в материаловедении и миниатюризации, ведущие к лучшим имплантируемым устройствам. — Лучший контроль над стволовыми клетками, дифференцировкой и дедифференцировкой клеток, и вытекающая из этого способность выращивать заново или изменять форму тканей. — Лучший контроль над иммунной системой: избирательное ее включение для борьбы с раком и инфекционными заболеваниями, и избирательное ее отключение для лечения аутоиммунных заболеваний. 15 ИИ, конечно, может также помочь быть умнее при выборе того, какие эксперименты проводить: улучшение планирования экспериментов, извлечение большего количества уроков из первого раунда экспериментов, чтобы второй раунд мог сузить круг до ключевых вопросов, и так далее. 16 Спасибо Мэтью Иглесиасу за предложение этого пункта. 17 Быстро эволюционирующие заболевания, такие как штаммы с множественной лекарственной устойчивостью, которые по сути используют больницы как эволюционную лабораторию для постоянного улучшения своей устойчимости к лечению, могут оказаться особенно труднопреодолимыми и могут стать тем препятствием, которое не позволит нам достичь 100%. 18 Обратите внимание, что может быть трудно узнать, что мы удвоили продолжительность жизни человека в течение этих 5-10 лет. Хотя мы могли бы этого достичь, мы можем еще не знать об этом в рамках временных рамок исследования. 19 Это одно из мест, где я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением самого процесса старения, вместо этого посмотреть с большего расстояния на статистическую тенденцию и сказать: «даже если детали отличаются, я думаю, человеческая наука, вероятно, нашла бы способ продолжить эту тенденцию; в конце концов, плавные тенденции в чем-либо сложном неизбежно формируются путем сложения очень разнородных компонентов». 20 В качестве примера мне сказали, что увеличение роста производительности на 1% или даже 0,5% в год было бы преобразующим для прогнозов, связанных с этими (социальными) программами. Если идеи, рассматриваемые в этом эссе, воплотятся в жизнь, рост производительности может оказаться гораздо больше. 21 Медиа любят изображать высокостатусных психопатов, но среднестатистический психопат — это, вероятно, человек с плохими экономическими перспективами и плохим контролем над импульсами, который в итоге проводит значительное время в тюрьме. 22 Я думаю, что это в некотором роде аналогично тому факту, что многие, хотя, вероятно, не все, результаты, которые мы узнаём из интерпретируемости, продолжали бы быть актуальными даже в том случае, если бы некоторые архитектурные детали наших текущих искусственных нейросетей, такие как механизм внимания, были бы изменены или заменены каким-либо образом. 23 Я подозреваю, что это немного похоже на классическую хаотическую систему — обремененную неснижаемой сложностью, которой нужно управлять в основном децентрализованно. Хотя, как я скажу позже в этом разделе, могут быть возможны более скромные вмешательства. Контраргумент, приведенный мне экономистом Эриком Брыньолфссоном, заключается в том, что крупные компании (такие как Walmart или Uber) начинают обладать достаточными централизованными знаниями, чтобы понимать потребителей лучше, чем любой децентрализованный процесс, что, возможно, вынуждает нас пересмотреть идеи Хайека о том, кто обладает лучшими локальными знаниями. 24 Спасибо Кевину Эсвелту за предложение этого пункта. 25 Например, сотовые телефоны изначально были технологией для богатых, но быстро стали очень дешевыми, и ежегодные улучшения происходили так быстро, что нивелировали любые преимущества от покупки "люксового" сотового телефона, и сегодня у большинства людей телефоны аналогичного качества. 26 Это название готовящейся к выходу статьи от RAND, в которой примерно изложена стратегия, которую я описываю. 27 Когда обычный человек думает о государственных учреждениях, он, вероятно, вспоминает свой опыт работы с DMV, IRS (налоговая служба), Medicare или подобными функциями. Сделать этот опыт более позитивным, чем он есть в настоящее время, кажется мощным способом борьбы с излишним цинизмом. 28 Действительно, в мире, управляемом ИИ, спектр таких возможных вызовов и проектов будет гораздо шире, чем сегодня. 29 Я нарушаю свое собственное правило не сводить все к научной фантастике, но мне было трудно не сослаться на это хотя бы немного. Правда в том, что научная фантастика — один из наших немногих источников обширных мысленных экспериментов о будущем; я думаю, это говорит о чем-то плохом, что она так сильно связана с определенной узкой субкультурой.