46 мыслей о ближайшем будущем

✍️ Перевод: https://x.com/bayeslord/status/2072056960430789032
🦧 Подпишись на канал: https://t.me/cryptomokakke
📚 Больше статей: https://t.me/smart_sorting

Этот список основан на треде, который я опубликовал 4 июня. Кое-где я внес небольшие правки и дополнения. Несколько человек просили меня сделать этот тред более читабельным, так что вот он.

Интеллект

Я думаю, что люди окажутся совершенно не готовы к стремительному прогрессу в области алгоритмов. Весь мир — рынки, правительства, военные, компании, обычные люди и так далее — пытается осмыслить ИИ и его влияние, опираясь на показатели производственной эффективности и закономерности недавнего прошлого, а также на то, как дела обстоят прямо сейчас. Даже некоторые из передовых лабораторий, которые якобы «помешаны на ОИИ» (RSI, рекурсивном самосовершенствовании), похоже, думают, что все пойдет как обычно, просто в рабочий цикл добавятся агенты. Нет. Мое предположение: в процессе создания интеллекта нам еще предстоит преодолеть множество алгоритмических порядков величины (OOMs), возможно (только возможно) до десяти, хотя диапазон от четырех до семи кажется более вероятным. Шагнуть дальше десяти в принципе возможно, но это уже жестко упрется в то, что, по моим подозрениям, вселенная вообще позволит нам сделать. Маловероятно, но не невозможно. Если это правда, то на самом деле всё идет совсем не так, как кажется со стороны, и впереди нас ждет колоссальный скачок. Любое событие в этом духе сделает реальность гораздо более странной, чем сейчас закладывает в свои ожидания практически кто бы то ни было.
Мы находимся на этапе раннего технологического взлета (takeoff). То, что ИИ совершенствует ИИ, может в итоге стать одним из самых значимых шагов в истории. Это не гарантировано, поскольку мы не знаем, насколько далеко находимся от физических и вычислических пределов интеллекта. Хотя я бы поставил на то, что мы еще очень далеко от них (как я уже говорил выше, прирост эффективности интеллекта на единицу масштаба еще вполне может составить около 4–10 порядков величины).
Теперь, когда мы вошли в фазу взлета, алгоритмические исследования ускоряются. Вычислительные мощности (compute) по-прежнему остаются дефицитным ресурсом, но альтернативные издержки рабочего времени исследователей стали ниже: теперь вы можете отправить агента на поиски чего угодно или по заведомо ложному следу. И он вполне может вернуться с результатом. Все новые идеи теперь приносят с собой «оптимизационный долг», который можно закрыть за счет неконтролируемых трат токенов (unsupervised token spend). Будет пройдено огромное количество кривых масштабирования в исследованиях.
Модели ИИ, особенно на переднем крае (frontier models), будут становиться все лучше. Единственная настоящая стена — это физика. Модели становятся все более автономными, умными и совершенствуются с каждым днем. Математика и программирование уже капитулировали перед масштабированием и обучением с подкреплением (RL), на очереди все остальное. Смысловое различие между верифицируемыми и неверифицируемыми задачами начнет стираться. В будущем автоматизированные исследования в области ИИ и обучение самого ИИ будут выглядеть все более взаимосвязанными. Качественное обучение моделей тесно связано со способностью моделей учиться в целом. Эффективность выборки (sample efficiency), креативность и все остальные ограничения будут преодолены, после чего начнется приближение к алгоритмической оптимальности на любом масштабе.
Идея о том, что агентам с длинным горизонтом планирования всегда требуется обучение с эквивалентно длинным горизонтом, ошибочна, поскольку существует генерализация (обобщение) во времени. Длинные задачи не состоят из одной лишь «длинноты»! Это связано с заблуждением ЛеКуна о накоплении ошибок по формуле $(1-e)^n$. На самом же деле происходит исправление ошибок. Это случается на самых разных уровнях: от генерации отдельного токена до конкретных шагов в рамках длительной задачи. График METR (эффективности агентов) ползет вверх в том числе потому, что агенты начинают достигать «первой космической скорости» в исправлении собственных ошибок.
Создание глубокого обучения на уровне инженерной науки неизбежно. Это приведет нас к алгоритмической зрелости ИИ гораздо быстрее, чем ожидают люди, хотя, как я уже упоминал, неясно, как далеко это может зайти в принципе. К примеру, наука о масштабируемой инвариантности (scale-invariance) кардинально увеличивает масштабы и отдачу от полезных экспериментов: тесты на одном графическом процессоре (GPU) смогут подсказать вам, как эффективно использовать сто тысяч таких процессоров.
Нас ждут моменты в стиле «Хода 37» (Move 37) в каждой сфере технической деятельности человека, а затем, довольно быстро, сами эти «Ходы 37» начнут казаться чем-то банальным. Я имею в виду абсолютно всё.
Вычислительные мощности продолжат расти. Сегодняшние лучшие машины для матричного умножения (matmul) даже близко не подошли к физическим пределам ускорителей ИИ. В сфере цифрового кремния еще есть огромный потенциал для роста. Существует также множество кандидатов на роль новых субстратов (альтернативной компонентной базы), и алгоритмический долг, который за ними числится, будет автоматизирован до предела. Но мы пока не знаем, какой из них окажется оптимальным для ИИ с точки зрения пространства, энергии, времени, производительности и стоимости. Фотоника и стохастический кремний — крайне интересные кандидаты, но я также ожидаю, что сингулярность преподнесет нам сюрпризы.
То, насколько далеко лаборатории смогут вырваться вперед, частично зависит от отдачи от автоматизации и масштабирования, включая отдачу от большей алгоритмической глубины. Если практика (и теория) глубокого обучения навсегда останется «поверхностной», то в долгосрочной перспективе технологический барьер (moat) не будет алгоритмическим, поскольку секреты будет относительно дешево открывать. В конечном счете дистилляция, данные и время позволят догнать любые масштабы вычислительных мощностей, пусть даже и медленно. На данный момент кажется, что мы частично находимся именно в этой точке, но даже если так, нет никаких гарантий, что этот тренд сохранится.
Если же по мере масштабирования процессы станут менее поверхностными, то каждый новый шаг в автоматизации и масштабе будет приносить вам такие алгоритмические секреты, которые окажутся абсолютно недосягаемыми для всех остальных. И это тоже отчасти похоже на то, где мы находимся сейчас. Конечная точка в любом сценарии наступит тогда, когда предельная полезность от масштабирования и исследований достигнет насыщения. Мы не знаем, где она находится. До нее может быть как 2, так и 20 порядков величины от того уровня, имеющегося сегодня. Этого не знает никто.

Цепочка поставок интеллекта

Вычислительные мощности (compute) будут оставаться объектом жесткой конкуренции как минимум еще несколько лет. Но за это время они начнут превращаться в массовый товар (коммодитизироваться), и мы еще будем со смехом вспоминать «нищие» 2020-е годы. Масштабирование растет и дает результаты, а капитал идет следом, чтобы раскручивать это колесо снова и снова. Будет больше машин для матричного умножения, больше полупроводниковых фабрик (fabs) и больше энергии. Узкие места в производстве интеллекта — явление временное, даже несмотря на возможные экономические спады.
Природа цепочки поставок интеллекта меняется. Прямо сейчас она сильно централизована вокруг передовых лабораторий. Однако лаборатории автоматизируют то главное, что делает их сильными: исследователей и поиск алгоритмических преимуществ. Как только этот процесс запустится — при условии, что открытый код (open source) не будет сильно отставать, и особенно если лаборатории не заблокируют доступ к моделям-исследователям ИИ, — преимущества лабораторий сведутся к более простому доступу к капиталу, большему количеству вычислительных мощностей, уникальным данным, деловым связям и хорошим продуктам. Это, среди прочего, зависит от того, как разрешится упомянутый выше вопрос об алгоритмической глубине.
Распределенное обучение (distributed training) снизит потребность в строительстве монолитных дата-центров, что даст определенное преимущество компаниям, не являющимся гиперскейлерами. Впрочем, в плане масштаба одного отдельно взятого крупнейшего запуска они все равно не смогут перегнать гиперскейлеров.
Автоматизированные эксперименты с ИИ позволят повсеместно открывать алгоритмические секреты, поскольку такие эксперименты по своей природе легче распределять, чем полномасштабные запуски обучения моделей. Пока неясно, как далеко это может зайти, но я ожидаю, что довольно далеко. Как отмечалось выше, фундаментальная глубина глубокого обучения все еще неизвестна, и верхние границы в этом вопросе зависят именно от нее.
Возможно, что вопреки этим силам, которые, казалось бы, играют в его пользу, академический сектор и open source придут в упадок из-за стоимости и альтернативных издержек вычислительных мощностей. Например, что выгоднее: использовать чипы GB300 для обслуживания условной GLM 5.2 или для проекта Fable? Что ценнее: проводить исследования не на переднем крае науки в какой-нибудь университетской лаборатории или строить условный Mythos 2 внутри Anthropic? Рынок сам определит, где спрос выше, и прямо сейчас этим местом действительно кажутся ведущие лаборатории. Это означает, что open-source лаборатории могут столкнуться с еще большим дефицитом вычислительных мощностей, даже если у них будет капитал, если они не зарезервировали мощности заранее. Но даже в этом случае они будут просчитывать альтернативную стоимость своих исследований по сравнению со сдачей мощностей в аренду. Посмотрите на кейс Colossus и Anthropic.
Открытому коду также может прийтись несладко в социальном плане в условиях, когда возможности ИИ начнут становиться все более «острыми» (в ближайшие 0–18 месяцев) — особенно если учесть, что мы не спешим усиливать безопасность, как это происходит и по сей день.
Open source может начать увядать по мере того, как капитал устремляется в лаборатории. Здесь возникает проблема координации: никто не хочет монополии на токены, кроме самих лабораторий (и, возможно, правительства), но если эту проблему удастся решить, а регуляторная среда окажется благоприятной, то, возможно, все обойдется.

Робототехника

Нас ждет переломный момент для робототехники — сначала аналог «ноября 2022 года и релиза ChatGPT», а затем аналог «ноября 2025 года и релиза Opus 4.5». Ни того, ни другого еще не произошло, но они приближаются, и это случится быстрее, чем думают люди, — как следствие стремительного прогресса ИИ, включая проектирование физических систем с помощью искусственного интеллекта. Выглядит весьма вероятным, что разрыв между этими двумя вехами в робототехнике составит далеко не три года.
Впрочем, для того чтобы физически масштабировать количество роботов в мире, может потребоваться время до 2030 года или даже больше. Хотя мы производим около 100 миллионов автомобилей в год, а гуманоидные роботы намного меньше машин. Учитывая, что мы также выпускаем по 1 миллиарду смартфонов ежегодно, вполне разумно ожидать объемов порядка 100 миллионов роботов в год к 2030 году — при условии, что капитал и алгоритмы будут двигаться быстро. Показатель в 10 миллионов в год точно достижим, ведь мы уже делаем это на рынке беспилотников. Хорошее программное обеспечение, доказывающее ценность гуманоидов на малых масштабах, способно привлечь бесконечный капитал, пропорциональный качеству этого доказательства.
Вещи, которые сегодня кажутся жесткими ограничениями для робототехники, исчезнут. В их числе, например: низкая эффективность выборки (poor sample efficiency), относительный дефицит данных, дорогая и/или сложная конструкция кистей и двигателей, фрактальная сложность физического мира и скрытые, нигде не зафиксированные знания о том, как мы выполняем повседневные задачи (например, в сантехнике). Модели мира (world models) кажутся полезными, но конкретная технология не имеет значения. Законы масштабирования в исследованиях будут выжиматься до тех пор, пока полезность не пойдет на спад.
Мировой спрос на роботов легко исчисляется десятками миллиардов единиц, особенно если суммировать все форм-факторы. В мире существует огромное количество физической работы, которую стоит автоматизировать. Рынок попытается решить эту задачу, и люди, скорее всего, не станут этому препятствовать.

Прогресс

Наука автоматизируется и виртуализируется. Это означает, что большая часть необходимого нам мирового прогресса будет исходить из автоматизированных лабораторий и симуляций. Мы не знаем полных вычислительных пределов виртуализации, но такие роботизированные лаборатории для биологии, материаловедения и других сфер устранят огромное количество узких мест. Попутно они раздвинут границы валидированной виртуализации, чтобы повысить эффективность выборки и чистую отдачу от материального воплощения (reification). По сути, в каждой области мы получим комбинацию нейросетевых моделей, явных симуляций и реальных экспериментов — и всё это будет работать на повышение отдачи на каждый доллар и единицу времени в таких дисциплинах, как биология, материаловедение и им подобные.
Законы прогресса существуют везде. В глубоком обучении их называют законами масштабирования (scaling laws). Трудно сказать, когда произойдет насыщение S-образной кривой на каком-то конкретном направлении; трудно сказать, когда прямо за горизонтом появятся новые S-кривые. Здесь важно понять следующее: сам двигатель цивилизационного прогресса подчиняется закону прогресса. Вероятнее всего, наш прогресс будет затухающим (с насыщением), как и большинство наблюдаемых нами природных процессов, но на самом деле мы не знаем, где именно это произойдет. Технологическая и цивилизационная зрелость может быть как близко, так и далеко. Во-первых, (а) мы находимся в той точке истории, когда на прогресс почти не выделялось ресурсов, но ситуация стремительно меняется, и во-вторых, (b) мы автоматизируем саму машину, которая напрямую этот прогресс производит. Мы живем в интересное время.
Будущее с вертикальным масштабированием (scale up) против горизонтального (scale out). От нуля к единице против от единицы к $n$. Сколько прогресса в ширину и в глубину позволит нам иметь Вселенная — вопрос открытый. Прогресс в ширину оценить проще, ведь это что-то вроде: «Сколько всего вычислительных шагов позволят нам сделать законы физики с этого момента?». Насколько «глубокими» могут быть эти вычисления в самом широком смысле слова — неизвестно. Есть варианты будущего, где дерево технологий настолько глубокое, а достижимая вычислительная вселенная настолько богата, что мы будем просто продолжать изобретать, открывать и снова изобретать, пока нас не остановит физика — если это вообще когда-нибудь произойдет. Другие сценарии более плоские: мы довольно быстро упремся в потолок относительно неглубокого технологического дерева и сравнительно легко достигнем технологической зрелости, которую затем будем масштабировать вширь — опять же, пока не наступит удовлетворение или пока нас не остановит физика.

Капитал и производство

Больше капитала и больше интеллекта означают интенсификацию капитализма, а это значит, что мы будем быстрее приходить к рыночным равновесиям. Со временем это естественным образом должно привести к дефляции и конкуренции вплоть до эпсилон-предельных издержек (epsilon marginal cost — бесконечно малых затрат на производство следующей единицы товара) для большинства важнейших благ, включая ИИ, еду, жилье, медицину, электронику, развлечения и путешествия. Это при условии, что мы не позволим людям встать у нас на пути. В некоторых случаях они, вероятно, встанут.
Добыча полезных ископаемых будет автоматизирована. Логистика — наземная, морская и воздушная — будет автоматизирована. Заводы будут автоматизированы. Рабочие на заводах будут автоматизированы. Распределительные центры будут автоматизированы. Обслуживание, улучшение и масштабирование всей цепочки поставок будут автоматизированы.
Люди с работой будут существовать еще очень, очень долго. Какой процент человечества это будет — открытый вопрос. Те, кто заявляет, что этот показатель будет высоким, чересчур самоуверенны, равно как и те, кто утверждает, что он будет равен нулю. Действительно трудно представить, как люди смогут вносить предельный вклад именно в интеллектуальную (содержательную) часть интеллектуального труда еще хоть сколько-нибудь долго. Спрос на некоторые профессии, например на врачей, может сильно упасть, если мы получим сверхчеловеческих ИИ-докторов за $20 в месяц плюс оплата отдельных анализов по меню (а-ля карт) наряду со значительно улучшенным здоровьем за счет более совершенных медицинских технологий. Однако из-за того, что мы картелизируем врачей сейчас, мы можем продолжить делать это и впредь, так что профессия врача останется отличным делом. Спрос на развлечения, вероятно, вырастет, но стоимость производства снизится, а техническая потребность в людях в сфере развлечений уже значительно сократилась. Тем не менее мы очень сильно привязаны к другим людям, поэтому, возможно, мы продолжим ценить их, и профессия актера станет еще более прибыльной.Один из способов подумать о том, как всё это может сложиться, — посмотреть, сколько промежуточных слоев в цепочке поставок находится между сегодняшним работником и потребителем. Для ТикТок-блогера этих слоев ноль. Для врача — ноль. Для заводского рабочего — их много. Степень, в которой профессия может (а) избавиться от посредников (disintermediated), (b) оказаться вытесненной конкуренцией или (c) быть взаимозаменяемой (fungible), вероятно, во многом определит исход для нее. Этот анализ весьма глубок, и данный абзац не претендует на полноту, но последнее, о чем стоит упомянуть: все это предполагает, что у нас не произойдет стремительного коллапса на стороне спроса. А он может случиться, если слишком много людей останутся без работы, а производительность труда или эффективность государства окажутся недостаточными для введения безусловного базового дохода (UBI) / безусловного базового медицинского страхования (UHI).
Связанная с предыдущими пунктами, но не противоречащая им мысль: появление «перманентного низшего класса» (permanent underclass) может стать реальностью. В лучших мирах, где это произойдет, ситуация может выглядеть скорее как сильно ограниченная субъектность (agency), нежели как пагубно урезанный доход. Для большинства людей это в конечном счете будет нормально — наша субъектность и так сильно ограничена современным обществом, — но это потребует психологической адаптации, которая может занять время и оказаться болезненной.

Культура и психология

Человеческая психика сейчас развивается и адаптируется медленно, но это изменится. Главное — измениться в лучшую сторону, что для некоторых людей может оказаться непросто. В результате изобилия интеллекта и автоматизации мы научимся конструировать устойчивую психику гораздо лучше, чем тот неприспособленный к нашей среде эволюционный пережиток, который мы имеем сегодня. За какие-то десятилетия произойдет тысячелетний прорыв в инновациях в области психиатрии и психологии. Люди станут фундаментально здоровы. Примитивное, дегенеративное «подключение к аппарату удовольствия» (wireheading) как риск переоценено, поскольку нам будет доступна куда более искусная и разнообразная инженерия разума.
В мире крайней неопределенности люди будут бороться за власть, статус и богатство яростнее, чем когда-либо, и в процессе этой борьбы они с легкостью пойдут на предательство своего ближнего. Они будут придумывать всевозможные оправдания тому, почему их поведение является хорошим или даже великим. Оглянитесь вокруг.
Вы доживете до того, чтобы увидеть кринж, в который просто не сможете поверить.
Прямо сейчас происходит определенный очевидный феномен двоемыслия, когда те, кто имеет все шансы войти (или уже входит) в топ-0,01% самых богатых людей, говорят, что ИИ принесет пользу всем, не беспокойтесь о работе и так далее. Но при этом они ни за что не отказались бы от своего богатства, чтобы жить как случайный человек на Земле — или даже в Америке — через год, пять или двадцать лет. Люди видят это и уже начинают реагировать. Чтобы быть до конца честным: я бы тоже не отказался от своего положения, но я также не утверждаю, что все будет в полном порядке (и я, к слову, не вхожу в топ-0,01% богачей). В итоге мы рискуем построить несправедливый мир. Некоторых людей это волнует, и я считаю, что это следует обсуждать гораздо чаще. И чтобы выразиться предельно ясно: американская политика ничтожна в том, как она подходит к решению подобных проблем.
Илон, похоже, имеет все шансы стать первым квадриллионером. В широком смысле нетрудно представить рост спроса на чипы, роботов и космические корабли в масштабах значительно больше 1000х, и он, вероятно, сможет забрать себе огромную долю этого рынка.

Координация

Потребность в лучшей координации на всех уровнях общества очевидна. Существуют слабости и риски для более эффективной координации в том виде, в каком мы ее понимаем сейчас, но, похоже, мы едва прикоснулись к поверхности того, что возможно. Появится ли когда-нибудь Сатоши для победы над Молохом (Satoshi for defeating Moloch — анонимный создатель системы, способной победить координационные провалы и системное саморазрушение)?
По крайней мере некоторая международная координация в сфере ИИ, скорее всего, является хорошей идеей. Нам могут понадобиться договоры и учет графических процессоров (GPU counting). Это можно спроектировать так, чтобы: (а) замедлить раскручивание спирали соперничества в накоплении военной и государственной мощи и (б) оказать минимальное влияние на науку и другие важные сферы прогресса. Возможно, мы этого не получим, потому что графические процессоры обладают слишком универсальной и масштабной силой. С ядерным оружием у нас получилось договориться, потому что никто, кроме безумцев, на самом деле не хочет его использовать.
Скоординированная пауза или замедление производства ИИ со стороны ведущих лабораторий сейчас кажется более вероятной, чем в 2023 году. Здесь много компромиссов, но я думаю, что аргументированная ценность паузы сегодня немного выше, чем была в 2023 году. Довод о том, что эта пауза будет потрачена впустую, сложнее отстаивать, когда у нас есть автоматизированные исследования — которых у нас пока еще нет в полной мере (сейчас у нас есть автоматизированная инженерия). Как бы то ни было, лично я в настоящее время не сторонник паузы, главным образом потому, что она ломает слишком много других элементов в нашей ходьбе по канату через сингулярность, в дереве технологий могут водиться драконы, а геополитические противники вполне реальны.

Сила, насилие, безопасность, свобода

С прискорбием вынужден сообщить, что наша Вселенная может оказаться уязвимой в бостромовском смысле (концепция «Уязвимой Земли» Ника Бострома). Не исключено, что текущий мир обладает такими степенями свободы, контроль над которыми мы просто не успеем скоординировать, если одновременно попытаемся сохранить те нормы управления и свободы, что составляют саму суть привычного нам уклада, — и альтернативой этому может стать разве что тотальный паноптикум. Заметьте, что в таких мирах концентрация власти превращается в скользкий путь. Многие из подобных сценариев будущего, скорее всего, окажутся паршивыми для большинства людей. Было бы здорово, если бы это было не так, но это вполне может оказаться правдой.
Распространение (диффузия) ИИ будет происходить со скоростью выше нуля, невзирая на любые потенциальные сдерживающие факторы. В мире слишком много компьютеров, а «обменный курс» вычислительных мощностей (FLOPs) на единицу интеллекта сейчас находится на самой низкой отметке за всю историю и будет только падать. Не стоит делать ставку на то, что всё замрет на месте.
Идея перманентного низшего класса автоматически подразумевает существование перманентного высшего класса. А это предполагает наличие людей, наделенных большими правами по какой-то в достаточной степени необоснованной причине. Первопричиной здесь всегда является явное или скрытое доминирование, подкрепленное насилием. Однако, возможно, мир с развитым ИИ — это мир, где у людей вообще не останется никаких обоснованных прав на управление, никаких признанных заслуг или статуса, возвышающих одних над другими. Это вряд ли когда-либо станет правдой на все 100%, но об этом, пожалуй, стоит задуматься серьезнее. Подозреваю, что моральные принципы и практическая целесообразность здесь сильно разойдутся на деле, и, возможно, вполне обоснованно.
Институты власти окажутся под давлением со всех сторон, вынуждающим их трансформироваться, и эти силы вполне могут привести к тирании. Туда ведет множество путей: какие-то — под маской обеспечения безопасности, какие-то — через мягкое, незаметное расползание властных полномочий, где финальной точкой станут мощный ИИ, полностью автоматизированная цепочка военных поставок и полностью автономное оружие. Нам нужны более совершенные институты.
В мире может обнаружиться огромное количество уязвимостей нулевого дня (zero days). В киберсфере, биологии, инфраструктуре, нейротехнологиях, меметике, физике. Мы просто не понимаем, какова отдача от алгоритмической глубины и согласованности в этих областях — как со стороны защиты и устойчивости, так и со стороны разрушения. Алгоритмическая глубина ядерного оружия в свое время не оказалась недосягаемой для умнейших людей планеты. Завтра наши машины поднимутся на следующую ступень, а затем еще выше. Прямо сейчас мы кое-что знаем о частоте стохастических катастроф в условиях алгоритмически «поверхностной» цивилизации, но мы не знаем практически ничего о том, что происходит в цивилизации алгоритмически «глубокой».
Связанная с этим мысль: в дереве технологий могут скрываться по-настоящему жуткие вещи. Мы действительно этого не знаем.
Возможности робототехники на массовом масштабе несут в себе реальные риски захвата власти и переворотов, которые гораздо серьезнее угроз от чисто компьютерных моделей. Не говоря уже о более приземленных вещах вроде расширения площади и появления новых векторов для кибератак. Нам следует относиться к этим рискам со всей серьезностью и работать над их снижением.
Стратегия взаимного гарантированного уничтожения (MAD) базируется на технологиях XX и начала XXI веков. Нам же предстоит пережить стремительный технологический сдвиг, возможно, эквивалентный целому тысячелетию, причем за очень короткий промежуток времени. Это означает, что незыблемость концепции взаимного уничтожения больше не гарантирована. Эта проблема решаема, и данный слом не является абсолютно неизбежным или очевидным, поскольку предел допустимой погрешности для получения решающего преимущества крайне мал и потенциально недостижим. Некоторые люди в прошлом поднимали эту тему в довольно несерьезном ключе, и я считаю, что это было ошибкой и безответственностью. Это один из самых серьезных вопросов, которые мы вообще можем обсуждать. Люди обоснованно нервничают из-за этого, но я думаю, что время пришло.
Армия, полиция и ключевые механизмы государственного правопорядка будут автоматизированы и станут умнее людей. Думайте над этим что хотите.
И последнее: ИИ-лаборатории в итоге могут быть национализированы в самом жестком смысле этого слова. Как мне кажется, американская система не очень с этим совместима, но существует множество путей к национализации, которые не выглядят чем-то табуированным как в консервативной, так и в либеральной политической среде. В принципе, лаборатории могут поддерживать координацию с военными и разведывательными службами «на бэкенде», не устраивая из этого еще более громкого шоу, чем то, что мы уже наблюдаем. Получение федеральным правительством односторонней власти такого рода — это тоже колоссальный риск. С частными компаниями ситуация иная, поскольку они, говоря в общем, не будут напрямую применять насилие и не имеют на это законного права. Я не большой поклонник национализации, но этот мир сбивает с толку и, судя по всему, становится все более коварным.