План А, или как договориться не сдохнуть

2027 год. В Америке теперь две рабочие силы. Первая - 165 миллионов живых людей. Вторая - миллионы ИИ-агентов: их включают и гасят каждый час, они пашут круглосуточно на скорости, которую кожаный мешок не вывозит в принципе. Большая часть их работы - мусор. Но достаточной части хватает, чтобы за неё уже платили десять миллиардов долларов в месяц.

К 2028-му дата-центры под ИИ стоят вдвое дороже всего военного бюджета США. Вдвое дороже военного бюджета страны, которая и так тратит на армию больше всех в мире с чудовищным отрывом. Всё это - железо, которое генерирует токены.

И вот на этом фоне американский Конгресс задаёт себе один простой вопрос: а кто, собственно, всем этим будет рулить? Ответ он находит быстро, и ответ ему не нравится - точно не мы, простые смертные руководители компаний.

Кто это написал

Статью «AI 2040: План А» сочинили не луддиты с плакатами «ЫЫ - это сатана, не натуральный продукт». Это AI Futures Project - те же ребята, что в прошлом году выкатили нашумевший сценарий AI 2027. Один из авторов, Дэниел Кокотайло, до этого работал в OpenAI и ушёл оттуда громко. То есть это люди изнутри кухни, а не с улицы.

И вот что эти люди говорят прямым текстом: по их собственной оценке, вероятность того, что ИИ буквально всех нас расхерачит, ну, где-то от 10 до 30 процентов. Не мало? Не много.

Ещё деталь для настроения. Кокотайло провёл на своём докладе опрос среди сотни человек, из которых процентов сорок - из фронтир-лабораторий. Вопрос был такой: сколько месяцев форы будет у лидера гонки в момент, когда он полностью автоматизирует разработку ИИ, и какую долю этой форы он готов потратить на безопасность? Медиана ответов - три месяца форы и одна треть на «давайте всё-таки проверим, не построили ли мы монстра». Три месяца запаса. Один - на технику безопасности. Напомню, что Мифон взломал Пентагон за 2 часа. Хорошо, что омериканские боеголовки запускаются из изолированного контура т.е. физически разделены от сети интернет (надеюсь).

Что вообще за план

Если гонку не трогать, полная автоматизация ИИ-исследований случается к 2030-му, а сверхразум - к концу того же года. Дальше в петле «ИИ делает ИИ умнее, тот делает следующего ещё умнее» живого человека нет вообще, как ты понял.

План А предлагает не жать на газ до 2040-го. Отсюда и название. Схема такая:

2029 - США и Китай договариваются не устраивать безбашенную гонку.
2030-2035 - масштабируются медленно, в пределах человеческого диапазона. ИИ доводят максимум до уровня «очень хороший эксперт», не выше.
2035 - жмут паузу ровно на этом уровне. Потому что выше человек уже физически не может проверить, послушная перед ним машина или просто хорошо притворяется.
2040 - когда наука о том, как удержать ИИ в узде, наконец повзрослеет, тормоза аккуратно отпускают.

Главный механизм всей конструкции - тотальная прозрачность исследований.

Ирония в том, что недавно Китай начал рассматривать идею о полном закрытии доступа к ИИ иностранцам. Никакого дипсика любителям зарабатывать на трампкоинах и раздолбливать мелкие страницы ради прикола.

Почти весь R&D публикуется, чтобы каждая страна видела, кто что варит. Секретная гонка по бункерам превращается в открытое, медленное, совместное ползание к цели. Звучит наивно ровно до следующего пункта.

MACD - самая ебанутая часть, и она же гениальная

Есть ядерное MAD - взаимно гарантированное уничтожение. Ты не бьёшь первым, потому что в ответ прилетит и тебе. Семьдесят лет держит ракеты в шахтах.

Авторы предлагают то же самое, но для датацентров с видеокартами. MACD - mutually assured compute destruction. И фокус в том, ГДЕ строить дата-центры. Не у себя дома, а на уязвимой территории противника. Китайский компьют - где-нибудь в Канаде, американский - в Монголии. Логика простая: если кто-то решает кинуть сделку и втихую рвануть в гонку, второй просто разносит эти дата-центры обычными ракетами.

То есть в фундамент мирного договора закладывают взаимную возможность спалить друг другу заводы. И это, чёрт возьми, работает - по той же логике, что удержала планету от третьей мировой.

А теперь почему это не сработает - по их же цифрам

Вот тут самое честное место во всей статье. Авторы сами оценили все планы по шкале «шанс на хорошее будущее».

План А - 42 процента. Гонка без тормозов (у них это План D) - 10 процентов. Их собственный план в четыре с лишним раза лучше, чем «жми на газ и молись».

А теперь вопрос на миллион: какой план, по их же прогнозу, реально случится? Правильно, гонка. У пяти авторов вероятность Плана D - от 25 до 50 процентов. Вероятность их любимого Плана А - от 3 до 15. Они написали лучший план в комнате и тут же поставили деньги на то, что выберут не его. Это не пессимизм. Пессимизм - это когда ты боишься. А тут люди сели, посчитали и просто знают.

Планов, кстати, целое меню - от буквы S до буквы D:

S - полная остановка. Стоп-кран на несколько лет.
A - та самая сделка с прозрачностью. Рекомендация авторов.
B - саботаж Китая, чтобы выиграть пару месяцев форы. В двух вкусах: тихие кибератаки или сразу дроны по заводам.
C - лидирующая лаборатория по доброте душевной сама чуть притормаживает.
D - газ в пол, один процент ресурсов на безопасность, дальше как повезёт.

Вдумайся в диапазон: от «давайте по-взрослому договоримся с врагом» через «давайте разбомбим ему серверные» до «давайте зажмуримся и втопим». И вся ставка - на последнее.

Что во всём этом лично для тебя

Допустим, случилось чудо и выбрали План А. Тебя всё равно ждёт не рай. К 2040-му занятость падает с 62 процентов до 12. Работы для людей почти не остаётся. Дырку затыкают «гражданским дивидендом» - выплатой каждому. Выплата которая в модели растёт с 45 тысяч долларов в 2032-м до десяти миллионов к 2040-му.

Звучит как мечта ровно до того момента, пока ты не вспомнишь: деньги стоят ровно столько, сколько скажет тот, у кого в руках армия сверхразумов. А она - даже в самом добром сценарии, где ИИ идеально послушный, - оказывается в руках крохотной кучки людей. Послушный ИИ - это не ИИ, послушный тебе. Это ИИ, послушный тому, кто им владеет. И это не ты.

Финал

Эйзенхауэр когда-то сказал: «Планы - ничто, планирование - всё». Смысл Плана А не в том, что его возьмут и внедрят. Смысл в стресс-тесте: если ты не можешь написать даже правдоподобную историю, в которой человечество не сдыхает, - может, твой план куда хуже, чем тебе казалось.

Эти ребята свою историю написали. Со всеми уродливыми местами, с процентами вымирания, с дата-центрами в Монголии как заложниками мира. Выложили в открытую и сказали - вот, критикуйте. А лаборатории, которые прямо сейчас тащат тебя к 2030-му, не написали ничего. Они сказали «доверься, разберёмся с безопасностью по ходу». Три месяца форы. Один на проверку.

Доверься.

Прочитай План А. Не потому, что он сбудется. А потому, что это пока единственная сторона, которая показала свои расчёты.

Источник: ai-2040.com, «AI 2040: Plan A», AI Futures Project (Томас Ларсен, Ромео Дин, Дэниел Кокотайло и др.). Цифры - из самой статьи и приложения «Comparing Possible Plans».