Війна і мир в епоху штучного інтелекту
Що це означатиме для світу, коли машини формують стратегію та державну політику
Генрі А. Кіссінджер, Ерік Шмідт та Крейг Манді
Від перекалібрування військової стратегії до відновлення дипломатії, штучний інтелект стане ключовим детермінантом порядку у світі. Стійкий до страху та прихильності, ШІ представляє нову можливість об’єктивності у прийнятті стратегічних рішень. Але ця об’єктивність, яку використовують як боєць, так і миротворець, повинна зберігати людську суб’єктивність, яка необхідна для відповідального використання сили. ШІ на війні висвітлить найкращі та найгірші прояви людства. Це буде служити засобом як для ведення війни, так і для її припинення.
Давня боротьба людства за те, щоб сформувати себе у все більш складних домовленостях, щоб жодна держава не отримала абсолютного панування над іншими, досягла статусу безперервного, безперервного закону природи. У світі, де основні актори все ще є людьми, навіть якщо вони оснащені штучним інтелектом, щоб інформувати, консультуватися та консультувати їх, країни все ще повинні насолоджуватися певною мірою стабільності, заснованою на загальних нормах поведінки, за умови налаштуваннях та коригування часу.
Але якщо ШІ з’явиться як практично незалежний політичний, дипломатичний та військовий набір суб’єктів, це змусить обміняти віковий баланс сил на новий, незвіданий дисбаланс. Міжнародний концерт національних держав — слабка і мінлива рівновага, досягнута за останні кілька століть — відбувся частково через притаманну рівність гравців. Світ суворої асиметрії — наприклад, якби деякі держави прийняли ШІ на найвищому рівні легше, ніж інші — був би набагато менш передбачуваним. У випадках, коли деякі люди можуть протистояти військовим або дипломатичним шляхом проти держави з високим рівнем штучного інтелекту, або проти самого штучного інтелекту, люди можуть боротися за виживання, не кажучи вже про конкуренцію. Такий проміжний порядок може стати свідком внутрішнього вибуху суспільств і неконтрольованого вибуху зовнішніх конфліктів.
Інші можливості рясніють. Окрім пошуку безпеки, люди вже давно воювали у гонитві за тріумфом або на захист честі. На даний момент машинам не вистачає будь-якої концепції тріумфу чи честі. Вони можуть ніколи не піти на війну, вибравши замість цього, наприклад, негайні, ретельно розділені передачі території на основі складних розрахунків. Або вони можуть — цінуючи результат і знецінюючи індивідуальне життя — вжити заходів, які перетворюються на криваві війни людського виснаження. В одному випадку наш вид може виявитися настільки зміненим, щоб повністю уникнути жорстокості людської поведінки. В іншому ми стали б настільки підкореними технологією, що вона поверне нас до варварського минулого.
ДИЛЕМА БЕЗПЕКИ ШТУЧНОГО ІНТЕЛЕКТУ
Багато країн зациклені на тому, як “виграти гонку штучного інтелекту”. Частково цей драйв зрозумілий. Культура, історія, спілкування та сприйняття змовилися створити серед сучасних великих держав дипломатичну ситуацію, яка сприяє невпевненості та підозрі з усіх сторін. Лідери вважають, що приріст тактичної переваги може бути вирішальним у будь-якому майбутньому конфлікті, і що ШІ може запропонувати саме цю перевагу.
Якби кожна країна хотіла максимізувати свої позиції, то були б встановлені умови для психологічного змагання між конкуруючими військовими силами та спецслужбами, з якими людство ніколи раніше не стикалося. На вас чекає дилема екзистенціальної безпеки. Логічним першим бажанням для будь-якого людського актора, який володіє надрозумним ШІ, тобто гіпотетичним ШІ, більш розумним, ніж людина, може бути спроба гарантувати, що ніхто інший не отримає цю потужну версію технології. Будь-який такий актор також може обґрунтовано припустити за замовчуванням, що його суперник, який перестоїть ті самі невизначеності і стикається з тими ж ставками, буде обмірковувати подібний крок.
За умови війни, суперінтелектуальний ШІ може підірвати, підірвати та заблокувати конкуруючу програму. Наприклад, ШІ обіцяє як зміцнити звичайні комп’ютерні віруси з безпрецедентною потенцією, так і ретельно їх замаскувати. Як і комп’ютерний черв’як Stuxnet — кіберзброя, виявлена в 2010 році, яка, як вважалося, зруйнувала п’яту частину іранських уранових центрифуг — агент зі штучним інтелектом міг саботувати прогрес суперника таким чином, щоб заплутати його присутність, тим самим змушуючи ворожих вчених переслідувати тіні. Завдяки своїй унікальній здатності маніпулювати слабкими сторонами в людській психології, ШІ також може викрасти ЗМІ конкуруючої країни, створюючи потік синтетичної дезінформації, настільки тривожний, що викликає масову опозицію проти подальшого прогресу в можливостях штучного інтелекту цієї країни.
Країнам буде важко отримати чітке уявлення про те, де вони стоять по відношенню до інших у гонці штучного інтелекту. Вже найбільші моделі штучного інтелекту навчаються в безпечних мережах, відключених від решти Інтернету. Деякі керівники вважають, що розробка штучного інтелекту сама рано чи пізно перейде до непроникних бункерів, суперкомп’ютери яких будуть живитися від ядерних реакторів. Центри обробки даних навіть зараз будуються на дні океану. Незабаром вони можуть бути секвестровані на орбітах навколо Землі. Корпорації або країни можуть все більше “йти в темряву”, припиняючи публікувати дослідження штучного інтелекту, щоб не тільки уникнути можливості зловмисників, але й приховувати власні темпи розвитку. Щоб спотворити справжню картину свого прогресу, інші можуть навіть спробувати навмисно опублікувати оманливі дослідження, а ШІ допомагає у створенні переконливих вигадок.
Існує прецедент для такого наукового підступу. У 1942 році радянський фізик Георгій Флєров правильно зробив висновок, що Сполучені Штати будують ядерну бомбу після того, як помітив, що американці та британці раптово припинили публікувати наукові роботи про атомний поділ. Сьогодні такий конкурс став би ще більш непередбачуваним, враховуючи складність і двозначність вимірювання прогресу в напрямку чогось настільки абстрактного, як інтелект. Хоча деякі бачать перевагу як співмірну з розміром моделей штучного інтелекту, якими вони володіють, більша модель не обов’язково перевершує у всіх контекстах і не завжди може переважати менші моделі, розгорнуті в масштабі. Менші та більш спеціалізовані машини зі штучним інтелектом можуть діяти як рій дронів проти авіаносця — не в змозі знищити його, але достатньо, щоб нейтралізувати його.
Актор може сприйматися як такий, що має загальну перевагу, щоб продемонструвати досягнення в певній здатності. Проблема з цією лінією мислення, однак, полягає в тому, що ШІ відноситься лише до процесу машинного навчання, який вбудований не лише в одну технологію, але й у широкий спектр технологій. Таким чином, можливості в будь-якій одній області можуть керуватися факторами, абсолютно відмінними від можливостей в іншій. У цих сенсах будь-яка “перевага”, як зазвичай обчислюється, може бути ілюзорною.
Більше того, як продемонстрував експоненціальний і непередбачуваний вибух можливостей штучного інтелекту в останні роки, траєкторія прогресу не є ні лінійною, ні передбачуваною. Навіть якщо можна сказати, що один актор “керує” іншим приблизно на кількість років або місяців, раптовий технічний або теоретичний прорив у ключовій області в критичний момент може перевернути позиції всіх гравців.
У такому світі, де жоден лідер не міг довіряти своєму найміцнішому інтелекту, своїм найпершим інстинктам або навіть основі самої реальності, уряди не можна звинувачувати в тому, що вони діють з позиції максимальної параної та підозри. Лідери, без сумніву, вже приймають рішення, припускаючи, що їхні зусилля знаходяться під наглядом або містять спотворення, створені зловмисним впливом. За замовчуванням для найгірших сценаріїв, стратегічний розрахунок будь-якого актора на кордоні полягав би в тому, щоб віддавати перевагу швидкості та секретності над безпекою. Людських лідерів може охопити страх, що не існує такого поняття, як друге місце. Під тиском вони можуть передчасно прискорити розгортання штучного інтелекту як стримування зовнішніх збоїв.
Майже всю історію людства війна велася в певному просторі, в якому можна було з достатньою впевненістю знати можливості та позицію ворожих ворожих сил. Поєднання цих двох атрибутів дало кожній стороні відчуття психологічної безпеки та спільного консенсусу, що дозволило усвідомлено стримувати летальність. Тільки коли освічені лідери були об’єднані у своєму базовому розумінні того, як можна вести війну, протиборчі сили могли визначити, чи слід вести війну.
Швидкість та мобільність були одними з найбільш передбачуваних факторів, що лежать в основі можливостей будь-якої військової техніки. Ранньою ілюстрацією є розвиток гармати. Протягом тисячоліття після їх будівництва Феодосійські стіни захищали велике місто Константинополь від зовнішніх загарбників. Потім, у 1452 році, угорський артилерійський інженер запропонував імператору Костянтину XI побудувати гігантську гармату, яка, стріляючи з-за оборонних стін, подрібнила б нападників. Але самовдоволений імператор, не маючи ні матеріальних засобів, ні далекоглядності, щоб визнати значення технології, відхилив пропозицію.
На жаль для нього, угорський інженер виявився найманцем. Перемикаючи тактику (і сторони), він оновив свій дизайн, щоб бути більш мобільним — транспортованим не менше ніж 60 волів і 400 чоловіками — і підійшов до суперника імператора, османського султана Мехмеда II, який готувався до облоги непроникної фортеці. Завоювавши інтерес молодого султана своїм твердженням про те, що ця гармата може “зруйнувати стіни самого Вавилону”, підприємливий угорець допоміг турецьким військам прорвати стародавні стіни всього за 55 днів.
Контури цієї драми п’ятнадцятого століття можна побачити знову і знову протягом всієї історії. У дев’ятнадцятому столітті швидкість і мобільність змінили долю спочатку Франції, коли армія Наполеона перевершила Європу, а потім Пруссію, під керівництвом Гельмута фон Мольтке (Старшого) і Альбрехта фон Роона, які скористалися нещодавно розробленими залізницями, щоб забезпечити швидші та гнучкіші маневри. Аналогічно, бліцкриг — еволюція тих самих німецьких військових принципів — буде використаний проти союзників у Другій світовій війні з великим і жахливим ефектом.
«Блискавна війна» набула нового значення — і повсюдності — в епоху цифрової війни. Швидкості миттєві. Зловмисникам не потрібно жертвувати летальністю, щоб підтримувати мобільність, оскільки географія більше не є обмеженням. Хоча ця комбінація значною мірою сприяла злочину в цифрових атаках, епоха штучного інтелекту може побачити збільшення швидкості реагування та дозволити кіберзахисту відповідати кіберзлочинам.
У кінетичній війні ШІ спровокує ще один стрибок вперед. Дрони, наприклад, будуть надзвичайно швидкими і неймовірно мобільними. Після того, як ШІ буде розгорнуто не тільки для керівництва одним безпілотником, але й для того, щоб керувати їх флотами, хмари дронів формуватимуться і літатимуть синхронно як єдиний згуртований колектив, ідеальний у своїй синхронності. Майбутні рої безпілотників без зусиль розчиняться і відновляться в підрозділах будь-якого розміру, так само як елітні сили спеціальних операцій будуються з масштабованих загонів, кожен з яких здатний до суверенного командування.
Крім того, ШІ забезпечить такий же швидкий і гнучкий захист. Флоти дронів непрактичні, якщо не неможливо збити звичайними снарядами. Але гармати з підтримкою штучного інтелекту, що стріляють патронами фотонів та електронів (замість боєприпасів), можуть відтворити ті ж летальні можливості відключення, що і сонячна буря, яка може смажити схеми відкритих супутників.
Зброя з підтримкою штучного інтелекту буде безпрецедентно точною. Обмеження знання географії антагоніста вже давно обмежують можливості та наміри будь-якої воюючих сторін. Але союз між наукою та війною забезпечив підвищення точності інструментів, і можна очікувати, що ШІ зробить більше проривів. Таким чином, ШІ зменшить розрив між початковим наміром та кінцевим результатом, у тому числі у застосуванні летальної сили. Будь то наземні рої дронів, корпус машин, розгорнутий у морі, або, можливо, міжзоряний флот, машини матимуть високоточні можливості вбивства людей з невеликим ступенем невизначеності та з необмеженим ударом. Межі потенційного руйнування залежатимуть лише від волі та стриманості як людини, так і машини.
Таким чином, епоха війни ШІ буде зведена в першу чергу до оцінки не можливостей супротивника, а скоріше його намірів та їх стратегічного застосування. У ядерну епоху ми вже вступили в таку фазу, але її динаміка та значення з’являться в набагато гострішому фокусі, оскільки ШІ доводить свою цінність як зброї війни.
З такими цінними технологіями люди можуть навіть не бути основною мішенню війни з підтримкою штучного інтелекту. ШІ насправді міг би повністю усунути людей як проксі у війні, роблячи війну менш смертельною, але потенційно не менш вирішальною. Аналогічно, сама територія навряд чи спровокує агресію штучного інтелекту, але центри обробки даних та інша критична цифрова інфраструктура, безумовно, можуть.
Отже, капітуляція настане не тоді, коли кількість супротивника зменшиться, а його арсенал порожній, а коли кремнієвий щит тих, хто вижив, буде нездатним врятувати свої технологічні активи — і, нарешті, своїх людських депутатів. Війна може перерости в гру чисто механічних смертей, вирішальним фактором є психологічна сила людини (або ШІ), яка повинна оскаржити ризик або втрати, щоб запобігти проривному моменту повного руйнування.
Навіть мотиви, що керують новим полем бою, певною мірою будуть чужими. Англійський письменник Г. К. Честертон одного разу жартував, що “справжній солдат бореться не тому, що ненавидить те, що перед ним, а тому, що він любить те, що позаду нього”. Війна зі штучним інтелектом навряд чи включатиме любов чи ненависть, не кажучи вже про концепцію солдатської хоробрості. З іншого боку, він все ще може включати в себе его, ідентичність та лояльність, хоча природа цих ідентичностей та лояльності може не відповідати сьогоднішнім.
Розрахунок у війні завжди був відносно простим: будь-яка сторона першою вважає нестерпним, біль битви, швидше за все, буде переможений. Усвідомлення власних недоліків у минулому створювало стриманість. Без такого усвідомлення, і без почуття (і, отже, великої толерантності) болю, не можна не замислитися, що, якщо що, спонукало б до стриманості в ШІ, який був введений у війну, і що б завершило конфлікти, які він веде. Шаховий ШІ, якби його ніколи не поінформували про правила, що диктують кінець гри, міг би грати до останнього пішака.
У кожну епоху людства, майже ніби підкоряючись якомусь природному закону, з’явився, як один з нас (Кіссінджер) одного разу висловився, одиниця “з силою, волею та інтелектуальним та моральним імпульсом формувати всю міжнародну систему відповідно до її власних цінностей”. Найбільш знайомим розташуванням людських цивілізацій є організація Вестфальської системи, як це зазвичай розуміється. Ідея суверенної національної держави, однак, має лише кілька століть, з’явилася з договорів, які разом відомі як Вестфальський мир у середині сімнадцятого століття. Це не призначена одиниця соціальної організації, і вона може не підходити для епохи штучного інтелекту. Дійсно, оскільки масова дезінформація та автоматизована дискримінація викликають втрату віри в цю домовленість, ШІ може становити невід’ємний виклик владі національних урядів. Крім того, ШІ цілком може скинути відносні позиції конкурентів у сучасній системі. Якщо його повноваження будуть використані в першу чергу самими національними державами, людство може бути примушене до гегемонічного гомеостазу, або ж до нової рівноваги національних держав, уповноважених штучним інтелектом. Але технологія також може стати каталізатором ще більш фундаментального переходу — переходу до абсолютно нової системи, в якій державні уряди, у свою чергу, будуть змушені відмовитися від своєї центральної ролі в глобальній політичній інфраструктурі.
Одна з можливостей полягає в тому, що компанії, які володіють і розробляють ШІ, будуть накопичувати загальну соціальну, економічну, військову та політичну владу. Сьогоднішні уряди змушені боротися зі своїм важким становищем як вболівальників приватних корпорацій, які позичають свою військову силу, дипломатичний капітал та економічну силу для просування цих доморощених фірм, так і прихильників пересічного громадянина, підозрілого до монополістичної жадібності та таємниці. Це може виявитися нестримним протиріччям.
Тим часом корпорації могли б сформувати альянси, щоб консолідувати свою і без того значну силу. Ці альянси можуть бути побудовані на додаткових перевагах та прибутку від об’єднання або, альтернативно, на спільній філософії розробки та розгортання систем штучного інтелекту. Ці корпоративні альянси можуть взяти на себе традиційні функції національної держави, хоча замість того, щоб прагнути визначити та розширити обмежені території, вони будуть культивувати дифузні цифрові мережі як свої домени.
І є ще одна альтернатива. Неконтрольована дифузія з відкритим кодом може призвести до менших банд або племен з неякісними, але значними можливостями штучного інтелекту, достатніми для управління, забезпечення та захисту себе в деяких обмежених масштабах. Серед людських груп, які відкидають встановлену владу на користь децентралізованих фінансів, комунікації та управління, така технологічна протоанархія може перемогти. Або такі угруповання можуть включати релігійний вимір. Зрештою, з точки зору охоплення, християнство, іслам та індуїзм були більшими та тривалими, ніж будь-яка держава в історії. У прийдешому віці релігійна конфесія, більше, ніж національне громадянство, може виявитися більш актуальною основою для ідентичності та лояльності.
У будь-якому майбутньому, незалежно від того, домінують корпоративні альянси або поширюються на вільні релігійні угруповання, нова “територія”, на яку претендує кожна група, і за яку вони будуть боротися, буде не дюймами землі, а цифровий ландшафт, який прагне лояльності окремих користувачів. Зв’язки між цими користувачами та будь-якою адміністрацією підірвали б традиційне поняття громадянства, а угоди між суб’єктами господарювання були б несхожими на звичайні альянси.
Історично склалося так, що альянси були сформовані окремими лідерами і служили для збільшення сили нації у разі війни. Навпаки, перспектива громадянства та альянсів — і, можливо, завоювання або хрестові походи — структурована навколо думок, переконань та суб’єктивної ідентичності звичайних людей у мирний час, вимагала б нової (або дуже старої) концепції імперії. Це також змусить переоцінити зобов’язання, пов’язані з присягою на вірність, і вартість варіантів виходу, якщо вони дійсно існуватимуть у майбутньому, заплутаному штучним інтелектом.
Зовнішня політика національних держав була побудована, а потім скоригована шляхом балансування ідеалізму та реалізму. Тимчасові баланси, досягнуті нашими лідерами, розглядаються в ретроспективі не як кінцеві стани, а лише як ефемерні (при необхідності) стратегії для свого часу. З кожним новим віком ця напруженість створювала інше вираження того, що являє собою політичний порядок. Дихотомія між прагненням до інтересів і прагненням до цінностей — або між перевагою конкретної національної держави і глобальним благом — була частиною цієї нескінченної еволюції. При проведенні своєї дипломатії лідери менших держав історично реагували прямо, надаючи пріоритет потребам власного виживання. Навпаки, відповідальні за глобальні імперії, які мають засоби для реалізації додаткових цілей, зіткнулися з більш болісним скрутним станом.
З початку цивілізації, коли людські одиниці організації зростали, вони одночасно досягали нового рівня співпраці. Але сьогодні, можливо, через масштаби планетарних викликів, а також через матеріальну нерівність, очевидну серед держав і всередині них, з’явилася негативна реакція проти цієї тенденції. ШІ може виявитися співмірним з вимогами цього ще більш грандіозного масштабу людського управління, здатного бачити з гранульністю та вірністю не лише імперативи країни, але й взаємодію земної кулі.
Ми сподіваємося, що ШІ, розгорнутий для політичних цілей у країні та за кордоном, може зробити більше, ніж просто висвітлити збалансовані компроміси. В ідеалі, він міг би забезпечити нові, глобально оптимальні рішення, діючи на більш тривалий часовий горизонт і з більшою точністю, ніж здатні люди, і, таким чином, вирівнюючи конкуруючі людські інтереси. У наступному світі машинний інтелект, який орієнтується в конфліктах і веде переговори про мир, може допомогти прояснити або навіть подолати традиційні дилеми.
Однак, якби ШІ дійсно вирішував проблеми, які ми сподівалися вирішити самі, ми могли б зіткнутися з кризою впевненості — як надмірної впевненості, так і відсутності впевненості. Для перших, як тільки ми розуміємо межі нашої власної здатності до самокорекції, може бути важко визнати, що ми поступилися занадто багато влади машинам у вирішенні екзистенційних питань людської поведінки. Для останнього усвідомлення того, що простого видалення людського агентства з вирішення наших справ було достатньо для вирішення наших найбільш нерозв’язних проблем, може занадто чітко виявити недоліки людського дизайну. Якщо мир завжди був лише простим добровільним вибором, то ціна людської недосконалості була оплачена монетою вічної війни. Знати, що рішення завжди існувало, але ніколи не було задумане нами, було б нищівним для людської гордості.
У випадку безпеки, на відміну від переміщення людей у наукових чи інших академічних починаннях, ми можемо легше прийняти неупередженість механічної третьої сторони як обов’язково перевершує корисливість людини — так само, як люди легко визнають необхідність посередника в спірному розлученні. Деякі з наших найгірших рис дозволять нам продемонструвати деякі з наших найкращих: що людський інстинкт до власних інтересів, навіть за рахунок інших, може підготувати нас до прийняття трансцендентності ШІ себе.
ГЕНРІ А. KISSINGER служив як Державний секретар США з 1973 по 1977 рік і як Радник з національної безпеки з 1969 по 1975 рік.
ЕРІК ШМІДТ є головою проекту спеціальних конкурентних досліджень та колишнім генеральним директором та головою Google.
КРЕЙГ МУНДІ є співзасновником Alliant Computing Systems і колишнім старшим радником генерального директора Microsoft.
Це есе адаптовано з їхньої книги Genesis: Artificial Intelligence, Hope, and the Human Spirit (Little, Brown and Company, 2014).