October 23, 2019
Почему цивилизация еще существует.
Автор телеграм-канала «Сингулярность» напоминает об угрозе, которая всё ближе и ближе подбирается к нам. Угроза эта давно известна, но последние достижения в области искусственного интеллекта делают её гораздо актуальнее, чем прежде:
Экзистенциальные риски для выживания человечества подошли к тому пределу, когда само уже не рассосётся.<...>
Наивысший из этих рисков несёт разработка Автономных систем вооружений (AWS): систем вооружений, которые после активации могут сами выбирать и атаковать цели без дальнейшего вмешательства человека-оператора.
То, что цивилизация на Земле еще существует, — огромная удача. И ей мы обязаны конкретным людям:
Василий Архипов — единственный из 3-х ответственных за пуск ядерной торпеды офицеров подводной лодки Б-59. Он отказался нанести удар по США 27 октября 1962, когда капитан Савицкий уже принял решение пустить эту торпеду, а торпедный офицер, задыхаясь от нехватки воздуха и адской жары, прохрипел: “Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!”. Но Архипов остановил ядерный удар, имевший все шансы начать ядерный апокалипсис на планете.
Станислав Петров — дежурный офицер системы раннего предупреждения. Он поверил своей интуиции, что США вряд ли стали бы атаковать всего лишь 5-ю ракетами, и нарушил инструкцию, не доложив командованию, что на СССР уже летят 5 ядерных ракет США. Потом выяснилось, что это была ошибка — спутник принял солнечные блики от облаков за пламя ракетных двигателей.
А теперь, с появлением Автономных систем вооружений, в цепочке принятия решений не будет ни Архипова, ни Петрова… никого не будет, кто мог бы остановить ИИ, самостоятельно принявшего решение стрелять.