Дружелюбный ИИ, часть 3
Это третья часть большого разбора большой работы “Creating Friendly AI 1.0” (“Создаём дружелюбный ИИ 1.0”). Вторая часть здесь. Если вы её пропустили, заходите почитать. Вкратце, там про то, что мы думаем об ИИ, способном ставить цели, но сами не то чтобы очень способны ставить цели. Или описать, что значит “ставить цели”.
В этой же части поговорим о том, что люди естественным образом склонны всё вокруг себя очеловечивать, и о том, как эта особенность нашего мышления влияет на наше отношение к ИИ.
Ключевая мысль в том, что мы привыкли искать у ИИ признаки сознания, которые были бы характерны для человека. Но были бы они характерны для ИИ?
Тут напрашивается длинная философская дискуссия на тему “что есть сознание”, но мы будем её сегодня игнорировать. Если вам захочется философской дискуссии, можете почитать мой пост о том: что есть “интеллект”. Можете и в комментариях дискуссию развернуть, кто же вас остановит.
Возьмём, к примеру, самосознание. Для людей это нечто само собой разумеющееся. Мы начинаем узнавать себя в зеркале между полутора и двумя годами. Мы понимаем, где заканчиваемся “мы” и начинается окружающий мир. И мы понимаем (иногда ошибочно), когда другой человек желает “нам” помочь или навредить.
Всё то же самое голливудские сценаристы* переносят в неизменном виде на Высокоразвитый ИИ Будущего.
Вот есть Терминатор, у него есть некая цель, и он знает, что если человек наставляет на Терминатора пистолет, человек хочет сделать Терминатору больно.
Или есть менее человекоподобный Авто из мультфильма про Валл-И (тот, который штурвал с красным глазом, помните?). Он как будто не имеет собственных целей, только следует инструкции, однако же может уворачиваться от полных ручек капитана, чтоб избежать отключения.
А если мы возьмём какое-нибудь приложение на компьютере? Скажем, какой-нибудь чат-бот. И представим себе на минуту, что он взял и преисполнился в сознании, и теперь полностью разумен, что бы это ни значило. У него где границы собственного “Я”?
Понимание собственного “Я” сформировалось у людей в ходе эволюции, как и многие другие штуки, для нас совершенно обыденные. Например, у нас сформировались физиологические реакции на стресс, которые вызывают определённое поведение.
Юдковский приводит такой мысленный эксперимент: если человека ударить, у него поднимется артериальное давление, участится сердцебиение, и он даст сдачи. Или заплачет, или убежит, или заорёт матом на нападающего. Иногда он, возможно, остолбенеет. В любом случае, он выдаст какую-то реакцию, значимая часть которой определена его физиологическими особенностями (и какая-то часть — культурой).
У ИИ же нет никаких физиологических особенностей. Так с чего бы нам ожидать, что он даст сдачи, заплачет, убежит, заорёт и так далее?
Сейчас можно себе представить, что философская дискуссия упорно лезет наружу из тяжёлого деревянного сундука с резными узорами. Я сижу на крышке и делаю вид, что ничего не происходит.
И в этот момент мой внутренний мир вращается вокруг меня, потому что я ощущаю своё тело, и слышу свои мысли, и чувствую свои эмоции, и никак иначе не могу воспринимать ни мой внутренний мир, ни мир окружающий.
Потрудившись, я могу представить, что вы думаете и чувствуете, читая вот эту мою писанину. Могу даже представить, что вы сидите на стуле. Могу пофантазировать, что сиденье жестковато и что у вас затекла спина, но вы не находите в себе сил встать или поменять положение. Может быть, уже вечер, вы закончили ужинать, у вас за спиной в раковине лежит грязная посуда, и вы копите энергию, чтобы встать и помыть её, наконец.
Но все эти мысленные образы я могу лишь извлечь из фрагментов собственного опыта, потому что другого у меня нет и взять неоткуда.
У ИИ же нет никакого собственного опыта: он обучен на данных из внешнего мира, которые описывают чужой опыт. Как могла бы выглядеть его картина мира в таком случае?
* Не только голливудские сценаристы, просто я решила, что сегодня пускай они за всех отдуваются. Вот в этом посте я писала про статью о том, кто формирует наши представления об ИИ. И там были голливудские сценаристы (в том числе)