"Сильный" ИИ: прогнозы и этика

Когда ИИ превзойдёт человека и превзойдёт ли, никто не знает. Кто говорит к 2040 году, кто говорит, что вот прям щас, в следующем году. А кто считает, что никакого превосходства ИИ не будет ни в каком обозримом будущем. Мы с вами совсем недавно вот обсуждали статью про то, что у современных языковых моделей есть непреодолимые ограничения, которые не позволят с ними достичь искусственноинтеллектуального превосходства.

Короче говоря, никто ничего не знает про сверхумный ИИ: нет ни определения, ни критериев достижения, ни консенсуса. Но сегодня нас беспокоит не это. Сегодня я хочу завести любимую шарманку и пообсуждать сопровождающие развитие ИИ этические соображения.

Может или не может ИИ превзойти человека, увидим мы это или нет, обсуждение вопросов этики в любом случае важно. Крупные компании говорят про этот превосходящий ИИ и готовы вкладывать в него деньги, и уже сам этот факт влияет на кучу вещей от рынка труда до загрязнения воздуха.

Естественно, в области этики тоже нет никакого консенсуса. Но мы порассуждаем. Позадаём вопросы.

Во-первых, нормально ли желать создания такого интеллекта, который превосходит наш собственный? (Оставим в стороне отсутствие методики для оценки такого превосходства). С чисто человеческой точки зрения мне очень понятно любопытство исследователя и желание раздвигать границы наших возможностей. Но следующим поколениям придётся жить с результатами этих экспериментов, так что хорошо бы в процессе не наломать дров, а если наломать, то поменьше.

В статье «Discourse analysis of academic debate of ethics for AGI» приведен обзор мнений исследователей на тему. Что интересно, приведены мнения специалистов из социальных наук (психология, антропология и другие) и наук технических (физика, компьютерные науки и другие). Они не вполне сходятся. Они даже не вполне сходятся в том, что такое этика и мораль и как к ним относиться. В частности, кто-то полагает, что существуют объективные моральные факты и их можно строго определить и формализовать, другие – что это субъективные и неопределяемые по своей сути концепции.

«Физики» больше склонны считать, что управление сверхумным ИИ должно исходить сверху вниз, от государства, а «лирики» чаще выступают за распределение власти и контроля и более демократический подход.

Необходимо ли иметь ИИ сознание, чтобы к нему можно было начать предъявлять моральные требования? А как понять, что у него есть сознание? А что вообще есть сознание? Кто мы? Ну, вы поняли. Философия – сложная штука, без подготовки нельзя нырять сразу глубоко.

В основном дебаты вокруг интеллекта, превосходящего человеческий, сосредоточены на угрозе существования человечества: есть ли она, насколько велика, как предотвратить.

Если вас ещё не накрыл экзистенциальный кризис, можно обратиться к публикации «The risks associated with Artificial General Intelligence: A systematic review». Это тоже литературный обзор, но сконцентрированный уже на конкретных рисках, а не на дебатах о рисках. Авторы обзора исключили публикации об «узком» («слабом») ИИ, то есть, таком, который существует сейчас, и сосредоточились на ИИ, превосходящем человеческий разум. В отобранных публикациях обсуждались следующие риски:

• Выход ИИ из-под контроля человека;
• Появление у ИИ опасных для человека целей (как в процессе самостоятельного развития, так и в процессе разработки);
• Создание исходно небезопасного ИИ не преднамеренно, но из-за некачественного подхода к разработке;
• Несовпадение моральных ценностей ИИ с моральными ценностями человека;
• Некорректное управление ИИ;
• Угроза существования человечества.

Опять же, определения того, что такое «сильный», «общий» или «универсальный» ИИ ни у кого нет. Логика работы такая: даём своё определение, исходя из него очерчиваем риски, ищем стратегии минимизации. В целом, разумно в сложившихся обстоятельствах.

Наконец, есть ещё статья «The ethics of creating artificial superintelligence: a global risk perspective». Её авторы говорят про «искусственный сверхинтеллект» (artificial superintelligence, ASI), который отделяют от «общего искусственного интеллекта» (artificial general intelligence, AGI). На этом моменте я предлагаю просто смириться с обилием терминов и определений.

Авторы ссылаются на мысленный эксперимент шведского философа Ника Бострома (Nick Bostrom), который он привёл в своей статье «Ethical Issues in Advanced Artificial Intelligence». Суть в том, что превзошедший человека ИИ может иметь в качестве главной цели своего существования абсолютно любую цель, которая не факт, что придёт в голову человеку. Например, производство бесконечно большого числа скрепок. Имея сверхчеловеческий разум и ресурсы, такой интеллект мог бы разрушить планету в стремлении всё вокруг превратить в скрепки или инструмент создания скрепок. И потом перейти на соседние планеты, потому что он не страдает человеческими ограничениями.

Поэтому, заключает философ, нужно хорошенько задуматься над тем, какую цель мы ставим перед таким интеллектом. Он предлагает цель «быть хорошим другом».

Этот эксперимент со скрепками мне откликнулся, потому что современные модели (я говорю в основном про языковые, так как это область моего интереса) обучаются на тщательное следование инструкциям, что делает их более полезными, но в то же время более уязвимыми для использования людьми с нехорошими целями. Глобальный кризис перепроизводства скрепок мне представить легко.

В статье также приводится список принципов, которым авторы предлагают следовать при создании сверхинтеллекта, а ещё очень тщательный анализ рисков. Но я хочу здесь остановиться, потому что мой мозг уже переполнился вопросами, которые надо как следует обдумать.

Очень удачно я вписалась на эти выходные в хакатон технико-юридической направленности. Мы там будем обсуждать такие вопросы как «Кто несёт ответственность за ошибки ИИ?», «Как судиться с большими компаниями, которые прикрывают свои ошибки дисклеймерами в стиле “Наш ИИ может ошибаться, мы вас предупредили”?» и «Как быть, если модель сделала что-то вредное, но это сложно доказать, потому что результат плохо воспроизводится?». В некотором роде вот готовлюсь.

После этого хакатона у меня будут ещё мысли. Как только они настоятся положенное время и кристаллизуются в связный текст, я поделюсь ими в формате #эссе