Миллионы людей попытались доказать, что они не роботы. Зачем они это делали и что узнали
Тест Тьюринга сначала был известен под другим названием. Его создатель — известный математик и учёный-компьютерщик Алан Тьюринг — первоначально дал ему более скромное название, не связанное с его фамилией, — «Игра в имитацию». Суть теста предполагает отделение одного участника общения от другого. После завершения этого общения их просят оценить, с кем они разговаривали — с человеком или с машиной. В исходной версии человек-оценщик видит текстовый разговор между одним человеком и ИИ и должен определить, что есть что.
В более поздних модификациях мысленного эксперимента экспериментаторы подвергали тестированию чат-ботов напрямую, заставляя оценщика разговаривать с ИИ самостоятельно. В одном из таких недавних экспериментов, проведенных после бурного развития чат-ботов с большими языковыми моделями (LLM), таких как Chat GPT и Google Bard, приняли участие более миллиона человек.
Как определить, что общаешься с ИИ
Команда подробно описала, как они создали эту оценку. Добровольцы могли сыграть в онлайн-игру под названием «Человек или нет», в которой их единственной задачей было определить, разговаривают ли они с ИИ или с другим человеком. Игра назначит им либо другого игрока, либо ИИ. Для ботов были созданы предыстории, чтобы они выглядели более реалистично.
Мы создали разнообразный набор ботов, каждый из которых имеет свою уникальную индивидуальность и цель. Нас мотивировало желание сделать разговоры интересными и менее повторяющимися для постоянных пользователей, а также скрыть характерные признаки ботов, усложнив их обнаружение. — написала команда в своем исследовании.
ИИ с предсказаниями будущего
Одному из таких персонажей по имени Адам поручено попытаться убедить других пользователей, что он — это они из будущего. Это может показаться не похожим на то, что делали бы люди. Зато это может быть похоже на человека, который пытается притвориться ИИ, чтобы сбить других с толку. Такой неожиданный подход мог бы добавить игре сложности и принести не только больше пользы, но и больше удовольствия.
За первый месяц исследователи получили более 10 миллионов предположений от 1,5 миллионов уникальных пользователей, что делает этот набор данных достойным для анализа.
Из огромного количества взаимодействий мы определили несколько типов игроков-людей, которые преуспели в различных аспектах игры: игроки, которые умели узнавать других людей; игроки, которые убедительно сигнализировали о своей человечности; игроки, которые мастерски выдавали себя за ботов. — подвели промежуточный итог организаторы исследования.
Люди в эксперименте уделяли много внимания опечаткам и сленгу, полагая, что они обычно не исходят от машины, но многие из них также были смоделированы чат-ботами с искусственным интеллектом. Когда люди пытались убедить своих партнеров в том, что они люди, они часто использовали больше сленга и опечаток, а также отвечали на личные и эмоциональные вопросы.
Более своеобразный подход заключался в использовании нецензурной лексики, выражении противоречивых взглядов и представлении сообщений, на которые ИИ-боты обычно стараются не отвечать, — написали они, добавив, что «использование нецензурной лексики раскрывает человечность игрока в 86,7 процентах случаев».
Может ли ИИ прикинуться человеком
В целом люди правильно угадали личность своих партнеров только в 68 процентах игр. Когда их противником был чат-бот, они угадывали правильно в 60 процентах случаев, а в 73 процентах случаев им удавалось правильно определить, что они разговаривают с человеком-компаньоном.
Это лишний раз доказывает, что мы вполне можем не заметить, что в нашу жизнь будут ломиться системы ИИ, которые уже сложно отличить от реального человека. А ведь дальше они будут становиться только более качественными. В том числе и благодаря самообучению, в котором им помогаем мы сами.