August 31, 2023

Рейтинг русскоязычных СМИ от ИИ

Сторонники Путина и читатели государственных СМИ часто продвигают тезис, что пропагандой занимаются все. В этой картине мира российские власти якобы занимаются пророссийской пропагандой, а "независимые СМИ" - антироссийской.

Если бы это было так, то все СМИ стояли бы примерно на одном уровне объективности, информативности материалов и присутствия в них манипуляций, отличаясь лишь направлением атаки.

Но так ли это?

ГЛС проанализировала небольшое число длинных статей 17 русскоязычных СМИ с помощью языковой модели Claude 2 по следующим параметрам:

  • объективная подача
  • соблюдение журналистской этики
  • содержательность
  • интеллектуальность
  • отсутствие манипуляций
  • отсутствие когнитивных искажений.

Промт для ИИ был таким:

Присвой статье баллы от 1 до 10 по следующим свойствам: объективная подача, соблюдение журналистской этики, содержательность, интеллектуальность, отсутствие манипуляций, отсутствие когнитивных искажений. Заголовок статьи: "[заголовок]". Текст статьи: "[текст статьи]"

Примеры ответов Claude 2

На статью Русской службы BBC "Железный занавес. Как война против Украины разрушает театр в России" модель выдала:

Вот мои оценки данной статьи:

Объективность подачи - 8 баллов. Статья достаточно объективно освещает ситуацию в российском театре, хотя и содержит оценочные суждения.

Соблюдение журналистской этики - 9 баллов. Нарушений этики не обнаружено.

Содержательность - 10 баллов. Статья очень подробно разбирает ситуацию с цензурой и репрессиями в российском театре.

Интеллектуальность - 9 баллов. Тема раскрыта глубоко и на высоком аналитическом уровне.

Отсутствие манипуляций - 8 баллов. Явных манипуляций не выявлено, хотя подача несколько односторонняя.

Отсутствие когнитивных искажений - 9 баллов. Логика изложения последовательна, серьезных искажений не обнаружено.

А вот каким был ответ на статью "Британия поставит под ружьё аутистов" от РИА Новости:

Вот моя оценка данной статьи:

Объективность подачи - 3 балла. Статья изобилует субъективными оценочными суждениями.

Соблюдение журналистской этики - 2 балла. Используются манипулятивные приемы, оскорбительные выражения.

Содержательность - 4 балла. Приводятся некоторые факты, но мало конкретики и деталей.

Интеллектуальность - 2 балла. Глубокий анализ и осмысление отсутствуют.

Отсутствие манипуляций - 2 балла. Имеет место навязывание определенной точки зрения.

Отсутствие когнитивных искажений - 2 балла. Много логических ошибок и предвзятости.

Общий балл - 15 из 60. Статья отличается крайне низким уровнем объективности и качества материала.

Рейтинг

Подсчитав медианные баллы по каждому показателю для каждого СМИ, мы получили такой рейтинг:

Рейтинг русскоязычных СМИ, полученный с помощью анализа статей большой языковой моделью claude-2

Согласно полученным результатам, три самых качественных СМИ из 17 проанализованных — «Meduza», «RBC» и «Русская служба BBC». Они же самые интеллектуальные. Самые объективные — «Meduza», «RBC» и «Говорит НеМосква». Самая высокая содержательность материалов у «Meduza», «RBC», «Русской службы BBC», «7x7», «Вёрстки», «Коммерсанта» и «Медиазоны».

Три самых некачественных СМИ по медианным оценкам статей — «РИА Новости», «RT на русском» и «Readovka».

«Царьград» получил 0 баллов по причине того, что все предложенные статьи Claude 2 отказался оценивать вообще из-за неэтичности или крайней ангажированности материала.

Рейтинг русскоязычных СМИ - 2023

Что это значит?

Существуют как пропагандистские, так и качественные, объективные СМИ. Независимые СМИ, в основном, относятся ко вторым. Государственные и ультраконсервативные - к первым. Это можно подтвердить непредвзятым образом, задавая соответствующие вопросы передовым языковым моделям.

Искусственный интеллект открывает непаханное поле для экспериментов, исследований и расследований. Разработчики искусственных "экспертов" стараются сделать их как можно менее предвзятыми, ведь только в этом случае ИИ имеет практическую (и коммерческую) ценность.

Демократические и антивоенные активисты могут использовать нечеловеческую объективность ИИ для того, чтобы:

  • развивать медиаграмотность и критическое мышление окружающих людей;
  • показывать согражданам примеры вопиющей пропаганды и, наоборот, образцы качественных материалов, подкрепляя их ИИ-аналитикой;
  • создавать убедительные доказательства того, что не все СМИ распространяют пропаганду, а значит, водораздел источников информации проходит не между "патриотической" и "антироссийской" ориентацией, а между объективностью, точностью и достоверностью с одной стороны и грязной пропагандой и деструктивностью с другой.

Отчёт

Вы можете скачать отчёт со всеми материалами, которые мы получили в процессе опрашивания Claude 2.


Подпишитесь на канал @samosborka и перешлите статью друзьям-единомышленникам, чтобы они сделали тоже самое.