Беседы о правде. Беседа восьмая | Правда, лайки и оценки
/ Европейский центр программирования им. Леонарда Эйлера, 2023.
/ Московский клуб русской эстетики, 2023.
БЕСЕДЫ О ПРАВДЕ
Беседа восьмая. Правда, лайки и оценки
• Ирина Куликова, куратор,
Московский клуб русской эстетики
• Руслан Богатырев, директор,
Европейский центр программирования им. Леонарда Эйлера.
— Руслан Богатырев: Итак, правда и ложь являются проекциями истины. Обе так или иначе её искажают. Разница в том, что в случае правды искажается незначимое, а в случае лжи — существенное. Именно здесь, между главным и второстепенным, и проходит водораздел, граница. Причём размытая граница, весьма склонная к субъективным оценкам. А, значит, к эмоциям.
Уметь видеть главное и отделять его от второстепенного — ключевой показатель интеллекта. Увы, это ахиллесова пята искусственного интеллекта. В наши дни — и ключевой показатель уровня ментальной иммунной системы. С активизацией роли социальных сетей и тотального их проникновения в жизнь общества желание и умение выделять главное методично вымываются. Тем самым, подрывается ментальная иммунная система, подавляется система пространственной ориентации, и человек перестаёт понимать, где он находится в пространстве информации: где правда, а где ложь.
— Ирина Куликова: Всё так серьёзно?
— Руслан Богатырев: Гораздо серьёзнее, чем мы можем предположить. Мы уже свыклись с ложью. Нас в последние годы убаюкивают словом «фейк». Звучит мило, безобидно. Вроде как шутка, полуправда, почти неточность. А что оно в действительно обозначает? Правильно: подлог, фальсификация, ложь. Когда мы осознаём, что это ментальная подмена для понятного и привычного нам всем слова «ложь», восприятие существенно меняется. Как и ощущение опасности.
— Ирина Куликова: В прошлой беседе вы уже рассказали о том, как подступиться к выработке навыка выделять главное. Как я понимаю, это только первое приближение. Можем ли мы продвинуться дальше?
— Руслан Богатырев: Конечно. Начать, пожалуй, стоит с того, чтобы разобраться с необходимостью выделять главное. Для массовой аудитории это совсем не очевидно. Зачем? Если нам царственным перстом умные люди укажут на главное и обоснуют, мы, может, и согласимся. Но чтобы сами самостоятельно искали в любом деле — это из разряда фантастики. Ведь мы чаще не осознаём, зачем нужны приоритеты. Для обычного человека многое из того, что он привык делать — всё исключительно важное и нужное. Он ерундой не занимается.
Разберём несложный пример. Предположим, что мы выполняем некую задачу. Она состоит из последовательности этапов. Их мы в прошлый раз условились называть действиями. Допустим, что главное действие выделить мы не можем. Т.е. для нас при планировании задачи все они одинаково важны. Теперь вспомним про фактор ресурсов. Без ресурсов ни одно действие выполнено быть не может. Как минимум, требуется такой ресурс, как время. Если хотя бы одно из действий длится дольше остальных, оно автоматически переходит в разряд более важного. Как нетрудно осознать, абсолютного равенства действий по фактору времени на практике быть не может.
Могут возразить: важное действие — это не то, которое требует больше времени на выполнение. Хорошо. Назовите тогда другой ресурс, который для вас определяет важность. Логика рассуждений в отношении него будет аналогичной.
— Ирина Куликова: А если важность в понимании человека идёт не через ресурсы?
— Руслан Богатырев: Если убрать из рассмотрения категоричный и достаточно беспомощный аргумент «я так считаю», остаётся невозможность пожертвовать ни одним действием. Т.е. все они критичны настолько, что без них задача не может быть решена. Да, в предельном случае это возможно. Но это же говорит о том, что автор алгоритма привык работать на грани риска и даже не вводит в схему работы этапы контроля исполнения. Которыми очевидно можно было бы при необходимости пожертвовать. В противном случае автор алгоритма исходит из того, что любой сбой в доступности ресурсов для любого отдельно взятого действия автоматически приведёт к краху выполнения всей задачи. Не знаю, стоит ли говорить, что подобное планирование (формирование алгоритма) в таком случае не выдерживает никакой критики. Увы, непонимание этого закладывается в подавляющее большинство программных систем и решений. Многоуровневая обработка исключительных ситуаций и адаптивность программ под деградацию доступных ресурсов — практически высшая математика компьютерного программирования.
— Ирина Куликова: Убедительно. Значит, самое важное действие — то, которое требует больше ресурсов?
— Руслан Богатырев: Можно считать и так. Вы можете сначала все ресурсы свести к единому эталону измерения (напр., всё перевести в деньги). А затем выяснить, какое действие будет поглощать максимум ресурсов. Можно идти с другой стороны — от минимально допустимого качества. Т.е. до какого уровня можно упасть, чтобы задача считалась выполненной — какими действиями можно пожертвовать, каким объёмом ресурсов для их выполнения и т. д. Подходы и критерии могут быть разные. Но уравниловка в плане важности действий — это тревожный сигнал о непродуманности решения.
— Ирина Куликова: Необходимость и возможность выявления главного теперь ясна.
— Руслан Богатырев: Значит, настало время поговорить о том, как взвешивать главное.
— Руслан Богатырев: Именно. От качественной оценки стоит перейти к количественной. Тогда мы и перекинем мостик от узости, косности конкретного мышления к гибкости и широте мышления абстрактного. Не стоит пугаться. В действительности, элементами абстрактного мышления владеют практически все. Что такое рубли и килограммы известно и школьникам начальных классов. Это универсальные эквиваленты. Они знакомы, наглядны и понятны. Ибо есть числа. С ними просто выполнять математические действия. Но нам для изложения практически не потребуются даже базовые арифметические операции — сложение, вычитание, умножение и деление. Достаточно будет операций сравнения: больше, меньше, равно. Нам нужно упорядочивание, ранжирование.
— Ирина Куликова: Вы хотите на уровне школьной математики научить нас отделять правду от лжи?
— Руслан Богатырев: Это слишком сильно сказано. Всего лишь выделять главное. И далеко не для всех ситуаций. Но это уже будет огромный шаг вперёд. Итак, от эмоций и размытости границ между правдой и ложью мы начнём переходить к объективным весам и гирям обычных и беспристрастных чисел. Что легче, что тяжелее. Что меньше, что больше. Что дешевле, что дороже.
— Руслан Богатырев: Да. Мы уже обращались к науке и искусству. Сегодня настало время спорта. Вспомним расхожую формулу: голы, очки, секунды. Голы и секунды — это там, где субъективная роль арбитров сведена к минимуму. А вот очки — чаще атрибут субъективных видов спорта: фигурное катание, художественная гимнастика, спортивная гимнастика, синхронное плавание, фристайл, танцевальный спорт, прыжки в воду, прыжки на лыжах с трамплина, прыжки на батуте, конный спорт. Что характерно, во многих из них у нашей страны многолетние победные традиции и блестящая тренерская школа.
Но вернёмся к оценкам. Если будет время и желание, очень рекомендую нашим читателям самостоятельно изучить правила судейства в некоторых из перечисленных видов. В плане оценивания выступлений спортсменов. Вы тогда будете вооружены разными методиками оценки. Которые прошли проверку временем.
Мы же выберем только два вида. Попроще — прыжки в воду. И посложнее — художественную гимнастику.
== Прыжки в воду. Каждый прыжок оценивается бригадой арбитров (7 человек). Качество отражается в баллах: от 0 до 10 (с шагом 0,5). Учитываются в оценке сразу два критерия: (1) техника и (2) выполнение. Сюда входят разбег, отталкивание, прыжок (фаза полёта) и вход в воду, техника, красота и элегантность. Трудность прыжка в самой судейской оценке не учитывается. Только в финальной. Крайние две оценки арбитров отбрасываются (минимальная и максимальная). Оставшиеся суммируются и умножаются на заранее известный коэффициент сложности данного прыжка (от 1,2 до 3,6). Для окончательного результата итог умножается на 0,6 (т.е. делится на 5 и умножается на 3 — это аналог усреднения и отбрасывания 4 крайних оценок при 7 арбитрах).
Детали, на самом деле, не столь важны. Нужно просто понимать, что каждый арбитр по регламентированным критериям и принятым правилам и традициям судейства в данном виде спорта исходя из своей квалификации и опыта выставляет одну оценку. Финальная получается автоматически по формуле. Как оценивает арбитр? У него есть в голове не только правила, но также выверенные эталоны и принятое соответствие баллам. Арбитры проходят консультации и отбор. Это позволяет отстроить коллективный «датчик» качества. Понятно, что здесь могут быть политические и даже коррупционные факторы воздействия на арбитров, личные симпатии и антипатии, но в целом система работает и ею пользуются.
== Художественная гимнастика. Здесь правила подвержены довольно частым изменениям. Обычно это связано с очередным олимпийским циклом. Расскажу вкратце о правилах 2022-2024. Индивидуальные соревнования. 4 предмета: обруч, мяч, булавы, лента. Работает несколько независимых бригад судей (D, A, E). Каждая оценивает определённый критерий: (1) трудность (D), (2) артистизм (A), (3) исполнение (E).
Трудность (ранее было мастерство) имеет ещё деление: DB (трудность тела) и DA (трудность предмета). В каждой из бригад по 4 арбитра. Крайние оценки отбрасываются. По оставшимся двум смотрится среднее арифметическое. Сама система в деталях очень непроста для непосвящённых. В целом — есть надбавки и сбавки.
По артистизму и исполнению изначально даётся 10 баллов. А затем идут сбавки за нарушения/несоответствия, которые вычитают. Для трудности (прыжки, равновесия, вращения) наоборот: суммируются надбавки (элементы, связки). Но могут быть и сбавки (несоответствия требованиям).
Опять-таки, детали в рамках нашей беседы неважны. Просто это конкретная иллюстрация работающей системы оценивания. Причём именно в спорте высших достижений, где цена судейской ошибки предельно велика.
Человеку, желающему научиться выделять главное в выбранной области, стоит также отстраивать и совершенствовать свой внутренний арбитраж качества. Стоит помнить: прежде чем что-то оценивать, надо это пропустить через себя. Как бы лично вы это могли сделать. И чем меньше при этом будете себе любимому лгать, тем точнее может быть последующая ваша оценка.
— Ирина Куликова: А как всё это мы можем применить на практике?
— Руслан Богатырев: Давайте вычленим ядро предложенных механизмов оценивания выступлений. И построим свою модель. Напрашиваются три основных критерия: (1) впечатление (артистизм), (2) техника (исполнение), (3) сложность.
Что нам дают в руки социальные сети? Лайк — это эмоции на уровне «нравится». Для обывателя техника и сложность — очень размытые критерии. Судить по ним он может крайне грубо. Тем более, что визуальная сложность (виртуозность) может вообще не соответствовать реальной сложности (трудоёмкости формирования навыков). Артистизм судить непосвящённым кажется проще. Но и здесь надо владеть требованиями, эталонами и канонами. Люди же чаще вообще не заморачиваются.
Напомню, что изначально лайк создавался как механизм расширения доступа к объекту, к размещённому публично материалу. То, что теперь стало привычным в понятии репоста. Лайк и сегодня протаивает материал в ленты друзей и подписчиков, но более скрытым и замысловатым образом. Люди чаще лайк воспринимают как свой голос одобрения, голос в поддержку автора и материала (видео, фото, аудио, текст).
Как вы понимаете, о какой бы то ни было объективности и взвешенности оценок при таком уровне суждения, арбитража речь не идёт. А ведь именно лайки и формируют в итоге тот гигантский информационный поток, который обрушивают на головы сотен миллионов пользователей социальных сетей. И они в этом хаосе вынуждены обитать. И не просто обитать. Они невольно перепрограммируют своё восприятие, своих внутренних арбитров качества. Под воздействием такой внешней среды, под воздействием этого ежедневного и ежеминутного потока. Тем самым, их исподволь обучают на данных образцах как те же нейронные сети. Что закладывают в головы пользователей, то на выходе и получают.
— Ирина Куликова: Я что-то потеряла нить. Ясно, что лайки — упрощённый механизм оценивания. Но если взять вашу модель — впечатление, техника, сложность — как это поможет в выявлении главного?
— Руслан Богатырев: Введите мысленно шкалу баллов по каждому критерию. Выберите сферу применения модели, где вы и хотите её попробовать. В той же области искусства: кино, музыка, живопись, литература, театр... Сформируйте свою выборку образцов для оценивания. Затем отранжируйте их в соответствии с полученными баллами. У вас на руках будет результат ваших суждений. Качественных и количественных. В идеале надо затем свериться с экспертными мнениями и рейтингами. Хотя бы на уровне «выше — ниже» в иерархии качества и значимости.
Когда мы пользуемся поисковиками, в ответ на свой запрос получаем листы выдачи — ранжированный список. Скажем, для Яндекса это полтора десятка ссылок на одну страницу результатов поиска. А кто из нас смотрит полностью первые три страницы?
— Ирина Куликова: Обычно я смотрю несколько верхних ссылок. Там есть и рекламные. Но где-то около 7 вижу. Какие-то пробую изучать.
— Руслан Богатырев: И это довольно типичный сценарий. Т.е. кто-то (какая-то программа) за вас осуществил невидимое вам оценивание материалов по десяткам критериев (многие, полагаю, вам даже неизвестны) и на выходе дал готовый результат. Вроде бы развёрнутый (сотни и тысячи ссылок). Но как с ним работать человеку? Причём именно порядок, ранжирование и будет определять то, что вы увидите, а что вынуждено проигнорируйте. Время и мозг у нас ведь не резиновые.
А теперь ключевой вопрос: кто сказал, что алгоритм ранжирования, используемый при поиске, соответствует нашему пониманию важности и значимости в данном конкретном случае? Тем более, что у нас нет возможности детально проверить качество его работы и соответствие встроенному алгоритму поиска. Ни то, ни другое нам не дадут.
Другими словами, мы часто вынуждены слепо передоверяться сторонним рекомендациям вариантов выбора, при этом ограниченность подобного «телескопа», его разрешающая способность могут кардинально повлиять на наши действия, решения и выводы. В том числе, и на то, что для нас будет правдой, а что — ложью.
Главное и второстепенное... Полагаю, теперь вы понимаете, в чём заключены хронические и неизлечимые проблемы искусственного интеллекта.