Обзор статей про ЧТС. Почему же для критического вероятностного мышления так важны логико-статистические таблицы?
Уважаемые читатели. Эта статья адресована прежде всего тем специалистам по оценки персонала и психологическому тестированию, которые интересуется нашим проектом дистанционной школы ЛДПШ-24. Она была написана и опубликована на Дзен-канале "Факторы смысла" (ныне фактически закрывшимсяч) 13 января 2024 года - накануне нашей зимней школы "Конструирование тестов знаний". Но по тематике эта статья еще ближе именно к программе Летней школы, ибо здесь делается акцент на аналитике.
Я и в дальнейшем планирую перенести какие-то мои старые большие статьи из Дзена сюда - на платформу TELETYPE, чтобы здесь появилась тематическая подборка для специалистов.
===============================
Здравствуйте, уважаемые читатели и подписчики Дзен-канала «Факторы смысла»!
Еще тогда, когда мой Дзен-канал носил название «Думай Человек», я написал здесь немало статьей на тему ЧТС – «четырехклеточных таблиц сопряженности». Это было еще в эпоху пандемии и страхов вокруг вакцинации. В конце этого сообщения дается целая подборка с прямыми ссылками на статьи, где в центре внимания были так или иначе именно статистические таблицы ЧТС, а также представления о корреляционном поле и коэффициенте корреляции.
Предупреждение. Как это бывает в моих научно-статистических статьях, я вовсе не навязываю этот контент всем читателям, а только тем, кто профессионально должен заниматься социологической, психологической или медицинской аналитикой. Другим я рекомендую почитать сразу 2-й и 3-й параграфы, пропустив следующий параграф номер 1.
1. ЧТС - ЭТО ИНСТРУМЕНТ ДЛЯ КОНСТРУИРОВАНИЕ ТЕСТОВ
В эти дни мы в нашем Центре «Гуманитарные технологии» собираем и готовим слушателей для участия в очередной нашей зимней Дистанционной ПсихоМетрической Школе (ДПМШ). Зимой она традиционно посвящена практикуму «Конструирование тестов знаний». Слушатели придумывают свои тестовые задания. Мы помогаем им собрать приличную статистику ответов на их тестовых задания (не менее 50 респондентов-испытуемых). В своем письменном и устном отчете участник школы показывает, как он может проинтерпретировать собранные данные по каждому своему тестовому заданию с помощью построенных автоматически таблиц ЧТС – отобрать удачные задания, отбраковать откровенно неудачные, предложить изменить формулировка в «небезнадежных» заданиях (содержащих поправимые ошибки). Для тех, кто интересуется школой, сообщу, что найти сайт для регистрации в нашей школе очень просто - достаточно ввести в поисковик «HT-LINE», так как регистрация доступна на сайте, посвященном нашей платформе HT-LINE.
В эти дни в ТГ-канале «Компьютерная психодиагностика» мы начали проводить опрос с использованием четырех ЧТС разного вида (см. рисунок 1).
Рисунок 1. Четыре примера ЧТС для измерения валидности тестов. В клеточках каждой таблицы – число испытуемых, которые одновременно показывают определенные результаты по тесту (высокие или низкие) и по критерию (попадают в группу с высокой производительностью или в группу с низкой).
Вопрос по поводу этих четырех таблиц формулируется так: «Укажите номера таких таблиц от 1 до 4, в которых мы имеем дело с ВАЛИДНЫМ тестом (тестовым заданием)».
Рисунок 2. Доли ответов участников опроса. Сумма больше 100%, так как опрос допускает одновременный выбор нескольких ответов.
На рисунке 2 показано, как ответили наши участники. Опрос еще продолжается (пока еще не все к нему подключились, так как идет «пробуждение после зимней спячки»). Но уже сейчас видно, что в головах участников этого ТГ-канала есть и «проблески», и … «заблуждения». «Проблеском» следует считать, конечно, полное единодушие насчет таблицы 1. Слава Богу, почти все понимают, что в таблице 1 мы имеем дело с валидным, а значит практически-полезным тестом (ценным диагностическим индикатором). В самом деле 70% испытуемых (квалифицированное большинство – более двух третей) попадают в закономерные клеточки: у тех, у кого высокий балл по тесту, оказывается высокая производительность (клеточка А – верхняя левая), а у тех, у кого низкий балл по тесту, оказывается низкая производительность (это клеточка D – правая нижняя). На обложке эти клеточки выделены зеленым цветом.
Но… увы, с остальными таблицами, кроме первой, как мы видим, намечается…эмм…путаница. Впрочем, не со всеми остальными (все нормально с таблицей 3 – это невалидный тест). А вот в отношении таблицы 2 у нас наметилось целых 23% ошибочных ответов – явно многовато (!). Не содержит эта таблица НИКАКИХ вероятностных связей (корреляционных связей) между тестом и критерием, поэтому таблица 2 не дает оснований делать вывод о валидности. Простейший способ проверить такой вывод – это увидеть, что доля эффективных работников (с высоким критерием) среди успешных по тесту и доля эффективных среди неуспешных ОДНА И ТА ЖЕ (!) – она равняется ровно 80% (дробь 64/80 = 16/20). Ничего не дает такой псевдо-тест для прогноза эффективности. НАДО НАУЧИТЬСЯ это не то, чтобы «мучительно рассчитывать», а просто ВИДЕТЬ – этому навыку мы и учим наших слушателей в нашей школе.
Но… еще более грустная ситуация у нас наблюдается в отношении таблицы 5. Тут уже ошибаются не меньшинство, а большинство участников опроса – мы получили 93% ошибок (!). Хотя эту ошибку исправить на самом деле попроще будет, чем ошибку в отношении таблицы 2. Все дело в том, что таблица 4 с точки зрения «плотности корреляционной связи» ничем НЕ отличается от таблицы 1. Тут просто-напросто перепутаны полюса в тестовой шкале, только и всего (!). Такой тест точно настолько же полезен, как и тест 1. Надо просто связывать прогноз высокой эффективности с низким результатом по тесту, а не с высоким. Понятно это? Вот после нашей школы-практикума такие вещи и должны стать «совершенно понятными». Тестовое задание, которое порождает таблицу 4, является ЦЕННЫМ, его не надо выкидывать. Мы его в психометрике называем «обратным»: низкий балл по этому тестовому заданию говорит о высокой эффективности. Конечно, такие задания встречаются крайне редко в тестах на знания и способности. Но они часто встречаются в тест-опросниках на личностные черты (черты характера).
2. ЧТС – ЭТО ЛОГИКА ВЕРОЯТНОСТНОГО МЫШЛЕНИЯ
Если Вы прочли параграф 1 и подумали, что ЧТС относится только лишь к узкой области знаний – к конструирование тестов, то Вы ошиблись (!). Навык работы с ЧТС крайне важен для ВСЯКОГО вероятностно-логического мышления. А значит… он важен для всякого человека, готового развивать у себя КРИТИЧЕСКОЕ мышление.
Ключевой мой тезис здесь такой:
ЧТС – это статистический эквивалент так называемых «таблиц истинности», на которые базируется математическая логика.
Возьмем такую операцию мышления, как «импликация». Это простыми словами есть ничто иное как логический вывод: на основании события-индикатора А делается вывод о наличии категории В (большого события или «категории событий»). На кругах Эйлера событие А изображается как маленький круг, вложенный в большой круг В (см. рисунок 3).
Рисунок 3. Импликация на кругах Эйлера и в виде таблицы истинности. Каждая точка внутри круга А одновременно принадлежит кругу В, но не всякая точка в большом круге В принадлежит маленькому кругу А.
В таблице истинности справа на рисунке 3 показано, что факт отсутствия события-индикатора А еще не есть свидетельство того, что большое событие В тоже отсутствует. Обычная ошибка обыденного мышления заключается в том, что в левую нижнюю клеточку подставляется выдуманное человеком значение «нет», то есть отношение «импликации» рассматривается ошибочно как отношение «тождества» А и В. Вместо включенности одного маленького круга в большей человек неявно для себя считает круги А и В просто… совпадающими (!).
Важная оговорка насчет буквенных обозначений. Обычно для простоты изложения авторы избегают давать какие-либо иные буквенные (формальные) обозначения событий. Говорят про A и В. Но...в случае с ЧТС это приводит к многозначности, так как не только строки и столбцы таблицы обозначаются буквами A и В, но и сами клеточки - буквами А, B, С и D. Людей с математической подготовкой и абстрактным мышлением это мало смущает, ибо у них в разных контекстах одни и те же буквы могут легко обозначать очень разные вещи. Увы, у людей с конкретным мышлением это может быть источником... очередной путаницы. Поэтому я поясняю, что когда я говорю про логическую связь событий "А" и "B", то речь идет про обозначения строк и столбцов, а не клеточек таблицы (!).
Давайте сразу рассмотрим содержательный и значимый для читателей пример. Давайте возьмем такой остренький (мягко говоря) пример, как признание или непризнание какой-либо страны «страной агрессором» (тема вакцинации сейчас уже не так актуальна, как тема, связанная с международными военными конфликтами).
Пусть событие А – это ввод войск на территорию другой страны, а логический вывод B – это признание страны агрессором. Тогда на основании индикатора А делается вывод В – это понятно и логично, так ведь? НО… какой же вывод правильней сделать на основе логического (критического) мышления, если индикатор А отсутствует? – Люди ошибочно делают вывод «не В». А надо понять и осознать, что «отсутствие ввода сухопутных войск на территорию другой страны» - это еще не есть признак того, что страна является только лишь жертвой агрессии, а сама, в свою очередь, не является агрессором (!). Ведь в истории мы знаем немало примеров тому, как агрессорами следует считать не одну какую-то сторону вооруженного конфликта, а обе стороны. Почему? - А потому, что агрессией можно считать не только ввод сухопутных войск, а можно считать, например, ракетный обстрел, нарушение воздушного пространства самолетами-бомбардировщиками, арест граждан другой страны на территории своей страны, задержание военных и торговых судов другой страны на критически важных морских трассах и … множество других событий-индикаторов, включая нарушение международных договорных обязательств, имеющих критическое значения для безопасности другой страны.
Теперь рассмотрим на рисунке 4 такую ЧТС, в которой присутствует в отличие от таблицы истинности не бинарные лингвистические переменные «есть-нет», а мягкие количественно-вероятностные оценки типа «есть, но лишь в 50 процентов случаев».
Рисунок 4. Вероятностная модель логического отношения «мягкой импликации».
Понятно, что на кругах Эйлера мягкие, вероятностные отношения между событиями А и В не отразить. Приходится рисовать так называемые «функции принадлежности» (терминология Лотфи Заде - автора концепции теории «размытых множеств», или fuzzy sets).
Не пугайтесь, пожалуйста, этих терминов – «размытые множества». Я их даю для Вашей общей эрудиции, но по смыслу они нечего сложного собой не представляют. Слева на рисунке 4 – это обычное изображение самых обычных графиков распределения вероятностей. По оси Y (вертикальной оси) изображается вероятность принадлежности данной точки X событию (событию А или событию В). Видно, что графики распределения вероятностей А и В накладываются один на другой, причем так, что более узкий «колокол» А входит в более широкий «колокол» В , а не наоборот. Колокол В при этом я намеренно изобразил косым, или асимметричным , так что можно его называть не «колокол», а «холм» - это все образные выражения, которые не меняют сути дела. Мы видим, что небольшая доля из числа событий А вообще выходит за пределы В. Это всего лишь 10% - это как раз те случаи, которые отображаются в правой верхней клеточке ЧТС - справа на рисунке 4.
Какова же плотность связи между А и В в четырехклеточной таблице на рисунке 4. Простейшая, неточная мера связи – это посчитать сумму вероятностей по главной диагонали (это зеленые клеточки на обложки данной статьи) и поделить на общую сумму во всех четырех клеточках (ну не хочу я перегружать читателей Дзена более сложными коэффициентами). Складываем 90% плюс 50% и получаем 140%, а после этого делим на 200%, так что получаем 0,7 – это некая достаточно сильная, но далеко не однозначная корреляция (мягкая связь) между А и В.
Какой прикладной смысл нам дают таблицы ЧТС для переговоров насчет улаживания международных конфликтов? – Они дают очень важный и принципиальный БАЗИС для начала ЛЮБЫХ конструктивных переговоров. Это принятие ВЗАИМНОЙ ответственности сторон за конфликт. Глядя на 10% в правой верхней клеточке, а особенно на 50% в правой нижней клеточке, обе стороны должны признать обоюдную ответственность. Причем сторона, которая постоянно твердила несколько лет, что является только жертвой конфликта, на самом деле, тоже несет свою долю ответственности за конфликт. Возможно, что не в полном объеме и не в равном объеме, но несет. Возможно, как это показано на таблице 4, она несет ответственность только на 30%, но это тоже очень серьезный вклад в конфликтность, без признания которого просто НЕВОЗМОЖНО искать совместные и согласованные пути к его урегулированию. Как получаются 30% ответственности, а не 10 процентов? – А ведь еще до «сухопутного вторжения», стороны разделяли ответственность просто пополам в нашем искусственном примере - фифти-фифти (смотрите: в нижней строке ЧТС стоят цифры 50% в обеих клетках).
Теперь Вам понятно, читатели, какое ВСЕМИРНО-ИСТОРИЧЕСКОЕ значение имеет логико-вероятностное мышление для решения ключевых вопросов современности? – Создание совместной и согласованной модели ЧТС на переговорах – это важнейшее условие для сближения позиций.
Допускаю, что я не все понятно для всех здесь написал. Пожалуйста, задавайте вопросы. Я не отказываюсь от того, чтобы отвечать на все вопросы, в присутствует искреннее желание читателя разобраться в позиции автора – понять ее прежде, чем начать… «разносить в пух и прах». Тут у меня немало есть подписчиков на Дзене, которые могут подтвердить: я в самом деле многим здесь стараюсь отвечать вполне содержательно на их конструктивные комментарии – на вопросы и конструктивную критику.
Ну а в последнем параграфе 3 этой статьи Вы найдете обещанные ссылки на прежние мои статьи на тему ЧТС. Тогда был сделан определенный акцент на проблеме измерения эффективности вакцинации. В самом деле ЧТС – это главный интеллектуальный инструмент в современной так называемой «доказательной медицине». Но … не всегда даже те, кто прибегает к этому инструменту, пользуются им корректно. Дело в том, что ЧТС остро-асимметричного вида, которые бывают, когда заболевание встречается еще достаточно редко (в начале эпидемии), приводят к тому, что существующие формулы эффективности вакцинации работает некорректно - СКРЫВАЮТ от широкой общественности такой факт, что плотность связи между вакцинацией и «избеганием болезни» на самом деле еще очень МАЛА (!) – настолько мала, что навязывать всем, кто не верит в вакцинацию, обязательные прививки НЕТ НИКАКИХ НАУЧНЫХ ОСНОВАНИЙ (!). В нашей дистанционной школе мы учим наших слушателей ХЛАДНОКРОВНО и без всяких эмоций рассчитывать коэффициенты дискриминативности (КД) и контингенции (фи-коэффициент) – так чтобы измерять корректно реальную плотность связи между событием-индикатором А и критическим событием B.
Рисунок 5. Событие «заражение» встречается еще слишком редко (только у 100 человек из 1000), чтобы утверждать, что имеется большая польза от вакцинации. Коэффициент сопряженности достигает только 0,12 (вычитаем 0,04 из 0,16).
Прямая ссылка на статью «Вероятностное мышление и коэффициент корреляции»:
https://dzen.ru/a/Y9trfIarow2SOv4t
Прямая ссылка на статью «А это разные проценты: зараженных среди вакцинированных и вакцинированных среди зараженных!»
https://dzen.ru/a/YY_JhVGhFkzhYDKP
Статья «Логика, четырехклеточные таблицы сопряженности и диагностические ошибки»:
https://dzen.ru/a/Y8PquzhDxEuKSGbj
Ниже статья под названием «Риск заболевания среди вакцинированных? - И опять ошибки в процентах, причем в разы!»
https://dzen.ru/a/YNwhW8dgTV5-68eC
Статья про «буквы в клеточках» (или «Моя история из университетской жизни»):
https://dzen.ru/a/YMm33pgx3UYa34yZ
Статья «Асимметричные Четырехклеточные Таблицы Сопряженности (ЧТС) в деле профотбора»
https://dzen.ru/a/Y-DKEeISmDMQ5bka
А это полезная чужая, не моя статья (про «связь между полнолунием и поступлением пациентов в психиатрические больницы»):
https://psihdocs.ru/50-velikih-mifov-populyarnoj-psihologii.html?page=24