Измеряем качество конверсии профилей в системе ТЕЗАЛ

Вчера в беседе с одним из активистов нашего проекта ТЕЗАЛ (это был Алексей Филатов) родилась идея выразить числом качество конверсии (преобразования) одних профилей в другие - преобразования, которое автоматически выполняет система ТЕЗАЛ.

В самом деле, большинству пользователей, которые не так часто работают с числовыми значениями в разных диагностических системах, весьма трудно "на глазок" оценить, насколько удачно сработал ТЕЗАЛ в том или ином случае. А ведь, как всякая ИИ-система (включая всем уже известные версии GPT), ТЕЗАЛ далеко не всегда порождает удачное преобразование профилей. Иной раз надо очень и очень осмотрительно отнестись к тому профилю на выходе (в правом окне), который получился.

Что видно на глазок всякому, кто поиграется с системой ТЕЗАЛ хотя бы пару часиков? - Видно, что иной раз порождается профиль, имеющий очень яркий и очевидный "выступ" (пик или провал - очень высокое или очень низкое значение). В этом случае, как правило, интерпретация оказывается вполне разумной. Но иногда профиль оказывается совсем-совсем плоским и максимумальный пик на этом профиле оказывается...гм... почти что случайным (?!).

Вот что мы видим, например, на скриншоте, который я вывел прямо на обложку этой статьи? - Видим, как искусственно высокий пик по фактору 1 "Доминантность" в факторно-категориальной системе DISC преобразуется ТЕЗАЛом в достаточно яркий пик по фактору "Соматотоник" в системе Шелдона-Кречмера. В самом деле, кто такой "доминантный индивид"? - С точки зрения наших экспертов (а напомню, что в создании системы ТЕЗАЛ участвовали почти 100 экспертов-психологов, выполнивших семантическое шкалирование 2240 терминов!), "доминантность" опирается на конституционные факторы, то есть на унаследованный генетический темперамент. Таким образом, люди крепкого телосложения ("атлеты" по Кречмеру), как правило, оказываются более доминантными! - Почему? Я уверен, что объяснение этому есть и вполне убедительное: такие люди с детства оказываются физически сильней своих сверстников и лидируют в детских коллективах именно за счет "силового превосходства". Они выучивают и закрепляют тем самым до зрелых лет такие черты характера как "смелость", "уверенность в себе", "готовность к борьбе", "активность", "решительность", "воля к победе" и т.п. Взрослые руководители с такими чертами оказываются требовательными, жесткими, готовыми подавлять сопротивление подчиненных...

Но понятно, что справа мы имеем далеко не такой "идеальный" профиль в пользу "соматотоника" (атлета с развитой мускулатурой и крепким скелетом). Пик-то справа достигает вовсе не 10 очков (по шкале стэнов), а только 7,8 (!). Как же выразить числом качество такого преобразования?

ГИПОТЕЗА РАЗМЕРНОСТИ

Перед проведением всяких расчетов была выдвинута такая гипотеза, как именно можно оценить, насколько удачной окажется построенная метрика качества преобразования? По идее такая метрика должна давать более высокие значения качества для систем, которые имеют больше факторов, чем для систем, которые имеют меньше факторов. Хотя... некоторые специализированные многофакторные системы совсем-совсем могут не отражать какие-то факторы. Например, известно, что юнгианская типология (у нас в ТЕЗАЛе это MBTI) совсем не работает с факторами "Большой шестерки", отражающим нравственное поведение, - такими, как "Честность" и "Согласие". Впрочем, DISC, например, тоже не отражает нравственное поведение ( не различает просоциальное и антисоциальное поведение)...

ПРИБЛИЖЕННАЯ МЕРА, ОТРАЖАЮЩАЯ ОСТРОТУ ПРОФИЛЯ

Я поработал с этой задачкой и придумал сразу же довольно-таки простое решение, основанная на подсчета среднего-квадратического отклонения от "идеально-плоского профиля".

Вы видите в таблице 1 результаты моих промежуточных вычислений, которые я выполнил в электронной таблице Эксель. Уже знакомый нам искусственный профиль по ФКС DISC (назовем его "Доминантный субъект") преобразован с помощью ТЕЗАЛ 3.3. в пять других профилей (по пяти другим ФКС - факторно-категориальным системам); и мы постараемся оценить качество преобразования.

Как мы видим, самым лучшее соответствие как раз и возникло между "Доминантностью" по DISC и "Соматотоником" по Шелдону (0,78). Среди взаимно-однозначных соответствий нагрузка с высоким значением 0,73 - преобразование "Доминантности" в "Сангвиника" по ФКС "Темпераменты Айзенка-Гиппократа". А вот соответствие с "Экстраверсией" по Big5 и HEXACO оказалось ниже - только лишь 0,67 (напомню, что Экстраверсия - это первый фактор в системе Big5, а в системе HEXACO - это третий фактор).

Но...качество преобразования не следует сводить только лишь к одним взаимно-однозначными соответствиям типа "фактор - фактор". Ведь та же самая "Доминантность" может быть выражена в другой системе координат, повернутой относительно DISC, сразу в виде комбинации из двух или даже из трех факторов (!). Просто вектор "Доминантность" может попасть не на одну шкалу в другой ФКС, а сразу оказаться в координатном углу двух шкал, или даже трех шкал сразу.

Посмотрите, например, как "Доминантный" по DISC порождает достаточно высокое соответствие не только с "Сангвиником" по Айзенку, но и с другим "уравновешенным типом" (обладающим сильной нервной системой) - с "Флегматиком" (0,60), да к тому же он явно не может быть слабым "Меланхоликом" (4,2 сразу на 1.3 пункта отличается от идеального плоского значения 5.5 на шкале стэнов). Вопрос теперь поставим так: а какая же комбинация факторов-категорий лучше отражает свойства "Доминантности": высокий балл по одному фактору "Соматотоник" или комбинация "Сангвиник плюс Флегмат минус Меланхолик"?

Для этого как раз я и подсчитал в Экселе сумму квадратов отклонений для всех значимых факторных нагрузок в каждом столбце (для каждой ФКС). Значимыми при этом я посчитал нагрузки, которые отличаются от 5.5 более, чем на полстэна - на 0,5 пунктов по шкале стэнов). То есть, я посчитал значимыми уже значения ниже 5.0 и выше 6.0. Остальные значения (не отличающиеся значимо от 5.5) не дают вклада в сумму квадратов отклонений.

Желтым фоном в таблице 1 выделена получившаяся таблица из 5 значений, которые отражают построенную нами метрику качества для пяти разных ФКС. Как видим, с небольшим перевесом у нас побеждает система "Айзенка", то есть комбинация из трех типов Гиппократа лучше соответствует типу "Доминантный", чем единичный тип "Соматотоник" по Шелдону (0,35 против 0,34). Впрочем, такое небольшое различие в одну сотую вряд ли следует считать сколько-нибудь значимым. На таком же уровне (0,33) оказывается и качество преобразования в профиль HEXACO. В этом случае "доминантному" соответствует наилучшим образом комбинация сразу из четырех факторов "Большой шестерки":

- низкая "Эмоциональность" (0,33 - это второй фактор E),

- высокая "Экстраверсия" (0.67 - это третий фактор X),

- низкое "Согласие" (0,37 - это четвертый фактор A),

- высокая "Сознательность" (0.64 - это пятый фактор C).

Как видим, все эти четыре фактора по отдельности имеют мЕньшие нагрузки, чем факторы "Соматотоник" или "Сангвиник" в других ФКС, но все вместе они дают примерно такой же эффект - проекция семантического вектора в пространство HEXACO оказывается достаточно ДЛИННОЙ.

Математическое отступление. Как именно метрика СКО (сумма квадратов отклонений) связана с длиной векторов в векторной модели? - Вспомните, пожалуйста, обобщенную теорему Пифагора сейчас, из которой вытекает, что длина вектора подсчитывается как корень квадратный из суммы квадратов проекций на ортогональные оси. Поэтому-то хорошая проекция в "другое пространство" возникает тогда, когда вектора из исходной ФКС (из левого окна) не теряют свою длину в выходной ФКС (в правом окне), то есть получается и в правом окне тоже высокое значение показателя СКО - суммы квадратов отклонений. Вообще-то не хотел никого из Вас утомлять банальной линейной алгеброй, поэтому оформил это отступление курсором... Мол, можете не читать, если это все только раздражает.

ОТОБРАЖЕНИЕ ЧЕТЫРЕХ ТИПОВ DISC В ПЯТИ ДРУГИХ ДИАГНОСТИЧЕСКИХ СИСТЕМАХ

Пояснение насчет шкалы, основанной на СКО. Показатель "качество" нормирован так, чтобы он примерно выражал некий условный "процент" от полного однозначного соответствия, возникающего тогда, когда в выходной системе только один фактор имеет значения 10,0, а все остальные - 55. Это достигается путем деления полученной СКО на 1.00 - - максимальное возможное значение. Конечно, можно было бы немножко "схимичить" и получить более высокие значения "качества" в таблице, если бы брать за основу, например, такой искусственный профиль, где в левом окне стояло бы одно высокое значение 7.5 ил 8.0, но не 10.0 по шкале стенов. Но я не стал это делать.

А какие значения в таблиц 2 следовало бы считать высокими (значимыми)? Я взял для ориентира пороговое значение 0,3 и выделил в таблице 2 все клетки, где стоит значение выше или равное 0,3, желтым фоном. Что такое 0,3? - Ну вспомним хотя бы, в частности, многократно полученный независимыми авторами-экспериментаторами корреляционный предел "прогностической точности диспозициональных моделей", то есть моделей, основанный на чертах личности (personality traits). Да, при наличии приличной выборки (100 человек и более) крайне редко,когда удавалось получать конвергентную валидность двух разных методик, в виде коэффициентов корреляции, превышающих 0,3. Вот такое у меня пока "рабочее и понятное" обоснование этого порога.

Что мы получили в таблице 2? Не очень четкое, но все-таки подтверждение нашего предположения, что более мощные по числу факторов системы дают более точное преобразование - сохраняют информативность (длину векторов в векторно-семантической модели черт). - В самом деле, именно в случае HEXACO (то есть в случае "Большой шестерки") мы получаем больше, чем в других случаях число значимых величин СКО (выше 0.3), - в трех случаях из четырех возможных (см. правый крайний столбец таблицы 2). А также именно в случае HEXACO мы имеем более высокое среднее значение (см. нижную строку в таблице 2).

ВЫВОД: построена рабочая метрика, которая грубовато, но отражает качество автоматической проекции одной ФКС в другую ФКС с помощью системы ТЕЗАЛ. Данная метрика с некоторыми оговорками соответствует ГИПОТЕЗЕ РАЗМЕРНОСТИ, сформулированной до ее создания.

Теперь надо бы встроить эту метрику в следующую версию нашей компьютерной системы - в ТЕЗАЛ 3.4 (или уж сразу назвать эту версию ТЕЗАЛ 3.5). Так чтобы пользователям было удобно видеть, насколько удачным оказалось то или иное преобразование, в каких масштабах произошла при этом неизбежная потеря информации.

Например, в таблице 2 мы видим, что проекция в Big5 оказалось весьма неудачной (!?). И это серьезный сигнал для меня, как для научного руководителя проекта ТЕЗАЛ. Система Big5 возникла внутри системы ТЕЗАЛ очень давно (раньше многих других) и тогда экспертные оценки, видимо, еще не отличались высокой репрезентативностью: работал небольшой коллектив экспертов, которые шкалирования факторы "Большой пятерки" по шкалам-маркерам для отображения в ТЕЗАЛе. А сейчас эта процедура иная - мы просчитываем веса для словесных обозначений полюсов факторов, взятых из литературных источников, так получается поточней...

А НЕ СВОДЯТСЯ ЛИ ТИПЫ DISC К ДРЕВНИМ АНТИЧНЫМ ТЕМПЕРАМЕНТАМ?

На закуску привожу четыре скриншота, в которых показано, что между типами DISC и типами "Темпераментов" возникает в ТЕЗАЛе почти однозначное соответствие. Но слово "почти" тут как раз имеет кардинальное значение. Ведь пики в профилях справа далеки от максимального значения 10.0, а также некоторое дополнительное содержание мы получаем, когда видим, какие типы темперамента имеют справа не только высокие значения, но и низкие значения. Например, "терпимый" по DISC (который ошибочно назван при переводе "стабильным") - это не столько меланхолик, а прежде всего это "не сангвиник" и "не флегматик" (то есть это носитель слабого типа нервной системы).

Скриншот 2. Отображение «Доминантного» в ФКС «Темпераменты». Получаем скорее «Сангвиника».

Скриншот 3. Отображение «Влиятельного из ФКС DISC в ФКС «Темпераменты». Получаем скорее «Холерика».

Скриншот 4. Отображение «Терпимого» из ФКС DISC в ФКС «Темпераменты». Получаем скорее «Меланхолика».

Скриншот 5. Отображение «Добросовестного» из ФКС DISC в ФКС «Темпераменты». Получаем скорее «Флегматика».

Эти картинки, на мой взгляд, весьма красочно иллюстрируют тот факт, что любая типология (как и любая чертографическая, параметрическая модель межиндивидуальных различий) имеет в качестве СУЩЕСТВЕННОГО ИНВАРИАНТНОГО КОМПОНЕНТА проекцию в особое универсальное подпространство - факторы генетически унаследованного ТЕМПЕРАМЕНТА. На этом и основывается возможность проекции одних систем в другие, которую мы использовали в ТЕЗАЛЕ. Доля темпераментальных факторов не так уж велика (не более 30 процентов, если очень грубо ее выражать на количественном языке). Но эта доля как раз существенна потому, что она присутствует фактически в ЛЮБОЙ факторной системе (!).

КАК ПОЗНАКОМИТЬСЯ С СИСТЕМОЙ ТЕЗАЛ?

Для тех, кто хотел бы "потрогать руками" систему ТЕЗАЛ, сообщаю ссылку на лэндинг-страницу на нашем сайте "Инновационного центра "Гуманитарные технологии":

https://ht-line.ru/tezaurus/

Здесь можно оставить свои ФИО и email в заявке, и Вам будем выслан вход в демоверсию системы. На этой же страницы даются расценки на получение в свое распоряжение на определенный срок личного кабинета-студии, в которой уже доступна версия ТЕЗАЛ 3.3. в дополнении к определенным личностным онлайн-тестам.

P.S.
В заключение считаю своим долгом поблагодарить Алексея Филатова и Антона Тимофеева - участников небольшого совещания, которое меня подтолкнуло к этим изысканиям.