Как получить общий балл по тестам
Недавняя рабочая задача вернула меня в мир оценки персонала и вдохновила на написание этой практической статьи. Сегодня мы обсудим, как получить общий показатель на основе результатов прохождения набора оценочных методик. Методы, которые мы рассмотрим в статье, применимы не только для оценки персонала, но и в любой ситуации, где необходимо объединить несколько переменных в одну.
Стоит отметить, что интернет изобилует описанием методов, про которые мы будем говорить и примерами их расчёта в Python или R. В этой статье я хочу, с одной стороны, рассмотреть их в контексте HR, а с другой — предложить простой вариант решения в Excel, который не требует знания языков программирования.
Задачу получения общего показателя на основе исходных переменных можно решить множеством способов. Мы же воспользуемся наиболее простым из них — объединением нормализованных переменных. Нормализовать шкалы также можно различными методами; мы рассмотрим два из них: стандартизацию (z-преобразование) и минимакс нормализацию.
Представим, что для оценки персонала мы используем три разных методики. Для упрощения я буду называть их тестами, хотя строгость методологии оценочных инструментов в данном случае будет несколько упрощена. У каждого теста своя шкала баллов:
Тестирование персонала мы запустили совсем недавно и планируем использовать его результаты для принятия решений по сотрудникам. На данный момент у нас есть всего двадцать наблюдений, но уже сейчас видно, как сложно сформировать общую картину. С ростом объёма данных это станет ещё труднее.
Стандартизация
Первый способ, который поможет нам получить общий балл тестирования — это стандартизация. Для этого исходные баллы по шкалам преобразуются в z-оценки [1], которые показывают отклонение исходного значения от среднего. 99% z-оценок лежат в интервали от -3 до +3. Да-да, это всё на основе нормального распределения, как вы уже могли догадаться [2]!
Математически z-оценка — это отношение разницы между значением переменной и её средним значением к стандартному отклонению этой переменной. После стандартизации всех шкал мы можем складывать, вычитать, находить среднее между ними и выполнять другие операции, которые нам недоступны на исходных данных.
Откроем Excel и приступим к расчётам. Получим для первого теста среднее значение и выборочное стандартное отклонение.
Теперь для каждого значения первого теста получим z-оценку по формуле.
Повторяем эти шаги для второго и третьего теста, после чего можем получить общий балл, например, рассчитав среднее значение трёх z-оценок.
Для человека, далекого от статистики, работа с z-оценками может оказаться непривычной поэтому давайте переведем их в Т-баллы [3].
Т-баллы измеряются от 0 до 100, но основная масса наблюдений падает в диапазон от 20 до 80. Однако в нашей таблице видно, что T-баллы находятся в диапазоне от 40 до 65. Это связано с тем, что стандартизация предполагает нормальное распределение исходных данных [2]. В нашем случае распределение данных явно не является нормальным, и это приводит к искажению средних значений и стандартного отклонения. Один из вариантов — накапливать большую выборку и производить расчёт параметров на её основе. Друго вариант - это использовать известные популяционные средние значения и стандартные отклонения, если провайдер оценочных методик публикует/предоставляет такие данные.
Минимакс нормализация
Другой вариант нормализации — это перевести исходные шкалы в диапазон, где минимальное значение соответствует 0, а максимальное — 1. Сделать это можно, найдя отношение разницы между исходным и минимальным значением к разнице между максимальным и минимальным значениями.
В нашем случае находить минимальное и максимальное значение по тестам не нужно, так как они известны априори на основе диапазонов исходных тестовых шкал. Давайте нормализуем первый тест.
Проделаем это для оставшихся двух тестов и получим интегральный показатель, но на этот раз учтем новую вводную — у тестов разный вес: первый и второй дают вклад по 30% каждый, третий даёт 40% в итоговую оценку.
В этом случае перевод в T-баллы нецелесообразен. Просто умножим общий балл на 100 для того чтобы получить итог.
В данном случае преимущество минимакс-нормализации заключается в том, что нам известны максимумы и минимумы, чего в других задачах может не быть. Однако по сравнению со стандартизацией этот метод имеет недостаток: он не сохраняет нормальное распределение данных, если такое имелось, а значит, не позволяет отличить выбросы от более характерных результатов.
Вывод
Выбор способа зависит от цели и доступной информации. Если у нас есть большая выборка или заранее известны параметры среднего значения и стандартного отклонения, то стандартизация выглядит более привлекательной, так как сохраняет свойства изначального распределения и позволяет адекватно учитывать выбросы.
В свою очередь, минимакс-нормализация хорошо подходит для случаев, подобных рассмотренному в статье, когда минимальные и максимальные значения известны заранее и неизменны. Также этот способ, на мой взгляд, имеет более простую интерпретацию. Однако у него есть и недостаток — теряется возможность корректно учитывать выбросы.