Как расставлять приоритеты?
В чем проблема?
Перед принятием решения мы часто ранжируем. Прежде чем выбрать одежду, продукты, фильм или ресторан на вечер мы интуитивно ранжируем доступные нам варианты, выбираем наиболее предпочтительный.
Ранжирование - это присвоение предмету определенной позиции или веса относительно других.
Интуитивное ранжирование подвержено влиянию когнитивных искажений как и другие наши решения. Выбирая из возможных вариантов, мы часто привязываемся к одному, а остальные варианты либо не рассматриваем, либо находим аргументы почему они нам не подходят.
Наверное в этом нет ничего страшного, когда мы интуитивно выбираем ресторан или фильм на вечер. Что если решение касается выбора кандидата на ТОП-позицию в компанию, выбора места строительства крупного завода или расстановки приоритетов при распределении ресурсов на уровне государства или компании?
Попарное сравнение
Для решения этой проблемы американский психолог Луис Леон Терстоун разработал метод Попарного сравнения. Метод используется для определения предпочтений, в области социального и индивидуального выбора, инженерии требований.
Суть методики проста - необходимо сравнить последовательно между собой варианты, при сравнении пар отметить более предпочтительный. Вариант, который после сравнений наберет большее количество балов считается наиболее предпочтительным. Для небольшого числа вариантов вы можете это сделать на листе бумаге. Ниже показан механизм сравнения.
Важно. Критерий сравнения надо сформулировать максимально понятно. Сравнивать последовательно только 2 варианта между собой. Сравнить все сочетания пар вариантов.
Зачем тратить время на сложные методики когда результат будет такой же?
Попробуйте эту методику на простом примере - напишите список из 10 фильмов, которые Вы смотрели. Ранжируйте список фильмов по Вашем предпочтению сначала интуитивно. Затем - с помощью методики попарного сравнения. Как правило эти два списка будут отличаться. Рейтинг фильмов составленный с помощью попарного сравнения будет лучше отражать Ваши предпочтения.
По ссылке Вы можете скачать файл и попробовать эту методику на примере первой десятки рейтинга фильмов Кинопоиска. Или вписать в файл свой перечень фильмов и ражировать их.
Механизм попарного сравнения можно сравнить с взвешиванием на весах с чашами. Мы не сможем узнать точный вес предмета, но сравнить между собой и понять какой предмет тяжелее или легче мы сможем.
Если сравнить напрямую два объекта сложно? Что делать?
В этом случае надо выделить несколько характеристик, по которым будет проще сравнивать два объекта. Например если это фильмы, мы можем их сравнить по характеристикам - сюжет, актерская игра, визуальные эффекты. Если Вы выбираете кандидата на ТОП-позицию - опыт, образование, харизма.
Механизм методики с несколькими критериями такой же как и с одним. Единственное отличие - каждому критерию надо добавить вес значимости (от 0 до 1). Затем сложить баллы по каждому критерию с учётом его веса. Это будет ранг отдельного варианта.
В итоге вы получите рейтинг вариантов с учетом нескольких характеристик.
Если экспертов несколько? Что делать?
Для ответа на этот вопрос немного углубимся в математическое обоснование этого метода. Попарное сравнение вариантов можно представить в виде бинарной матрицы симметричных отношений. Если мы считаем, что вариант А лучше В, то в ячейке на пересечении по строке А и столбцу В ставим "1", в симметричной ячейке относительно главной диагонали ставим "0". Главную диагональ оставляем пустой. Механизм заполнения матрицы бинарных отношений показан ниже в гифке.
Вернемся к вопросу - как ранжировать варианты если экспертов несколько?, т.е. у нас есть несколько бинарных матриц симметричных отношений. Эту задачу решил Джон Кемени один из создателей языка программирования Basic. Он ввел понятие расстояние Кемени - расстояние между двумя бинарными матрицами, рассчитывается так:
где a(i,j), b(i,j) бинарные матрицы оценок двух экспертов. Расстояние Кемени по сути показывает количество отличающихся оценок между экспертами. А для того чтобы найти итоговый рейтинг, надо найти матрицу (медиана Кемени), сумма расстояний от которой до каждой матрицы эксперта минимальная. Задача превращается в простую оптимизационную задачу, где надо найти минимум.
Стартап OpinionX реализовал в виде онлайн сервиса инструмент вероятностного парного сравнения, который использует рейтинговую систему Глико.
Как мы видим, на первый взгляд довольно простой подход попарного сравнения, получил развитие в более сложных методах и концепциях - Методе анализа иерархий, системы рейтингов Эло, PAPRIKA.
Проблемы и ограничения метода.
Основная проблема - трудоемкость если вариантов сравнения много. Для 10 вариантов ЛПРу надо будет сделать 45 сравнений, а для 20 вариантов - 105 сравнений. Также надо помнить, что важна формулировка критерия или критериев по которым ЛПР будет сравнивать варианты, критерий должен интерпретироваться однозначно.