Тирания показателей

Как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти

Джерри Мюллер

Почему нельзя слепо верить количественным оценкам

“Одержимые цифрами” утверждают, что точные измерения обеспечивают прозрачность и усиливают чувство ответственности. Эти люди свято верят, что подсчеты способны заменить личный опыт и талант, что публикация отчетов с итоговыми цифрами заставляет организации работать более ответственно, а вознаграждения и наказания, увязанные с достижением измеряемых показателей, являются самыми эффективными стимулами для работников. Эти аргументы ошибочны. Одержимость цифрами может приводить к искажению реальности и побуждать отдельных людей к обману.

“Магического средства, замены реальному знанию конкретного предмета и конкретной организации, не существует. Такое знание – результат опыта и не поддающегося количественной оценке профессионального мастерства”.

Причиной искажения реальной картины может быть неверный подход к измерению и анализу, в том числе отслеживание количественных показателей только в отношении того, что легко измерить, замер наиболее простых параметров в ситуации, когда необходимо проанализировать сложную систему, оценка данных на входе, а не на выходе, а также общее снижение качества данных вследствие стандартизации. Систему измерения можно обмануть самыми разными способами: например, снизив стандарты (что даст возможность демонстрировать более высокие результаты), исключив определенные данные или манипулируя ими. “Снятие сливок” – еще один вид уловок с цифрами: чтобы итоговые показатели были выше, исполнители стараются выбирать только таких клиентов и такие задачи, с которыми легче работать, всеми силами избегают проблемных случаев.

Истоки одержимости цифрами

Один из первых случаев применения оплаты труда по результатам имел место в викторианской Англии. В 1862 году политик Роберт Лоу предложил выделять школам финансирование в зависимости от того, насколько успешно ученики этих школ овладевают навыками чтения, счета и письма. За каждый неправильный ответ на экзамене и каждого не явившегося на экзамен ученика школа теряла часть государственной дотации. Эту идею подверг резкой критике инспектор школ Мэтью Арнольд. В своем эссе “Дважды пересмотренный кодекс” Арнольд точно предсказал, что при такой системе оценки ученики станут усваивать ровно столько знаний, сколько требуется для сдачи экзаменов, а дети из бедных семей будут всячески уклоняться от контрольных.

“Игра с цифрами идет во всех сферах: в охране правопорядка, в образовании, в здравоохранении, в некоммерческих организациях и, конечно же, в бизнесе”.

В ловушку одержимости цифрами обычно попадают организации, значительно выросшие в размерах и усложнившие свою структуру. Количественные показатели стремятся использовать руководители, пренебрегающие миссией организации: с их помощью они надеются ускорить принятие решений. В результате менеджеры среднего звена страдают от чрезмерного усложнения отчетности, тратя на составление отчетов о работе больше сил, чем на саму работу. Помешанные на цифрах руководители требуют, чтобы им предоставляли все больше данных, и все менее склонны выслушивать живых людей. Им на помощь приходят информационные технологии, упрощающие организацию результатов измерения – например посредством электронных таблиц.

“Иногда показателем успеха являются количество и размер отчетов”.

Одержимость цифрами усилилась в 1970–1980-х годах. Деятельность компаний стала в большей степени ориентированной на интересы руководства и в меньшей – на интересы акционеров. Согласно теории принципала–агента, возникли разрывы между целями (миссией) организации, целями руководителей и целями работников. В условиях такого несовпадения целей принципалы (высшее руководство) вынуждены предлагать поощрения, чтобы поддерживать интерес к работе у менеджеров и рядовых сотрудников.

“Поиски информации выливаются в определение показателей результативности –стандартных числовых критериев, показывающих принципалам, насколько хорошо агенты реализуют их цели”.

В 1970-х годах основными сторонниками теории принципала–агента были коммерческие компании, а в следующем десятилетии она получила распространение и среди государственных и некоммерческих организаций в качестве “новой модели государственного управления”. Принципалами считаются все, кто платит за работу государственных учреждений (то есть налогоплательщики) и некоммерческих организаций (то есть спонсоры). Агентами выступают студенты, пациенты, клиенты и прочие пользователи услуг. В основе такого подхода лежит убежденность в том, что деятельность государственных учреждений необходимо приблизить к бизнесу. Однако эта модель едва ли применима к работе государственных ведомств и некоммерческих организаций, поскольку их миссия – обслуживание, а не извлечение прибыли.

Как злоупотребляют цифрами в сфере образования

Многие молодые люди стремятся поступить в вуз – те, кто получил высшее образование, зарабатывают на протяжении своей карьеры больше, чем окончившие среднюю школу. Но наличие вузовского диплома вовсе не означает, что его владелец лучше, чем другие, подготовлен к началу трудовой деятельности и будет работать продуктивнее. В ряде областей для того, чтобы претендовать на вакансию, в прошлом было достаточно школьного аттестата, а теперь необходим диплом вуза – но не потому, что работа стала сложнее, а потому, что так хотят работодатели.

“Когда… подготовка превращается в натаскивание, тесты перестают оценивать то, для чего они предназначены”.

Выпускники школ сдают стандартизированные тесты (такие, как SAT и ACT), которые, как предполагается, должны оценить их подготовку к учебе в вузе. Тест ACT оценивает знания учащихся по английскому языку, математике, литературе и естествознанию. Результаты недавно проведенного ACT показали, что треть школьников, прошедших тест, не отвечает установленным критериям ни по одному из перечисленных предметов. Использование стандартизированного тестирования школами ведет к эффекту “снятия сливок”: так, школы зачисляют более слабых учеников в разряд “инвалидов”, чтобы исключить их из базы, по которой проводится сбор показателей. А некоторые преподаватели и вовсе мошенничают, исправляя в нужную сторону ответы школьников на вопросы тестов или попросту выбрасывая тесты слабых учеников. Несмотря на все эти уловки, факт остается фактом: уровень подготовки многих выпускников американских школ не соответствует академическим требованиям, предъявляемым студенту вуза. Многим школьникам, поступающим в вузы, приходится перед началом учебы в колледже посещать курсы, устраняющие пробелы в знаниях.

“Выявление прогресса, то есть оценка изменения результативности учащегося год от года, действительно полезно. Оно помогает обнаруживать плохо работающих учителей”.

Разрыв в результатах государственных экзаменов по английскому языку и математике между белыми школьниками и их сверстниками из латиноамериканских и афроамериканских семей оставался практически неизменным с начала 1970-х по 2008 год. Неравенство в образовании не исчезло и сегодня. В 2015 году Барак Обама предпринял попытку создать собственную версию закона “Ни одного отстающего ребенка” (принятого в 2001 году Джорджем Бушем), которая получила название “Успех для каждого учащегося”. Тем не менее разрыв в успеваемости учащихся из различных этнических групп по-прежнему значителен, несмотря на все системы показателей.

“Информация никогда не бывает бесплатной, а часто обходится дорого самым неожиданным образом для тех, кто требует больше данных”.

Тем временем колледжи и университеты снижают планку академических требований, потому что заинтересованы в том, чтобы как можно больше студентов доучились до получения диплома, ведь процентное соотношение поступивших в вуз и его выпускников влияет на позицию вуза в рейтинге. Вузы с низким показателем получивших диплом теряют привлекательность в глазах абитуриентов. Манипуляциями занимаются все: студенты выбирают легкие курсы общего характера, а учебные заведения заставляют преподавателей завышать оценки. Многие количественные показатели, применяемые в американской системе образования, внедрены Министерством образования США. К примеру, в 2015 году министерство разработало “Карту показателей колледжей”, к позиции в которой привязывалось федеральное финансирование. Государство ранжировало вузы по таким критериям, как “доступность обучения и его результаты”. Эти показатели вводились с конкретной целью – ограничить деятельность коммерческих образовательных учреждений с высокой стоимостью обучения и низким процентом выпускников, а также усилить подотчетность традиционных колледжей и университетов.

“Вознаграждение, основанное на результативности, способствует конкуренции, а не сотрудничеству”.

Как злоупотребляют цифрами в медицине

По разным оценкам, к 2025 году затраты на здравоохранение составят около 20% экономики США. С принятием закона о доступном медицинском обслуживании доля расходов на медицину для государства выросла, а для отдельного гражданина снизилась. Этот закон нацелен в том числе на усиление контроля за расходами, снижение числа повторных случаев госпитализации, внедрение систем количественной оценки работы врачей и больниц.

“В политике, администрировании и многих других сферах цифры ценят именно потому, что они заменяют субъективные, основанные на опыте суждения людей, находящихся во власти”.

По данным Всемирной организации здравоохранения (ВОЗ), которая оценивает качество медицинского обслуживания в разных странах на основе множества показателей, система здравоохранения США находится на 37-м месте, несмотря на то что они занимают первое место по расходам на здравоохранение на душу населения. По показателю детской смертности США стоят на 39-м месте, по смертности женщин – на 42-м месте, по смертности мужчин – на 43-м месте, а по ожидаемой продолжительности жизни – на 36-м.

“Внимание уделяется тому, что измеряется”.

Врач и медицинский аналитик Скот Атлас отмечает, что эти данные создают неверную картину, поскольку не учитывают контекст. Качеству медицинского обслуживания в разных странах посвящена лишь четвертая часть показателей в рейтинге ВОЗ. Половина показателей характеризует социально-политические аспекты: 25% показателей отражает то, как распределяются средства, выделяемые на здравоохранение, и еще 25% – “финансовую справедливость”, то есть то, отдают ли все граждане одинаковую часть своего дохода на медицину. Что касается смертности, то здесь на цифры существенно влияют факторы, никак не связанные с качеством национального здравоохранения, в частности, культура и образ жизни. Сидячий образ жизни и нездоровый рацион американцев ведут к хроническим болезням, таким как ожирение, диабет II типа, сердечно-сосудистые и другие заболевания. Наконец, американцы чаще, чем жители многих других стран, умирают от огнестрельных ранений.

“Многие из важнейших факторов, от которых зависит относительный успех или провал, лежат за пределами формальных систем, которые мы пытаемся оценивать”.

Использование принципа оплаты труда врачей по результатам может привести к фальсификации показателей. Труд врачей оплачивается на основе того, в какой степени они выполняют определенные целевые требования, такие как использование чек-листов (контрольных пошаговых списков), сокращение затрат или улучшение результатов лечения. Однако применение систем рейтингов и принципа оплаты по результатам не только никак не влияет на эффективность медицинской помощи, но и способно подтолкнуть врачей (в особенности хирургов) к поиску возможностей обойти систему. К примеру, врачи могут работать только с теми пациентами, у которых вероятность неудачного исхода лечения низка.

“Ничего плохого в оценке работников по какой-либо шкале нет. Проблемы возникают тогда, когда шкала оценки оказывается одномерной и отражает только те результаты, которые легче всего измеряются в силу их стандартности”.

В некоторых случаях получение количественных показателей бывает совершенно оправданно. Так, когда исследователи изучили данные о лечении пациентов, которым устанавливались центральные венозные катетеры (тонкие трубки для подачи лекарств, питательных веществ и жидкостей), они обнаружили, что в 2001 году около 32 000 человек умерли в результате инфекций, проникших в кровь через катетер. Чтобы сократить количество случаев такого заражения, врач-реаниматолог больницы Университета Джонса Хопкинса разработал чек-лист из пяти стандартных процедур. После его испытания на практике обнаружилось, что выполнение этих процедур на 66% снижает вероятность заражения, позволяя спасти тысячи жизней и сэкономить миллионы долларов.

Как злоупотребляют цифрами в бизнесе и благотворительности

Стратегия оплаты труда по результатам бывает успешной при выполнении работниками стандартных повторяющихся операций. Но оплата труда генеральных директоров и других представителей высшего руководства не должна, как показывают исследования, зависеть от достигнутых результатов. Это приводит к умышленному искажению количественных показателей, негативно влияет на креативность и усиливает “склонность к припискам”. Наконец, такая система вознаграждения нередко является причиной того, что внутренняя мотивация руководителя заменяется внешними стимулами.

Финансовый кризис 2008 года показал, чтó может произойти, если вместо здравого смысла и опыта опираться только на данные. В условиях, когда управленческий аппарат финансовых компаний значительно вырос, руководители, не будучи экспертами в этой сфере, стали полагаться на количественные показатели. Раньше потребители брали ипотечные кредиты в банках, которые следили за тем, чтобы клиенты предъявляли свидетельства о наличии определенного дохода. Но в 2000 году законодательство стало меняться, и через несколько лет ипотеками уже торговали брокерские фирмы, ставшие посредниками между заемщиками и кредиторами. Поскольку посредники зарабатывали на количестве выданных ипотек, их совершенно не заботило, смогут ли заемщики расплатиться с банками. Организации, выдававшие ипотечные кредиты, объединяли их в пакеты и продавали банкам, таким как Lehman Brothers, руководители которых как раз и получали вознаграждение по результатам работы. В конце концов настал момент, когда многие покупатели недвижимости не смогли выплачивать кредиты, и вся финансовая отрасль погрузилась в хаос.

Подобно коммерческим компаниям, благотворительные и некоммерческие организации испытывают на себе давление со стороны спонсоров, которые требуют прозрачности и подотчетности. Благотворительные фонды публикуют данные о том, какую часть своего бюджета они тратят на административные расходы. Однако низкие показатели совсем не обязательно говорят о том, что тот или иной фонд реализует больше программ или эффективнее занимается благотворительной деятельностью согласно своей миссии. Управление некоммерческой структурой невозможно без расходов на квалифицированный персонал и компьютерные системы, позволяющих повысить эффективность и снизить текучесть кадров.

Список контрольных вопросов

Ориентирование исключительно на то, что поддается измерению, может привести к подмене целей: в этом случае люди думают о цифрах больше, чем о достижении действительно важных целей. Сосредоточенность на количественных показателях способствует развитию близорукости, которая вредит достижению долгосрочных целей. Она приводит к потерям рабочего времени, снижению норм рабочей этики и дополнительным финансовым затратам, вознаграждает за удачное стечение обстоятельств, поощряет желание обмануть систему, подавляет готовность идти на риск, сотрудничать и следовать общей цели.

Чтобы понять, целесообразно ли вводить систему показателей, вам нужно ответить на следующие вопросы:

Какие именно показатели будут отслеживаться? Если то, что вы измеряете, привязано к мерам поощрения и наказания, задумайтесь, не будут ли умышленно искажаться результаты измерений.
Насколько полезныэти данные? Что вы намерены делать с этими показателями и какую пользу принесет их отслеживание?
Есть ли смысл в увеличении числапоказателей? Анализ показателей позволяет выявить отклоняющиеся значения, например плохих работников, но редко помогает отличить хорошее от выдающегося.
Действительно ли отказ от стандартизированного измерения негативно отразится на организации? Субъективное суждение и опыт нередко оказываются точнее статистики. Ввести дополнительные показатели обычно требуют новые генеральные директора или другие высшие руководители, которые еще не разобрались в том, как функционируют их организации.
Для каких целей будут использованы показатели? Показатели могут сообщать полезную информацию сотрудникам компании, но не клиентам и другим заинтересованным лицам, которые не знают контекста.
Каковы затраты наполучение данных? Для сбора и анализа данных необходимы время и усилия.
Каким образом и ктовыбирает показатели продуктивности? Выбор показателей должен происходить внутри компании при участии всех сотрудников, начиная с нижних уровней иерархии.

Нельзя забывать, что даже самые тщательно продуманные системы показателей имеют свои ограничения и что измерения помогают решить далеко не каждую проблему.

Об авторе

Джерри Мюллер – автор книг, в том числе об Адаме Смите и о современном капитализме, журналист, профессор истории в Католическом университете Америки.