Обзор "Понимание вариабельности как ключ к устранению организационного хаоса", 2020, Дональд Уилер
Автор
Один из мировых авторитетов в области статистического управления процессами и прикладного анализа данных. Работал с Чамберсом и Демингом. Бакалавр по физике и математике, а также магистр наук и доктор философии. Член Американской статистической ассоциации и Американского общества качества, лауреат медали Деминга.
Впечатление
Это для меня крайне жизненная книга о статистике. Если Эдвардс Деминг, Генри Нив и Девид Чамберс пишут заумно, то Уилер пишет по-простому. Как будто рассказывает про разведение кроликов.
При прочтении постоянно вспоминал какие-то свои случаи, и хотелось заорать "Я им говорил!! Вот пусть почитают, что умные люди-то пишут!!".
В книге есть интересный термин "лукавая изобретательность". Это про то, как приукрасить показатели, манипулировать статистикой, чтобы одурачить начальство. Это метод работы эффективных менеджеров.
Например, так: Регрессия к среднему, или как показать положительный эффект от любого улучшения, даже вредоносного
А ваша задача - это как раз не быть одураченым. И вот для этого надо знать, как придать данным наиболее прозрачный вид, как через них увидеть и передать настоящую суть вещей.
Уилер рассказывает всё на интересных примерах, похожих на байки. И все они пропитаны каким-то таким удивительным русским духом раздолбайства. Возникает чувство, как будто все описаные картины происходили у нас))
Основная концепция
В названии книжки идет борьба с организационным хаосом.
Так откуда берется хаос?
Когда руководители неверно реагируют на поток данных, это вносит лишнюю энтропию и бесплодные метания.
За статистическими данными есть информационный сигнал, а есть белый шум, (фон, состоящий из случайных, рандомных изменений).
Бессмысленной тратой времени является реагирование на белый шум случайной изменчивости данных (ошибка первого рода). Это можно сравнить с вглядыванием в телевизионные помехи, пытаясь в них что-то разобрать. Но губительным также является отсутствие реакции на сигнал, который не смогли увидеть за белым шумом (ошибка второго рода).
И Дональд Уилер как раз и пишет, что на совещаниях в большинстве компаний только и занимаются тем, что мечутся туда-сюда вслед за случайными скачками показателей, создавая при этом только хаос и энтропию.
Автор разбирает типичный помесячный отчет по показателям в любой организации.
В нем отслеживается какой-то показатель. И он сравнивается с такими значениями:
- Показатель данного месяца сравнивается с данными предыдущего месяца;
- Показатель данного месяца сравнивается с данными аналогичного месяца прошлого года.
- Показатель сравнивается с неким нормативом;
- В особенно запущенных случаях показатель сравнивается со средним значением этого же показателя за предыдущий период. (там уж по определению половина значений будет ниже среднего).
Далее идет два варианта действий от руководства компанией:
- Всё хорошо, молодцы;
- Всё НЕхорошо, сделайте ЧТО-НИБУДЬ (обращаются к управленцам среднего звена). Предоставьте отчет, который убедит нас, что вы понимаете, в чем проблема, и вы примете меры!
На моих глазах совещания по качеству проходили ИМЕННО ПО ВОТ ЭТОМУ АЛГОРИТМУ с точностью до мелочей.
Вот есть 4 смены, и у каждой мониторились одни и те же показатели.
Раз в неделю менеджмент собирается на совещание по качеству, и смотрит изменение показателей за последнюю неделю.
Особенно мне запомнился показатель коэффициента использования сырья. Это количество изготовленного полуфабриката разделить на количество затраченного на это сырья. Этот показатель сильно бросало вверх-вниз из-за того, что одна смена могла передать другой заполненный сырьем очень длинный конвейерный транспортер для бревен, а в другой раз - пустой. Пересчитывать бревна на транспортере каждый раз было трудно, т.к. он был очень длинным, и шел по каким-то катакомбам. То есть, визуально не было видно.
Учет бревен велся на входе, а не на выходе с транспортера. И сколько в ней сырья в момент передачи смен - система этого никак не учитывала. Вот показатель и скакал туда-сюда.
Хотя, оператор станка тоже оказывает на этот показатель определенное влияние. В каких-то ограниченных пределах на него влияет старание и мастерство оператора. Но в многократно большей степени на это влияет качество сырья, и его количество в момент передачи смен.
И на совещании от администрации в случае, когда график вильнул вверх, следовала похвала, а когда он вилял вниз - вопросы мастерам смен "Почему показатели снизились?". На эти вопросы мастера ответа дать не могут, т.к. не владеют такой терминологией как "случайная вариабельность". Менеджмент опять "Но ведь можно же достигнуть 70%! Достигали же! Много раз достигали! И другая смена же достигла! Почему опять падение?".
И возразить нечего. 70% действительно достигали. Начальники обещают "провести беседу с персоналом". Ну, то есть, что-то же надо сказать на совещании. Ну а на следующей неделе вариабельность сама собой вильнет вверх, и значит их беседа с персоналом (якобы) помогла.
И еще мастера говорят:
"Мы сделаем всё возможное"
И руководство такое:
"А НЕ-возможное?"
Конечно, и невозможное мастера тоже обещают постараться сделать.
А когда какой-то очередной показатель попадал в область приемлемых значений, менеджмент бездействовал и просто переходил к обсуждению следующего показателя. В точности так, как и писал об этом Уилер. Абсолютно бинарная система реагирования. Либо хорошо, либо плохо. Либо черное, либо белое. Либо молодцы, либо сделайте ЧТО-ТО С ЭТИМ!
А когда начальники участков говорили про то, что транспортер может быть и пустым и полным, их обрывали фразой, что это не влияет.
Там было от инженеров предложение установить датчики, которые бы делали учет того, сколько сырья одна смена передала другой. Это могло бы уменьшить вариабельность процесса, и график этого показателя бы выпрямился.
То есть, в среднем показатель не изменился, просто снизился диапазон его скачков вверх и вниз. Мы уменьшили "помехи", устранили вариабельность.
В общем, не стало руководство эти датчики ставить. Дорогие они.
Я тогда еще посмеялся у себя в голове, мол:
И как с этими датчиками проводить совещание? У руководства было всё понятно, что нужно делать: вверху хвали, внизу ругай. А что же делать теперь, когда показатель идет ровно? Что теперь они должны сделать на совещании?
Спрашивать "можно ли повысить коэффициент?", но им тогда ответят "Нет, нельзя. Покупайте более качественное сырье ". И чем тогда возразить? Ведь вы отняли у них тот аргумент "Но ведь можно же достигнуть 70%!", т.к. теперь-то уже нельзя. Раньше достигали 70%, а теперь и до такой планки уже допрыгнуть не можем, какое же это улучшение?
Получается не управление качеством, а какой-то повторяющейся цикл мотивирования людей. Игра в кошки-мышки бесконечно по кругу. И в книге таких примеров разбирается несколько.
Я тогда еще подумал, что глубокими специалистами в каких-то областях часто являются не высоко-интеллектуальные, а просто очень опытные, очень наполненные знаниями люди. Специалисты, осведомленные о большом количестве данных в этой области, при этом которые могут вовсе не уметь обращаться с этими данными.
Для квалификации недостаточно одних только знаний. Нужно еще и умение с этими знаниями правильно работать.
Управление на основе предрассудков
Об этом писал еще Деминг, но Уилер повторяет.
Допустим, отслеживается показатель количества незавершенного производства. И в какой-то месяц зафиксировано рекордно низкое его значение. И руководитель решает наградить подразделение в честь этого низкого значения.
Но что происходит потом? После рекордно низкого значения последовали три месяца роста показателя. Руководитель, должно быть, пожалел о награждении. Могло показаться, что оно было контрпродуктивным. Вместо того, чтобы продолжать снижать этот показатель, сотрудники, по-видимому, перестал стараться, и показатель снова взлетел к исходному уровню.
На этом этапе сам руководитель мог бы принять решение изменить свое поведение. Нет больше мистера Хорошего Парня. И руководитель собирает всех и устраивает нагоняй. Он требует, чтобы что-нибудь делалось для снижения показателя.
Вслед за той взбучкой сотрудники притихли и затаились. Не имея возможности рассовать материалы по укромным уголкам завода, они не представляют, как снизить уровень незавершенного производства. Поэтому они ждут, пока показатель упадет сам собой. И он в какой-то момент показатель по воздействием случайной изменчивости падает.
Что прикажете руководителю думать об этом? Он наградил подразделение, и затем увидел, что дела пошли хуже. Затем он устроил взбучку, и увидел, что дела пошли на поправку. Хотя, ничего не было сделано для изменения системы.
Отсюда он делает вывод, что жесткий менеджмент работает.
Большинство менеджеров гордятся своей способностью интерпретировать шум как сигнал. Они считают это искусством.
Неважно, насколько убедительна логика, шум остается шумом. Любая попытка объяснять шум является просто упражнением в искусстве принимать желаемое за действительное. Результатом является голая фантазия, не связанная с реальностью.
Откуда берутся эффективные менеджеры
А эффективными менееджерами становятся как раз вот эти замученные представители средней ячейки управления, которые смертельно устали на каждом совещании объяснять случайные вариации, что скорее напоминает гадание на кофейной гуще. Ну или чтобы не уволили или не оштрафовали из-за этого.
И тогда они включают "лукавую изобретательность" и каким-то образом так искажают данные, чтобы они выглядели в глазах руководства красиво.
Каких только примеров не описывает Уилер, что выдумывали начальники на местах, чтобы из них на каждом совещании не вынимали душу.
Один начальник цеха никак не мог выполнить план производства на автоматической линии. И тогда он годами просто забирал уже произведенные единицы со склада готовой продукции, распаковывал, и снова прогонял ее через последнюю стадию линии, и запаковывал обратно. Линия автоматически регистрировала единицы как новые произведенные. План производства выполнялся. Только вот на складе после инвентаризаций росли огромные пропажи. Но воровства обнаружить не могли. С ЗАВОДА-ТО НИЧЕГО НЕ ВЫНОСЯТ!! Таким вот способом этот начальник цеха уволил двух генеральных директоров, которых выгнали акционеры за недостачи на миллионы долларов.
А у меня в практике, помнится, под конец года отдел развития не достиг одну из целей подразделения на год по показателю СМК "сокращение длительности выполнения заказа".
Показатель не был достигнут, длительность выполнения заказа даже в среднем стала намного больше. Там за этот год друг на друга наложилось множество факторов. Качество заказов: выиграли какой-то тендер, и появилось много новых огромных и сложных заказов (более громадных, чем обычные). Также, случился перегруз производства из-за количества заказов.
В итоге статистической выборкой выполнение цели никак не подтверждалось. А я под конец третьего года работы обладал стойким ощущением, что я один минимум пол завода на себе тащу. И из-за этого чувства я до такой степени задембелевал эмоционально выгорел, что спокойно ответил отделу СМК, что цель не выполнена, потому что и заказы совсем другие, и т.д. Можете так и доложить кому хотите.
Отдел СМК, который был контролирующим органом по отношению ко мне, этот ответ не устроил. И они вместо меня сделали отчет о том, что цель достигнута. Они просто несколько часов копались в заказах прошлого и этого года, и нашли два или четыре заказа, которые были похожи, и которые в новом году по каким-то причинам были сделаны быстрее.
Так, минуточку. Там выше кот спросил, как надо было проводить совещания
Итак, мы наконец-то подобрались к главному. Для правильного управления нужно уметь отделять беспорядочный шум от сигнала системы.
В книге нещадно эксплуатируется один-единственный статистический инструмент. Это карта поведения процесса (в других источниках она называется контрольная карта процесса). Она тут применяется для разбора абсолютно всех примеров. Я даже в какой-то момент подумал, что книгу следовало назвать "Карта поведения процесса как ключ к устранению организационного хаоса".
Допустим, есть ряд статистических данных.
Тогда временная последовательность и линия среднего значения будут вот такие:
Это называется карта индивидуальных значений.
Весь сыр-бор тут из-за того, что все всполошились по поводу того, что показатель в последнем месяце рекордно скаканул вверх. И тут возникает вопрос, из-за чего это произошло, и что предпринять.
Взгляд на этот график не обнаруживает ни длительного тренда, ни каких-либо других признаков неслучайных изменений. Хоть этот график временной последовательности и помогает пониманию данных в целом, он не отвечает на вопрос, является или нет июльское значение величины назавершенного производства исключительным.
Нахождение скользящих размахов
Для оценки степени вариабельности этого показателя, вычисляем абсолютные величины разностей между последовательными месячными значениями.
По сути, каждое значение это просто модуль разности между двумя соседними месяцами.
Скользящие размахи напрямую характеризуют изменчивость показателя.
Смотрим временную последовательность и средний скользящий размах.
Расчет границ двух этих графиков
Для нахождения верхней границы размахов нужно умножить средний скользящий размах на масштабирующий коэффициент, равный 3,27. Этот коэффициент является константой для карты данного типа, и Уиллер в книге не уделяет внимания тому, откуда он взялся. Это нужно искать в работах Шухарта.
Верхняя граница размахов получается 4,63 х 3,27 = 15,151. Наносим!
Граница на карте индивидуальных значений называются естественными границами процесса. Они симметричны относительно центральной линии. Расстояние от центральной линии до каждой из границ рассчитывается умножением среднего скользящего размаха на второй масштабирующий коэффициент, разный 2,66. Тоже константа. И затем для верхней границы нужно прибавить полученное произведение к центральной линии карты индивидуальных значений. Для нижней вычесть.
Верхняя граница:
20,4 + 2,66 х 4,63 = 32,72
Нижняя граница:
20,4 - 2,66 х 4,63 = 8,08
Наносим!
И что это в итоге значит?
Верхняя граница 15,15 означает, что если показатель незавершенного производства меняется от одного месяца к другому более чем на 15,15 фунтов, то тогда этому следует искать объяснение. Такое изменение от одного месяца к другому слишком велико и является прямым результатом наличия особой причины.
Величины незавершенного производства показаны на той части карты, которая соответствует индивидуальным значениям. Границы тут означают, насколько большим, или насколько малым должно быть месячное значение отдельного показателя, чтобы еще не считать его явным отклонением от среднего. В данном случае месячное значение выше 32,72 или менее 8,08 было бы сигналом. В этом случае нужно искать причину такого изменения.
Итак, крайний показатель, равный 28, не является сигналом. Это лишь случайное изменение. А это означает, что требовать объяснения по этому показателю будет упражнением в бессмыслице.
Широкие получились границы. Показатели до них не дотягиваются. Положение этих границ зависит от скользящих размахов. То есть, чем больше процесс колбасило все эти три года, тем шире границы. Чем стабильнее был показатель, тем уже границы. И чтобы границы делать более узкими, а показатель более стабильным, нужно не только мотивировать людей, а именно что делать фундаментальные изменения в процессе. Например, поставить датчики, которые будут считать количество сырья в начале смены. Тогда границы изменятся, тогда интерпретация данных изменится.
Но не нужно думать, что карты всегда только убаюкивают. Показывают, что вы к безопасной зоне, вы внутри границ, и ни о чем беспокоиться не нужно. Нет, в книге есть также примеры, когда на обычном графике всё выглядело ОК, а вот карта поведения процесса показала сигнал, который был тщательно замаскирован информационным шумом. Сигнал, на который надо было реагировать, надо было действовать. Но его никто не видел. Карта процесса показала.
Тут я дал лишь методику построения этих карт. Второй пример приводить не буду. В этом нет смысла, т.к. отличие только в исходных данных.
Наверное, сейчас кажется, что эта карта - что-то непонятное. И почему вы должны верить ей, а не вашему начальнику производства? Но в формате обзора я это не объясню, это надо книгу прочитать.
То есть, карту-то эту еще Деминг давно описал, но Уиллер объясняет, почему ей нужно пользоваться.
Но никакая карта не поможет, если данные собраны неверно
Первое правило Шухарта о понимании данных
Данные должны быть представлены так, чтобы сохранять содержащиеся в них обоснования для всех прогнозов, которые могут быть сделаны с использованием этих данных.В полном объеме должен быть описан контекст для рассматриваемых данных, что включает ответы на вопросы:
- Кто собирал эти данные?
- Как собирались эти данные?
- Когда собирались эти данные?
- Где собирались эти данные?
- Что именно представляют эти данные?
И эта точка зрения вступает в полное противоречие c позицией Джин Желязны из компании McKinsey. В своей книге "Бизнес-презентация" он очень ясно дает понять, что такую информацию показывать вообще не надо! Обосновывает это он тем, что это долго, и никому не интересно. И типа нужно только что бы показать, как много мы трудились, и типа ценности эта информация не несет, один только самопиар. И что люди ждут готовое решение, а детали их не волнуют.
У Джина Желязны задача - во что бы то на стало убедить какой-нибудь совет директоров в своей правоте, и он совершенно прямо об этом в книге заявляет. А вот Дональд Уилер ставит перед собой задачу совсем другую. Не убедить в своей правоте, а докопаться до истины. Поэтому показывает всем все исходные данные. Вдруг кто-то найдет там мысль получше, чем нашел он? Вот эта позиция лично мне намного, намного ближе.
Джин Желязны, он как эффективный менеджер, ему надо свою задачу выполнить, пусть даже возможно в ущерб всем. А Уилер как неэффективный менеджер - ему надо сделать всё правильно, пусть даже в ущерб себе.
Второе правило Шухарта о понимании данных
Всякий раз, когда среднее, будь то размах или гистограмма, используется для обобщенного представления данных, эта обобщающая характеристика не должна вводить пользователя в заблуждение и побуждать его к таким действиям, которые он бы не предпринял, если бы данные были представлены в виде временной последовательности.Средние, размахи и гистограммы - все они маскируют временной характер появления данных. Если расположенные во времени данные проявляют характерный паттерн (тренд), то игнорирование или маскирование этого паттерна, оставление его без внимания, в результате использования средних, может вводить пользователя в заблуждение.
От себя добавлю: не только временной последовательности, а любого распределения, пусть даже и без временной шкалы.
Ох уж эти мне средние значения. Все знают этот анекдот про среднюю температуру по больнице. Это как раз и есть анекдот, иллюстрирующий ситуацию, о которой пишет Шухарт. Что есть красивый доклад эффективного менеджера, но если бы мы взглянули не на среднее значение, а на его распределение, то приняли бы совсем другие решения.
Нассим Талеб в своем Черном Лебеде тоже недовольно ворчит по поводу средних значений. Они очень часто маскируют что-то важное.
Инструмент "среднее значение" имеет и второй негативный эффект.
Большинство людей интуитивно уверены, что "среднее значение" это то же самое, что "самое часто-встречающееся, самое распространенное значение". Но это не так! Они не равны. Среднее значение как правило больше, чем самое распространенное.
В 2014 году в паблике города Дзержинск запилили полный возмущения пост о том, что городская администрация сделала сообщение с неправдоподобно завышенной средней зарплатой по городу. Чтобы проверить эту цифру, 50-тысячный паблик запилил голосование "Сколько ты зарабатываешь?", и собрал неплохую статистику. Конечно же, самым популярным ответом была цифра меньше, чем заявленная средняя по городу, что вызвало возмущение лживыми сообщениями о доходах горожан.
Но я просто взял и пересчитал всё в Excel, и оказалось, что именно средняя ЗП с точностью до тысячи рублей совпала с цифрой из официального сообщения. Я подробно описал это в комментариях, и меня просто забросали помидорами. Они находили совершенно любые аргументы, только бы не признать, что средняя ЗП именно такая, т.к. у всех вокруг меньше. Такой уж у тех комментаторов был круг общения.
Их аргументация доходила даже до того, что люди в голосовалке паблика якобы просто наврали. На вопрос "Зачем?" ответ "Ну вот я бы обязательно наврал".
Мораль в том, что даже если вы всё честно подсчитали, среднее значение все равно настолько непонятный инструмент, что он всё равно заморочит всем голову. А это значит цель "дать всем понять положение дел" не достигнута.
Оценки:
Повышение общего кругозора: 2/5
Практическая польза: 5/5
Драйв при прочтении: 5/5
