Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе
Введение
Современного человека окружает огромное и щедрое информационное поле. Однако когда мы сталкиваемся с какими-то реальными проблемами, завязанными на необходимость «узнать то-то» и «измерить то-то», то регулярно оказывается, что мы либо пасуем перед кажущимися трудностями и ведем себя так, словно подобной информации не существует, либо же решаем прикинуть «на глазок».
При этом мы даже не можем представить себе, сколько на этом теряем денег, времени и ресурсов, — ибо чтобы узнать это, нам надо было измерить то, от измерения чего мы как раз и отказались! Причем эта проблема существует на всех уровнях — от мелкого частного предприятия до самых крупных государственных структур.
Правда состоит в том, что любая задача по измерению, какой бы сложной, запутанной или плохо сформулированной она ни была, поддается решению теми или иными методами.
Более того: даже если нельзя (или бессмысленно) пересчитать некие объекты, финансы или, допустим, симпатии потребителей, сведя результат к единственному конкретному числу, можно как минимум уменьшить интервал разброса — получив, таким образом, гораздо больше определенности в том вопросе, от которого зависит грамотное принятие решения.
А еще одна сторона правды состоит в том, что вы на самом деле знаете куда больше, чем вам самим кажется. Просто надо понимать, как именно можно применить эти знания.
О том, как узнать неведомое прежде и стать куда более квалифицированным экспертом в оценке чего бы то ни было, и рассказывает эта книга.
Измерение: решение существует
1.1. Измерить можно все, что угодно, — при условии, что измеряемый объект, фактор или явление вообще существует. Данные измерения можно произвести экономически обоснованными способами. Даже если такие измерения будут приблизительным, они все равно дают больше информации, чем вы знали про этот объект или явление до сих пор, — а значит, они могут иметь смысл.
1.2. Есть два основных толкования слова «нематериальное», и их не надо смешивать. Если речь идет о вещах, которые не являющиеся телесными, осязаемыми, то они, конечно же, существуют. Если же слово «нематериальный» употребляется в значении «не поддающийся никакому измерению», то это неверное толкование.
Примеры нематериальных (в первом значении) вещей: время; бюджет; право собственности на патент; «гибкость», необходимая в создании новых продуктов; риск неудачи при реализации проекта; эффект, который новая политика государства оказывает на здоровье населения; эффективность научных исследований; стоимость информации; вероятность того, что та или иная политическая партия победит в борьбе за Белый дом; качество; мнение общественности и т. д.
1.3. Многие, считая, что «нематериальное» не поддается измерению, принимают невыгодные для себя решения. Многие важные факторы при оценке не учитываются из-за того, что люди не понимают, как эту потенциальную выгоду (или же потенциальный убыток) подсчитать: подобный расчет считается невозможным. Верх берут слабые, но более очевидные в оценке предложения.
1.4. Чтобы показать, что такое качественная работа по проведению количественных измерений, можно привести примеры известных людей, интуитивно решивших подобные задачи и нашедших для этого удивительно простые способы.
Эратосфен первым измерил длину окружности Земли. У него не было геодезического оборудования или данных со спутников, он не участвовал в кругосветном путешествии. Но он узнал, что дно глубокого колодца в Сиене (Южный Египет) целиком освещается солнцем в полдень раз в году (значит, солнце находится прямо над колодцем). В Александрии же (к северу от Сиены) в этот день вертикальные предметы отбрасывают тень. Эратосфен решил использовать эту информацию для измерения кривизны Земли. Посчитав, какой угол образуют полуденные тени в Александрии и зная расстояния между двумя городами, древнегреческий ученый фантастически точно для своего времени определил длину земной окружности: погрешность его оценки составила всего ±3 %, а уточнить результат Эратосфена сумели только в конце XVIII века.
Это прекрасный пример того, как можно извлечь всю возможную информацию из известных или легко проверяемых фактов; неосуществимые же наблюдения можно заменить остроумными расчетами.
Итальянский физик Энрико Ферми неоднократно демонстрировал талант к интуитивным измерениям. Так, при испытании атомной бомбы на полигоне, где Ферми вместе с другими учеными наблюдал за взрывной волной, он для измерения ее мощности разорвал на мелкие кусочки страницу из блокнота и подбросил обрывки в воздух. Далее он измерил, на какое расстояние были унесены кусочки бумаги и, проведя несложные вычисления, заключил, что мощность взрывной волны была как минимум больше 10 килотонн. Любопытно, что куда более сложная аппаратура показывала лишь верхний предел мощности; в итоге она была оценена в 18,6 килотонн. Неплохая точность для нескольких клочков бумаги!
Быстрым оценкам всего, что только можно, Ферми учил и своих студентов. Самый известный пример — определение числа настройщиков пианино в Чикаго. Когда студенты сказали, что у них нет для расчета никаких данных, Ферми попросил определить другие показатели, имеющие отношение к пианино и настройщикам: численность населения Чикаго, среднее число человек в одной семье, процент семей, регулярно пользующихся услугами настройщиков, требуемая частота настройки, число пианино, настраиваемых настройщиком за день, и число рабочих дней настройщика в году.
Даже приблизительные данные позволяют воспользоваться формулой:
Число настройщиков пианино в Чикаго = (Численность населения / Число членов одной семьи) x Процент семей, пользующихся услугами настройщиков x Число настроек в году / (Число пианино, настраиваемых одним настройщиком за день x Число рабочих дней в году).
Соответственно, с поправками на неопределенность в том или ином показателе получался интервал 20–200 (при том что правильный ответ — около 50 человек).
На этом примере видно:
— даже довольно широкий полученный интервал — большой шаг вперед по сравнению с «невозможностью измерить вообще»;
— такой подход позволяет понять, какие переменные обладают наибольшей неопределенностью (процент семей, частота настроек, число рабочих дней настройщика или что-то еще); а самый крупный источник неопределенности — прямое указание на то, что надо мерить в первую очередь, чтобы максимально уточнить именно этот показатель;
— всегда надо подумать, что же вы все-таки знаете о проблеме, — вы наверняка о ней знаете хотя бы что-то!
Американская девятилетняя школьница Эмили Роза, увидев фильм о лечении бесконтактным массажем (воздействием на «энергетические поля» пациента), решила проверить достоверность этого метода. Она привлекла к эксперименту врачей, практикующих бесконтактный массаж, и сделала следующее. Врач сидел напротив Эмили, отделенный от девочки непрозрачным экраном, внизу его были отверстия, куда проходили руки целителя. Эмили кидала монетку и в зависимости от того, выпадал орел или решка, помещала свою руку над правой или левой руки медика. Врач должен был определить, над какой их рукой находится ее рука (ведь если врач берется лечить, воздействуя на «энергетическое поле», он как минимум должен его ощущать). Из 280 попыток правильно определить положение руки это удалось только в 44 % случаев — то есть целители попали на границу нижнего предела по теории вероятности (44–66 %). Соответственно, ни о каком «энергетическом поле» речи не идет.
Этот пример показывает несколько вещей:
— самые «эфемерные» факторы (если они вообще существуют и имеют какое-то значение) должны иметь последствия, которые можно обнаружить;
— самые простые методы — эксперимент в контролируемых условиях, выборка, рандомизация, испытания «вслепую» — эффективны и позволяют избежать необъективности.
Более того, подобные простейшие эксперименты способен провести даже ребенок.
1.5. Неизмеримость нематериального — это лишь иллюзия. Такое заблуждение базируется на ошибочных представлениях о:
— сущности измерения (многие плохо представляют себе, что это такое);
— объекте измерения (чтобы вообще что-то мерить, надо представлять, о чем идет речь; а этому могут помешать, например, неточность и неоднозначность терминов);
— методах измерения (многие из них малоизвестны, и люди просто не в курсе, что изрядное количество «неизмеримых» вещей уже количественно оценены).
1.6. Кроме этого, бытует убеждение, что в ряде случаев проводить количественную оценку вообще не следует. Причины, которыми это обосновывают:
— экономические (оценка потребует слишком больших затрат);
— «антистатистические» (дескать, «с помощью статистики можно доказать все, что угодно», а значит, и делать это бессмысленно);
— морально-этические (оценивать некоторые вещи просто аморально).
Из этих трех причин осмысленными бывают лишь экономические возражения — однако куда реже, чем они выдвигаются.
1.7. Сущность измерения отнюдь не всегда сводится к тому, чтобы получить одну конкретную цифру. Измерение не обязано выдавать только и исключительно точную величину. Измерение — это совокупность снижающих неопределенность наблюдений, результат которых выражается некой величиной.
1.8. Более того, измерение не всегда даже влечет за собой количественную оценку. Результат измерения должен выражаться некой величиной, где неопределенность — число, а объект наблюдения может выражаться и качественно: например, в виде принадлежности к категории. Мы можем измерить, получит ли компания патент, или произойдет ли слияние двух фирм, или каким будет пол эмбриона — при этом неуверенность в результатах будет составлять какое-то количество процентов (вероятность получения патента — 80 %, вероятность улучшения имиджа компании после слияния — 93 % и т. п.).
1.9. Один из источников ошибок при оценке — разные шкалы измерений:
— номинальные шкалы применяются к однородным единицам; так что 4 камня по 1 тонне весом в сумме дают 4 тонны;
— порядковые шкалы вроде четырехзвездочной системы оценки кинофильмов позволяют утверждать, что одна величина больше другой; так, нельзя сказать, что от просмотра четырех однозвездочных фильмов будет столько же удовольствия, как от просмотра одного четырехзвездочного.
1.10. Перед началом измерения обязательно необходимо сформулировать, что надо измерить — что конкретно имеется в виду, например, под информационной безопасностью, стратегической согласованностью или удовлетворенностью потребителей. Для этого можно использовать, например, «цепочку уточнений». Ведь если объект X важен, то он должен в чем-то проявляться; значит, он приводит к каким-то последствиям в каком-то количестве; значит, это можно измерить.
Точное определение объекта — это уже половина работы по измерению.
1.11. Существует много методов измерения, позволяющих работать с самыми разными задачами, например:
— измерения при малой случайной выборке (например, даже от небольшого числа потребителей или работников вы можете узнать важные вещи в условиях большой неопределенности);
— оценка множества объектов, которые нельзя напрямую пересчитать (например, численность тех или иных рыб в океане, растений одного вида в джунглях, необнаруженных попыток взлома системы и т. д.);
— измерения при множестве переменных, включая неизвестные (допустим, при определении причины роста продаж);
— оценка риска наступления маловероятных событий (вероятность падения метеорита или повторения теракта 11 сентября 2001 года);
— оценка стоимости чего-либо (предметов искусства, свободного времени, повышения личной безопасности...) на основе того, сколько люди готовы за это заплатить.
К числу неочевидных методов измерения относится, например, правило пяти. Существует 93-процентная вероятность того, что в любой случайной выборке медиана для всей совокупности находится в интервале между наименьшим и наибольшим значениями.
То есть если сделать наугад пять измерений (например, опросить пятерых сотрудников компании, сколько времени они тратят на дорогу домой), то с 93-процентной вероятностью истинная медиана значений (то, сколько в среднем тратит на дорогу сотрудник) окажется в этом интервале значений (даже если в нашей компании работает несколько тысяч человек).
Правило пяти демонстрирует, что можно уточнить данные, используя и чрезвычайно малую выборку.
1.12. Четыре полезных предпосылки измерения
— Ваша проблема не так уникальна, как вам кажется: проблемы измерения на самом деле довольно стандартны, и ими уже почти наверняка занимались.
— У вас гораздо больше информации, чем вы предполагаете, а необходимые вам данные хотя бы отчасти доступны. Просто подумайте, где их можно найти.
— Вам нужно меньше данных, чем вы думаете. Вспомните Эратосфена.
— Существует удобный способ измерения, который намного проще, чем вы представляете.Первый пришедший вам в голову способ — нередко самый трудный. Проявите изобретательность и найдите более простой.
1.13. Просто начните измерять то, что вам нужно. Вам необязательно сразу добиться выдающихся результатов — важнее уменьшить неопределенность. Корректировать же метод можно и по ходу измерений.
1.14. Измерения не надо проводить, если издержки на их проведение превышают ожидаемые выгоды. Но не все и нужно измерять. В каждом случае лишь несколько ключевых переменных имеют значение. Информационная ценность остальных равна или практически равна нулю. При этом надо помнить, что в ряде случаев, когда вы рискуете деньгами и в расчетах зависите от действия фактора с большой неопределенностью, то даже небольшое снижение неопределенности может окупиться.
Допустим, вы собираетесь потратить крупные средства на улучшение некоего продукта — в расчете на то, что его продажи в таком случае могут возрасти на 12 %. При этом затраты окупятся только в том случае, если объемы продаж повысятся не менее чем на 9 %. Это типичный пример ситуации, где предварительная оценка имеет высокую ценность. Далее дело стоит только за тем, чтобы выбрать метод, оправдывающий затраты на измерение.
1.15. «Антистатистические» соображения обычно являются следствием непонимания основ статистики, основ теории вероятности, риска и измерений в целом (что присуще даже специалистам). Так, говоря «С помощью статистики можно доказать все что угодно», люди имеют в виду не статистику, а использование цифр, не совсем «что угодно» или не совсем «доказать». Смысл поговорки — «цифрами можно сбить с толку людей, особенно легковерных и тех, кто не в ладах с математикой». Но почему это должно мешать измерениям?
1.16. Этические аргументы сводятся к тому, что некоторые измерения «антигуманны» (например, измерения стоимости исчезающих видов животных или человеческой жизни). Однако поскольку ресурсы (например, выделяющиеся на охрану окружающей среды) в каждом конкретном случае ограничены, вопрос целесообразности тех или иных затрат всегда актуален. Более того, даже если принципиально отказываться от любых измерений таких деликатных вещей, уйти от оценки все равно не удастся.
Сколько необходимо потратить усилий на спасение жизни 99-летнего больного человека — столько же, сколько на спасение здорового пятилетнего ребенка? Больше? Меньше? Любой ответ будет следствием того или иного измерения относительной стоимости жизни каждого из них.
2. Прежде чем приступить к измерениям
2.1. При всем разнообразии задач есть универсальный подход к измерению чего бы то ни было. Чтобы воспользоваться им, надо ответить на такие вопросы:
— Что вы пытаетесь измерить (то есть что представляет собой объект измерения)?
— Для чего вы хотите это измерить? Какое решение будет принято после получения результатов измерения? Каким должно быть «пороговое значение» определяемого показателя?
— Какую ценность будет иметь полученная информация? К каким последствиям приведет ошибка (и какова ее вероятность)? Какие усилия по измерению будут экономически оправданы?
— Что вам уже известно? Какие интервалы или вероятности представляют собой нынешнюю неопределенность (еще до измерения)?
— Какие наблюдения позволят подтвердить или исключить те или иные возможности? Что именно мы должны увидеть сразу, если сбудется тот или иной сценарий?
— Как учесть ошибки при измерении, которых можно избежать?
Первые три пункта дают возможность понять, нужно ли вообще измерять то, что планируется: ведь если результаты измерения хоть сколько-нибудь значимы, то они повлияют на ваши решения и линию поведения в дальнейшем. Если же это не так — то измерение не имеет никакой ценности и проводить его не следует.
Допустим, вы хотите оценить качество продукта. Для начала надо выяснить, что подразумевается под словами «качество продукта» и ответить себе, на что повлияет результат оценки. Если речь об изменении производственного процесса, то насколько низким должно оказаться качество продукта, чтобы вы приняли такое решение? Если речь о премировании сотрудников, то по какой формуле будут рассчитываться премии?
2.2. Для того чтобы вести измерения, нужно уметь оперировать понятиями «неопределенность» и «риск».
Неопределенность — существование более чем одной возможности, из-за чего истинный результат (число, состояние, последствия, стоимость) неизвестен. Показатель неопределенности — ряд вероятностей, соотносимых с рядом возможностей. «Есть 60 % вероятности, что рынок Х за пять лет более чем удвоится, 30 % — что он вырастет, но менее чем вдвое, и 10 % — что он сократится».
Риск — состояние неопределенности, когда в число возможностей входят нежелательные исходы: убытки, катастрофы и т. д. Показатель риска — ряд нежелательных возможностей, соотносимых с количественными вероятностями и количественно определенным ущербом. «40 % вероятности, что в скважине не окажется нефти, и убыток составит 12 млн долларов из-за затрат на разведочное бурение».
2.3. Это помогает в дальнейшем с определениями объектов измерений. Так, расплывчатое «безопасность повысилась» означает, что отдельные риски снизились — то есть либо уменьшилась вероятность наступления нежелательных событий, либо уменьшился масштаб связанного с ними ущерба. Что уже можно посчитать достаточно точно.
Например, мы выделяем из общего «необходимо повысить безопасность» один конкретный момент — вирусные атаки на организацию. Используя метод Ферми, мы выясняем ответы на вопросы:
— Как часто происходит средняя пандемическая вирусная атака? — Сколько человек страдает от такой атаки? — Как снижается эффективность работы этих людей вследствие атаки? — Как долго эффективность остается сниженной? — Какие издержки от неэффективности труда несет при этом компания?
Далее можно рассчитать, во что обходится компании вирусная атака, по следующей формуле:
Среднегодовые убытки от вирусных атак = Число атак х Среднее число пострадавших сотрудников х Среднее снижение эффективности х Средняя продолжительность простоев х Годовые затраты на оплату труда / 2080 часов в год.
2.4. Чтобы понять, что именно известно о чем-либо еще до измерений, нужен способ как-то выразить это самое знание. Кроме того, надо еще и понять, насколько хорошо мы можем выразить неопределенность. Один из способов показать это — определить величину в виде интервала возможных значений.
Например, вы не знаете точно, сколько у вас будет клиентов завтра, но думаете, что договоры подпишут не меньше трех и не больше семи человек. Если у вас существует уверенность в этом на 90 %, то можно утверждать, что ваш 90-процентный доверительный интервал составляет 3–7.
2.5. Далее надо узнать, насколько хорошо мы субъективно оцениваем вероятности. Для этого нужно результаты, ожидавшиеся ранее, сравнить с фактическими.
У субъективной оценки чаще всего наблюдаются две крайности: чрезмерная и недостаточная уверенность. Соответственно, при оценке 90-процентного доверительного интервала в его пределах оказываются либо гораздо меньше правильных ответов, либо гораздо больше.
2.6. Калибрование ответов, достоверная оценка вероятности — это навык, которому можно научиться. Для начала надо определить, чрезмерно вы уверены в своих предположениях или недостаточно. Для этого существует ряд упражнений, в том числе приведенных в книге.
Лучше быть приблизительно правым, чем точно неправым.
Уоррен Баффетт
2.7. Риск можно выразить количественно, задав интервалы значений неопределенностям, которые связаны с затратами и выгодами от решения. Когда вы точно знаете сумму и сроки осуществления затрат и получения выгод, риск не существует. Но обычно о выгодах и затратах мы знаем интервалы, а не точные параметры. Для работы с оценкой риска служит моделирование методом Монте-Карло.
Для использования модели Монте-Карло необходимы:
— калиброванные специалисты (в идеале — прошедшие сертификацию);
— хорошо задокументированная процедура построения моделей от исходных оценок;
— единый набор компьютерных инструментов.
2.8. Парадокс риска: даже если организация применяет количественный анализ рисков, то чаще всего это делается для принятия повседневных, маловажных решений. Самые серьезные и опасные решения, как правило, принимаются без полноценного анализа риска.
Английский теоретик менеджмента Чарлз Хэнди:
«Первый уровень — мерить все, что легко поддается измерению. Этот подход не вызывает возражений. Второй — отбросить то, что трудно измеряется, или приписать ему произвольное количественное значение — искусственный, уводящий в сторону путь. Третий уровень — предположить, что все трудноизмеримое не имеет значения. Это страусиная политика. Четвертый этап — сказать, что измеряемое с трудом вообще не существует. Это самоубийство».
2.9. Три основные причины ценности информации для бизнеса:
— информация снижает неопределенность в решениях, имеющих экономические последствия;
— информация влияет на поведение людей, что также имеет экономические последствия;
— порой информация сама по себе обладает рыночной стоимостью.
При этом наблюдается инверсия измерений:
— стоимость информации о подавляющем большинстве переменных равна нулю (уже существующий уровень неопределенности для них приемлем, дальнейшие измерения экономически нецелесообразны);
— выше всего стоимость информации о тех переменных, которые организации обычно не оценивают, и в обосновании проектов эти важные величины не определяются;
— стоимость информации о переменных, на чье определение обычно тратится больше всего времени и средств, либо невелика, либо равна нулю (их уточнение практически не влияет на принимаемые решения).
Соответственно, если вы хотите качественного улучшения — обратите внимание на переменную, которую прежде игнорировали. Это может заставить вас изменить принятые ранее решения или существенно откорректировать их.
Параметры разных проектов и приоритеты измерений, принятые в большинстве организаций (от обладающих минимальной стоимостью и измеряемых чаще всего до обладающих максимальной стоимостью и измеряемых реже всего):
— Первоначальные затраты (на разработку, снабжение и т. д.);
— Долгосрочные затраты (на ремонт, обучение и т. д.);
— Выгоды от экономии, кроме роста производительности труда (снижение энергопотребления, экономия сырья и материалов, сокращение капитальных затрат и т. д.);
— Рост производительности труда;
— Рост доходов;
— Темп восприятия новой технологии;
— Завершение проекта (вероятность его замораживания, изменение масштабов, дата завершения и т. д.).
2.10. Измерение — процесс не разовый, а итеративный, поэтому надо разбить весь процесс на несколько этапов и подводить итоги каждого из них. Самая ценная информация получается на начальном этапе измерений.
2.11. Стоимость информации имеет значение. Необходимо заранее определить эту стоимость — иначе неизбежны ошибки в измерениях.
3. Методы измерения
3.1. Практически для любого измерения лучше использовать соответствующие инструменты (даже с поправкой на то, что они всегда дают какую-то погрешность).
Преимущества инструментов:
— инструменты обнаруживают то, что вы не можете заметить;
— инструменты более последовательны, чем люди (они не полагаются на свои чувства);
— инструменты можно калибровать для учета ошибки измерения более точно, чем людей, и нередко погрешность инструмента можно компенсировать регулировкой;
— инструменты намеренно игнорируют все, что искажает результаты наблюдения, проводимого невооруженным глазом;
— инструменты регистрируют все необходимое;
— инструменты измеряют быстрее и дешевле, чем человек.
3.2. Чтобы выбрать подходящую категорию методов измерения, надо задать себе несколько вопросов:
— Каковы составляющие интересующего объекта? Их надо разложить так, чтобы по ним (с их собственными неопределенностями) оценить целое.
— Как этот объект или его составляющие измерялись ранее? Возможно, что люди уже сталкивались с подобной задачей и уже есть исследования на эту тему.
— В чем проявляют себя составляющие объекта? Как можно их наблюдать?
— Что нам необходимо знать, чтобы проводить измерения? Надо принять в расчет нынешнюю степень неопределенности, порог и стоимость информации.
— Что может вызвать ошибку? Каким образом наблюдения могут ввести в заблуждение?
— Какой инструмент измерения надо выбрать?
3.3. Разложение на составляющие весьма эффективно. Во-первых, любой объект исчисления является функцией других, более легких для оценки величин (см. примеры с Эратосфеном и Ферми). Так, разложение особенно полезно при оценке затрат на реализацию крупного проекта или при прогнозировании роста эффективности. Во-вторых, становится очевидно, что неопределенность исходного значения объясняется, как правило, незнанием 1–2 показателей (с них и надо начинать). В-третьих, сам процесс разложения на составляющие часто дает такое серьезное снижение неопределенности, что дальнейшие измерения становятся ненужными.
3.4. Любое исследование должно начинаться с вторичных исследований. Ваша проблема почти наверняка не уникальна.
Несколько советов по использованию Интернета для вторичных исследований:
— Если предмет исследования совершенно незнаком, начинайте с онлайновой энциклопедии Wikipedia. Даже если сама статья может быть спорной, она содержит ссылки на другие сайты, там нередко приводится несколько точек зрения и т. п.
— Ищите по словам, ассоциирующимся с исследованиями и количественным анализом: «таблица», «опрос», «контрольная группа», «корреляция» и «стандартное отклонение», а также «университет», «доктор наук» и «общенациональные исследования».
— В Интернете есть хранилища специальной информации. Заходите на сайты отраслевых или научных журналов, сайты министерств и т. п. Отдельно автор рекомендует сайт ЦРУ (в «World Fact Book» — «Всемирной книге фактов ЦРУ» — содержатся самые разнообразные данные международной статистики).
— Лучше использовать несколько поисковиков. Автор, помимо Google, пользуется clusty.com и yahoo.com.
— В исследованиях не совсем по своей теме, где упоминается интересующий вас вопрос, обязательно смотрите библиографию. Ее изучение порой лучший способ отыскать нужные данные.
— Используйте «мэш-апы» — программные приложения, интегрирующие данные из нескольких источников для представления их на одной странице: такой вид позволяет взглянуть на проблему по-новому.
— Используйте программы-анализаторы («screen-scrapers»).
— Используйте Интернет для проведения прямых опросов потребителей, работников.
3.5. Отслеживайте интересующий вас объект (ведь если объект вообще существует, вы его так или иначе наблюдаете). Если не работает один метод наблюдения — попробуйте другой (и постарайтесь проверить их все!). Проводите анализ уже имеющейся у вас информации. Используйте непосредственное наблюдение. Смотрите, подсчитывайте и по возможности делайте выборочные оценки. Если объект не оставляет после себя следов, «пометьте» его, чтобы увидеть следы. Если отследить объект не удается, создайте условия, где появится возможность наблюдать за объектом, — проведите эксперимент.
3.6. Не измеряйте точнее, чем вам нужно. Стоимость информации показывает, каков верхний предел затрат на проведение измерений; имеет смысл рассчитывать, что измерения составят приблизительно 10 % от ожидаемой стоимости полной информации, хотя нередко они не превышают и 2 %. Если первые итоги измерений оказываются неожиданными, то затрат на продолжение оценки может и вовсе не быть. И не надо забывать, что начальная информация обычно ценнее последующей: она снижает неопределенность намного больше.
3.7. Учитывайте погрешность методов измерения. Отличайте систематические ошибки (постоянные, а не случайные отклонения результатов одного наблюдения от итогов другого) от случайных (не поддающихся предсказанию, но подчиняющихся определенной закономерности, т. е. могут быть рассчитанными с помощью теории вероятности). Не путайте «достоверность» (которая отражает воспроизводимость и повторяемость результатов измерений) и «точность» (то есть то, насколько результат измерения близок к истинному значению).
3.8. Даже малые случайные выборки дают более достоверный результат, чем крупные неслучайные. Наблюдение за частью может дать вам информацию о целом.
3.9. Работайте с последствиями. Что произойдет, если интересующий вас показатель сильно повысится или заметно упадет?
3.10. Никогда не используйте метод, который способен увеличить ошибку первоначальной оценки (например, баллы — для оценки возможностей, стратегий, инвестиций; в работе с реальными величинами).
3.11. Представьте, как с этой же задачей работали бы другие люди: криминалист, психолог-экспериментатор, палеонтолог, библиотекарь... Обратите внимание на их методы измерения.
3.12. Задумайтесь над простым вопросом, ответ на который может сделать дальнейшие измерения неактуальными. Помните про Эмили Розу, которая не пыталась оценить, какой эффект дает метод бесконтактного массажа и есть ли этот эффект вообще. Такие вопросы могут вообще избавить вас от необходимости проведения сложных измерений.
3.13. Не думайте о возможных неудачах. Просто сделайте это! И уже первые результаты могут вас удивить и значительно снизить мешающую вам неопределенность.
Структура проекта по исследованию всего, что угодно
Этап 0. Подготовка проекта
— Предварительные исследования, встреча аналитика с заинтересованными лицами, изучение результатов вторичных исследований и отчетов за прошлые периоды. — Подбор экспертов. — Планирование заседаний рабочей группы: 4–6 заседаний.
Этап 1. Построение модели принятия решения
— Определение проблемы, конкретной задачи. — Детализация модели принятия решения, учет всех факторов, влияющих на анализируемое решение, и их совокупного воздействия, всех затрат и выгод. — Первоначальные калиброванные оценки: калибрование экспертов и подстановка предложенных ими значений переменных (чаще как 90-процентных интервалов или других распределенных вероятностей) в модель принятия решения.
Этап 2. Предварительные измерения
— Анализ стоимости информации. — Предварительный выбор методов измерения и их применение. — Усовершенствование модели принятия решения. Возможно несколько повторений этих шагов — пока стоимость информации превышает затраты на проведение измерений, их можно продолжать, если это экономически целесообразно.
Этап 3. Выбор показателей и конечные результаты
— Полный анализ соотношения «риск/доходность». — Выбор способов отслеживания показателей (включая изначально неочевидные переменные, вроде состояния всей экономики). — Оптимизация решения. — Заключительный отчет с описанием модели принятия решения, результатами анализа стоимости информации, использованными методами измерения, всеми показателями, требующими постоянного отслеживания, и методами оптимизации принятого решения).
Заключение
Всякий раз, когда что-либо поставит вас в тупик и вы будете готовы решить, что это невозможно измерить, задумайтесь вот о чем:
• Если нечто действительно важно для вас — значит, оно как минимум существует.
• Если нечто существует — значит, вы его так или иначе наблюдали.
• Если вы наблюдали нечто (или хоть какие-то его последствия) — значит, кое-что вы об этом все-таки знаете.
• Если нечто действительно важно для вас, но при этом вы знаете о нем явно недостаточно — значит, существует изрядная вероятность ошибки в оценке этого нечто и того или иного ущерба в случае такой ошибки.
• Ваше недостаточное знание (то есть текущую неопределенность) вы можете выразить количественно с помощью калиброванных оценок. Проверяйте верхнюю и нижнюю границу интервалов.
• Рассчитайте стоимость дополнительной информации: определите, в каком случае решение, принимаемое с учетом дополнительной информации, будет отличаться от решения, возможного в отсутствие этой информации.
• Если фактор по итогу заслуживает количественной оценки, выберите метод и решите, сколько времени и сил надо потратить на измерение.
• Вполне возможно, что вы не идеально готовы к оценке этого нечто, но помните: даже поверхностное знакомство с несколькими методами измерения позволяет существенно снизить неопределенность — и это большой шаг вперед по сравнению не-измерением вообще.
• И ни в коем случае не игнорируйте то, что действительно важно для принятия решений.