Сигнал и шум. Почему одни прогнозы сбываются, а другие — нет
Заглянем в завтра?
На протяжении столетий ученые дискутировали о предсказуемости мира. Формулируя свои законы механики, Ньютон указывал на то, что Вселенная полностью подчиняется упорядоченным и простым законам физики. В XIX веке французский астроном и математик Пьер-Симон Лаплас был уверен, что если располагать абсолютным знанием о месторасположении всех элементов природы и всех законов природы, то «движение каждой частицы Вселенной будет так же идеально предсказуемо, как движение шаров на бильярдном столе».
Открытие теории относительности и квантовой механики означает, что Вселенная подвержена принципу неопределенности и идеальные предсказания невозможны.
Человек склонен переоценивать свою способность заглядывать в будущее. С печальной регулярностью «достоверно» предсказанные события не наступают, а события якобы невозможные неожиданно сваливаются нам на голову. И дело не только в недостаточном владении статистикой. Сначала надо разобраться с понятием вероятности и неопределенности, научиться распознавать собственную предвзятость и ценить возможность экспериментирования.
Мы сталкиваемся с опасностью, когда рост потока информации опережает нашу способность эту информацию обрабатывать. Сейчас в тренде большие данные, однако неправильно считать, что прогнозы, основанные на больших данных, обязательно окажутся успешными. Цифры и факты не имеют самостоятельного значения. Это человек наполняет их смыслом и может интерпретировать данные так, что результат окажется оторван от реальности.
В век информации разрыв между тем, что мы знаем, и тем, что мы думаем, что знаем, становится все шире. Это проявляется в очень детальных прогнозах, которые оказываются абсолютно несостоятельными. Большинство неудачных прогнозов — результат нашей излишней самоуверенности.
Защищаясь от информационной перегрузки, мы склонны упрощать мир вокруг нас. Мы стремимся привести мир в согласие со своими представлениями о нем, на самом деле он становится все более разнообразным и сложным. Мы никогда не сможем составлять идеально объективные прогнозы. Они всегда будут нести отпечаток наших субъективных убеждений. И признание этого факта — первый шаг к улучшению качества прогнозирования.
Моделирование будущего может быть полезным, даже если модель оказывается неправильной. Она помогает понять, в чем ошибка и как минимизировать затраты от ошибок. Главное помнить, что построение моделей будущего — инструмент для лучшего понимания сложности мира, но модель никогда не сможет отразить мир целиком.
Многочисленные исследования подтверждают, что обобщенные прогнозы лучше индивидуальных. В разных областях деятельности усреднение имеющихся прогнозов часто снижает вероятность ошибки на 15–20%. Однако прежде чем высчитывать среднее, стоит обратить внимание на следующее.
- Усредненный прогноз может быть лучше индивидуального, но это не означает, что он надежен и достоверен.
- Комбинирование прогнозов улучшает качество прогнозирования только в том случае, если каждый индивидуальный прогноз составлялся независимо от других.
- Хотя усредненный прогноз бывает, как правило, лучше типичного индивидуального прогноза, он может быть хуже, чем лучший индивидуальный прогноз.
Томас Байес, английский священник XVIII века, стал основателем целого направления современной статистики и автором знаменитой теоремы1, названной в его честь. Байес полагал, что наши знания о Вселенной строятся на приближениях: мы приближаемся к истине по мере накопления новой информации. В его знаменитой книге «Эссе к решению проблемы в доктрине возможностей» заложены основы современной теории вероятности. Сформулированная им теорема позволяет рассчитать вероятность какого-либо события, при условии что произошло другое взаимосвязанное с ним событие. Пьер-Симон Лаплас сумел выразить теорему Байеса математическими средствами.
Теорема Байеса применима к широчайшему спектру событий и явлений. Например, вероятность появления рака груди у 40-летних женщин очень мала — 1,4%. Но какова вероятность рака, если маммограмма показала наличие рака? Исследования показывают, что если у женщины рака нет, то маммограмма ошибочно покажет рак примерно в 10% случаев. Если у женщины рак есть, то маммограмма распознает его в 75% случаев. Такая статистика вполне убедительно говорит о том, что позитивная маммограмма — вполне надежное свидетельство наличия рака. Однако если к этим цифрам применить теорему Байеса, то вывод будет другой — даже при наличии позитивной маммограммы вероятность наличия рака у 40-летней женщины около 10%.
«Ложный позитив» — проблема для любой науки, если составители прогнозов не пользуются теоремой Байеса. Практика показывает, что многие гипотезы, выдвигаемые в медицинских и научных академических изданиях, оказываются ложными. Исследователи не сумели в независимых условиях воспроизвести полученные ими «позитивные» данные, опубликованные в медицинских журналах. Количество информации постоянно растет, однако количество значимой информации — в разы меньше. Большая часть информации — просто «шум».
Согласно теореме Байеса, нужно уточнять прогноз каждый раз, когда становится доступной новая информация. Говоря иначе, использовать метод проб и ошибок.
Успех Google объясняется умелым сочетанием креативной культуры с неукоснительным тестированием всего нового. Google постоянно работает над улучшением качества своих прогнозов. Когда мы отправляем поисковый запрос в Google и получаем список возможных ответов, порядок, в котором появляются ответы, отражает прогноз Google в отношении того, какие ответы будут для нас более полезными. Google для улучшения качества своего поискового механизма проводит в среднем около 10 тысяч экспериментов в год.
К сожалению, эксперты, составляющие прогнозы в различных областях жизни, далеко не всегда имеют возможность проверять правильность своих статистических моделей в реальности.
Никто из политологов не сумел предсказать распад СССР. Было ли это аномалией или политические эксперты в принципе неспособны к предвидению будущих событий? Исследования показали, что предвидение политологов, независимо от их специализации и опыта, оказывается не лучше, чем прогнозы, основанные на примитивной статистике. Чем больше интервью прессе дает тот или иной эксперт, тем больше вероятность, что его прогнозы окажутся неверными.
Если, например, при прогнозировании результатов выборов в Конгресс США выдвинуть диапазон возможностей, то такой прогноз будет честно отражать неопределенность окружающего мира. Однако многие «эксперты» боятся, что, признав наличие неопределенности вокруг нас, они тем самым проявят неуверенность в своей теории о том, как окружающий мир должен функционировать, и это нанесет ущерб их репутации.
При составлении прогноза важно стремиться к его аккуратности, исходя из фактов и обстоятельств, известных на сегодняшний момент, независимо от того, что вы предсказывали на прошлой неделе или в прошлом году. Если есть основание полагать, что прошлогодний прогноз был неверным, то не стоит отстаивать его значимость.
Джон Кейнс говорил: «Когда меняются факты, я меняю свою точку зрения».
Изменение курса мышления вовсе не признак слабости. Политолог не станет конформистом, если будет приглядываться к прогнозам, составляемым его конкурентами. Если ваш прогноз кардинально отличается от других, то есть вероятность, что вы где-то ошиблись.
Политические прогнозы редко бывают абсолютно объективными. Эксперт обязательно пользуется предпосылками и принимает решения, которые неизбежно отражают предрассудки и пристрастия самого эксперта. Правдивость прогноза всегда страдает, если эксперт, выступающий со своим видением будущего, делает это в интересах своей карьеры или ради политической или экономической выгоды. Чтобы прогноз стал более объективным, нужно признавать наличие этих субъективных элементов и ограничения, которые они накладывают на качество прогноза.
Экономические прогнозы
Когда прогнозы состояния ВВП США с 1993 по 2010 год были соотнесены с реальными показателями, оказалось, что американские экономисты ошибались в трети случаев. В 1990‑е годы экономисты за год сумели правильно предсказать только две из 60 рецессий, случившихся в мировой экономике.
При составлении экономических прогнозов специалисты сталкиваются с тремя проблемами:
- данные экономической статистики не позволяют устанавливать причинно-следственные связи тех или иных событий и явлений;
- экономика находится в постоянном движении, и объяснение экономического поведения в одном бизнес-цикле может быть неприменимо в другом;
- информация, с которой приходится работать экономистам, оставляет желать лучшего.
Правительство США собирает информацию по 45 тысячам экономических индикаторов. Частные фирмы отслеживают до 4 млн статистических показателей. В таком море информационного шума отыскать смысловой сигнал очень трудно.
Наличие статистической корреляции между двумя данными не означает, что они зависят друг от друга.
И продажи мороженого, и лесные пожары происходят чаще в летнюю жару, однако между ними нет причинной связи.
Согласно гипотезе эффективных рынков, движение цен на ценные бумаги непредсказуемо. У некоторых инвесторов результаты получаются лучше, чем у других, но только в течение короткого времени. В долгосрочной же перспективе никому не удается обыграть рынок. Из этой общей теории есть исключения.
- Инвесторы, располагающие инсайдерской информацией (например, члены Конгресса США, которые имеют возможность влиять на судьбы компаний через законодательство), получают доход от инвестиций на 5–10% выше рыночного.
- Инвесторы, готовые к высокому риску, имеют шанс получить вознаграждение за риск выше, чем среднерыночный доход.
Цена на акцию отражает прогноз в отношении будущей прибыли компании и размера выплачиваемых дивидендов. Спрогнозировать будущую прибыль трудно, поэтому экономисты обращаются к данным за прошлые годы и сравнивают их с текущей ценой на акции той или иной компании. Соотношение цены акции к прибыли (P/E ratio), как правило, равняется 15. Это означает, что рыночная стоимость акций в 15 раз выше, чем ежегодная прибыль компании. По идее, этот коэффициент в среднем по рынку должен оставаться более или менее постоянным.
Экономист из Йельского университета Роберт Шиллер установил, что это не всегда так. В разное время средний коэффициент P/E для компаний, входящих в S&P 500, колебался от 5 до 44. В теории чем ниже коэффициент P/E, тем выше доходность от инвестиций в акции, и наоборот.
Однако, по мнению Нейта Сильвера, реально воспользоваться этими наблюдениями, чтобы спрогнозировать цены на акции и выгодно инвестировать, очень трудно. Мало что является несомненным в отношении рынка акций, и большинство информации о нем — лишь смесь «шума» и «сигнала».
Трейдеры на рынке ценных бумаг в каждый момент времени должны принимать решение: купить или продать те или иные бумаги. Наблюдения показывают, что трейдеры сильно подвержены стадному инстинкту и принимают такие же решения, как и их коллеги вокруг. Для трейдера легче потерять деньги для своей фирмы, чем потерять работу из-за решения, расходящегося со стадным. Если тонуть, то со всеми вместе. «Пузыри» на рынках, в частности, образуются из-за того, что все трейдеры одинаково заинтересованы в постоянном росте рынка. Стадное поведение приводит к тому, что ошибки одного трейдера усугубляются ошибками других и ситуация выходит из-под контроля. Такое явление на рынке случается нечасто, но имеет катастрофические последствия.
Самая большая ошибка инвесторов — чрезмерная уверенность в надежности своих прогнозов. Рынки, где работают чересчур самоуверенные трейдеры, демонстрируют слишком высокие объемы торговли, повышенную волатильность, странное ценообразование и пониженную доходность.
Многие полагают, что, если нанять выпускника Гарварда с 25-летним стажем для управления инвестициями, он наверняка сумеет обыграть рынок. Но это наивное убеждение. На рынке оперируют миллионы таких «умников» с миллионными бюджетами и мощными компьютерами. Их всех обыграть невозможно.
Прогнозирование природных явлений
Метеорологи, используя возможности современной вычислительной техники, совершили замечательный скачок в улучшении качества прогнозов погоды. Несмотря на то что вычислительные мощности росли по экспоненте в последние десятилетия, качество прогнозов погоды улучшалось очень медленно.
Сложность состоит, во-первых, в том, что в верхних и нижних слоях атмосферы происходят процессы, отличные друг от друга, и, во-вторых, в том, что эти процессы изменяются во времени (например, ураган движется со скоростью 40 миль в час).
К изменениям погоды применима теория хаоса, согласно которой «взмах крыльев бабочки в Бразилии может вызвать торнадо в Техасе». Теория хаоса применяется к системам, которые одновременно и динамические, и нелинейные. Это означает, что:
- поведение системы в один момент времени влияет на ее поведение в будущем;
- любая крошечная ошибка во вводных данных приводит к катастрофически неверному результату на выходе.
Погода — идеальный пример динамической системы с нелинейными вводными.
При моделировании погодных условий во Франции и Германии на Рождество 1999 года при прочих равных условиях в одной симуляции атмосферное давление в Ганновере было чуть повышено, а в другой — скорость ветра в Штутгарте увеличена на долю процента. В результате одна модель предсказала в Париже сильный ураган, а другая — спокойный зимний вечер.
Компьютерные программы, используемые метеорологами для прогнозов погоды, вполне адекватны, но не идеальны. Те прогнозы, которые мы обычно слышим, — симбиоз работы компьютера и мнения ученого. Метеорологам хорошо известны погрешности компьютерного моделирования погоды. Визуальное изучение метеорологом погодных карт и графиков позволяет улучшить прогноз осадков на 25%, а прогноз температуры — на 10% по сравнению с прогнозом, произведенным компьютером.
Самый впечатляющий прогресс произошел в области предсказания ураганов. Если еще 25 лет назад прогноз в отношении территории, на которую должен был обрушиться ураган, мог ошибиться на 350 миль, что, по сути, делало прогноз практически бесполезным, то сейчас ошибка не превышает 100 миль, что позволяет вовремя эвакуировать население из зоны бедствия. Вместе с тем неопределенность остается фундаментальным компонентом любого прогноза погоды.
В апреле 2009 года в итальянском городке Л’Акуила произошло землетрясение силой 6,3 балла. Оно оставило 65 тысяч человек бездомными и причинило ущерб на $16 млрд.
Хотя землетрясения происходят реже, чем ураганы, они оставляют больше жертв и причиняют больше ущерба. Вероятно, это происходит потому, что наука о происхождении землетрясений добилась небольшого прогресса по сравнению с IX веком, когда японцы впервые заявили, что могут предсказывать землетрясения, наблюдая за поведением рыб.
В сейсмологии различают прогнозы и предсказания. Предсказание — это конкретное заявление о том, где и когда произойдет землетрясение. Прогноз носит более общий характер и распространяется на длительный период времени.
Официальное мнение Геологической службы США (ГС) — землетрясения непредсказуемы. Соответственно, если невозможно предсказать землетрясение, то вполне возможно его спрогнозировать.
Для прогнозирования землетрясений ГС использует широко известный закон Гутенберга — Рихтера, согласно которому существует зависимость между силой землетрясений и их частотой. Каждый год в мире происходит примерно 1,3 млн землетрясений силой от 2 до 2,9 балла, которые проходят незамеченными. Однако почти все землетрясения силой от 4,5 балла и выше регистрируются. Увеличение силы подземного толчка на один пункт означает, что такое землетрясение будет происходить в 10 раз реже. Закон Гутенберга — Рихтера работает в любом регионе мира.
Прогнозирование террористических актов
Нападение японского военного флота на Перл Харбор в 1941 году потрясло американцев не меньше, чем разрушение Международного торгового центра в Нью-Йорке 11 сентября 2001 года. Множество сигналов указывало на то, что атака на Перл Харбор не только возможна, но и неизбежна. Однако американцы были убеждены, что военная база на Гавайях станет жертвой саботажа со стороны проживающих там многочисленных японцев, и готовили защиту именно от саботажа. Конечно, после того как событие уже произошло, легко было увидеть сигналы, указывающие на реальную опасность.
Экономист Томас Шеллинг отмечает тенденцию путать необычное с невозможным. Поскольку для американских военных было непривычно думать о возможности нападения на американскую территорию, они посчитали такую вероятность невозможной. Однако проблема лежит еще глубже: когда какое-либо событие нам незнакомо, мы вообще о нем не думаем.
Дональд Рамсфелд, министр обороны США при президенте Буше, написал в своих мемуарах: «…в наших знаниях имеются провалы, но мы не знаем об их существовании».
Неизвестное о неизвестном — это когда мы не знаем, какой правильный вопрос надо задать.
В случае с террористическим актом 11 сентября, так же как и в случае с нападением на Перл Харбор, было множество сигналов, указывающих на возможность теракта с использованием самолета.
В штабе воздушной обороны США хотели провести военную игру, в которой угнанный самолет врезается в здание Пентагона, однако эта идея была отвергнута как нереальная.
Но даже если бы такое нападение сочли возможным, военные были бы уверены, что самолет прилетит из-за границы, а не из местного аэропорта. Абстрактный математический анализ данных о террористической деятельности может показаться неудобным, но он помогает оценить возможные риски.
Арон Клозе, профессор Университета Колорадо, высказал гипотезу, что с позиции математики терроризм напоминает землетрясения и подчиняется тем же закономерностям. Он проанализировал данные, собранные за период с 1979 по 2009 год, и пришел к выводу: чем крупнее теракт, тем реже вероятность, что он произойдет.
Если бы этот метод был применен к данным, известным до 2001 года, то Клозе, конечно, не смог бы предсказать точно, где и когда может произойти крупный теракт, но сама возможность теракта с огромным количеством жертв не казалась бы невообразимой. Если гипотеза Клозе верна, то нельзя исключать возможности теракта с еще большим числом жертв, чем от теракта 11 сентября.
И в области национальной безопасности стоит применять теорему Байеса: иметь многообразие гипотез, оценивать их с позиции теории вероятности и регулярно обновлять их при появлении новой информации. При составлении прогнозов нужно сохранять баланс между воображением и скептицизмом. Чем чаще проверяются и тестируются теории, тем легче признать, что наши знания о мире несовершенны и идеальные прогнозы невозможны.
10 лучших мыслей
1. Рост информационного шума не означает увеличения значимой информации, но затрудняет выделение сигнала и выявление закономерностей, позволяющих устанавливать причинно-следственные связи.
2. Для улучшения качества прогнозирования стоит пользоваться теоремой Байеса, которая позволяет рассчитывать и корректировать вероятность наступления того или иного события с получением новой информации.
3. Политические прогнозы редко бывают объективными. Эксперт, выступающий с прогнозом, обязательно пользуется предпосылками и принимает решения, которые отражают его предрассудки и убеждения.
4. Экономические прогнозы, как правило, оказываются ошибочными, поскольку экономика — динамическая система, которая находится в постоянном движении. Причинно-следственные связи здесь часто оказываются размытыми, особенно в периоды «пузырей» и паник.
5. Присвоив отличный рейтинг инновационным и сложноструктурированным ценным бумагам в преддверии кризиса 2008 года, рейтинговые агентства проигнорировали системную неопределенность, присущую этим ценным бумагам, и уверили в отсутствии риска при инвестировании в них. Таким образом, рейтинговые агентства активно поспособствовали наступлению коллапса финансовых рынков.
6. Прогнозировать движение рынка ценных бумаг в долгосрочной перспективе невозможно. Ошибка инвесторов — чрезмерная уверенность в надежности информации, которой они располагают. Излишне самоуверенные трейдеры увеличивают волатильность своих рынков и снижают их общую доходность.
7. Несмотря на сложность движения атмосферных явлений, синоптики благодаря развитию вычислительных мощностей и отличному знанию теории добились значительного улучшения качества прогнозов погоды, особенно предсказания ураганов.
8. Предсказание землетрясений ненамного улучшилось за последние века. Это объясняется недостаточным пониманием процессов, происходящих в земной коре, и большим содержанием «шума» в информации, доступной сейсмологам.
9. Климат подвержен влиянию многих переменных, и существует большая неопределенность в понимании динамики климатических систем, а также отсутствует возможность выразить эти системы математически. Поэтому в настоящее время нет достоверного прогноза о последствиях глобального потепления.
10. США оказались абсолютно неподготовленными ни к нападению на Перл Харбор, ни к теракту 11 сентября, потому что американские военные имели тенденцию путать понятия «необычное» и «невозможное» и не сумели разглядеть многочисленные сигналы в потоке информационного шума.