Думай медленно - предсказывай точно.

1. Оптимистичный скептик

1.1. Вторая попытка

«Суперпрогнозирование» описывает второе крупное исследование Филипа Тетлока — «Трезвый расчет» (Good Judgement Project, 2011–2014). Оно стало частью исследования о прогнозировании, профинансированного Агентством передовых исследований в сфере разведки (IARPA). Целью было повысить качество работы спецслужб. В «Трезвом расчете» мог поучаствовать любой (в итоге около 20 тыс. чел., в первый год проекта — 2,8 тыс. чел.). Участники отвечали на такие вопросы, как: наберет ли силу протестное движение в РФ, начнется ли война на Корейском полуострове и т. п. Вопросы имели горизонт не более года.

В результате удалось выявить суперпредсказателей (2% участников). Суперпредсказатели отвечали лучше, чем контрольная группа, на 78%, лучше, чем исследователи из институтов (Мичиганский университет, MIT и др.) на 30–70%, а также лучше, чем профессиональные аналитики, имеющие доступ к материалам с грифом «секретно».

В первом же исследовании Тетлока принимали участие только профессиональные эксперты (1984–2004). Оно показало, что качество предсказаний примерно равно вероятности попадания шимпанзе в яблочко при игре в дартс.

1.2. Оптимист, скептик и реальность

Можно ли дать точный прогноз? И да, и нет. Триггерами политических событий порой выступают ситуации, которые невозможно предсказать, — так думает скептик. Например, Арабскую весну запустило самосожжение торговца фруктами в Тунисе.

В то же время погоду на несколько дней вперед ученые научились предсказывать. Да и мы изо дня в день неплохо угадываем загруженность дорог. Под этим мог бы подписаться оптимист. Реальность же лежит где-то между.

1.3. Подотчетность

Фитнес-браслет заставляет двигаться, поскольку наглядно показывает — когда лежишь на диване, километры сами себя не проходят. Также и метеорологи сталкиваются с проверкой своих прогнозов ежедневно. Экономические и политически аналитики обычно лишены быстрой обратной связи (кроме того, прогнозы иногда служат иным целям, например, запугать или привести к изменению политики).

Подотчетность — ключ к повышению качества прогнозирования — показал проект «Трезвый расчет».

2. Иллюзия знания

2.1. Докторам видней

В 1956 г. Арчи Кокрейн пришел в себя после операции, чтобы узнать, что у него обнаружили раковую опухоль на нескольких органах, опухоль вырезали, жить ему осталось считанные месяцы. Но врачи ошиблись: Арчи Кокрейн прожил до 1988 г., рака у него не оказалось — хирург провел операцию, не дожидаясь результатов биопсии, и вырезал доброкачественную опухоль.

Сегодня эта история смахивает на анекдот, но на протяжении тысячелетий медицина была искусством, а не наукой. Исследования по эффективности применяемых методов не проводились (если человек выжил после пускания крови — значит, лечение помогло, если умер — лечение ни при чем). Сегодня рандомизированные контрольные испытания — стандарт.

2.2. Интуиция и расчет

Да, на операционный стол Кокрейн лег без ожидания результатов анализов, хотя уже в тот момент был убежденным приверженцем доказательной медицины. Как так?

У человека две системы принятия решений. Первая не задумываясь выдает ответ, второй требуется время. В части дел, если у нас есть мегатонны опыта «действие — обратная связь», то эффективные решения могут быть приняты первой системой (например, опытная медсестра видит, что ребенок заболевает).

Подробнее в книге Д. Канемана «Думай медленно… Решай быстро». Или читайте наше саммари.

Но в области политики и экономики эффективна только вторая система, поскольку быстрая обратная связь отсутствует (вспомним совершенные Брейвиком в Норвегии теракты в 2011 г. и те ошибочные интерпретации, которые циркулировали в СМИ в первые часы).

Сложность состоит в том, что человек ленится задумываться и включать вторую систему. Также человек без проблем приводит аргументы в пользу любой абсурдной, но выдвинутой его собственной системой номер один идеи. И она начинает казаться уже не столь абсурдной.

Сегодняшнее прогнозирование во многом смахивает на медицину XIX в., которая базировалась на первой системе. Методология проекта «Трезвый расчет» исправляет это.

3. Считаем очки

3.1. Что конкретно вы имели в виду?

Если вы читали прогнозы, то знаете — они весьма относительны («скорее всего», «в обозримом будущем» и т. п.), полны «если сбудется А, то случится Б» или написаны по сценарному подходу («мы рассматриваем три варианта развития событий…»). Из-за этого руководители порой принимают неверные решения и ошибочно оценивают ситуацию (примеры: Карибский кризис — эксперты США были уверены, что СССР не разместит ракет; в конце 1980-х никто не верил в возможность распада СССР). В 1960-е годы один из аналитиков ЦРУ предлагал ввести количественную шкалу для описания вероятности, но в тот момент его не поддержали.

В проекте «Трезвый расчет» вероятность события выражается в процентах, также обязателен временной горизонт.

3.2. Кто лучшая гадалка?

Прогнозы участников проекта оценивались на основе показателя Бриера: если предсказание в яблочко — показатель Бриера 0, если вероятность была указана как 50% — показатель Бриера будет 0,5, а если предсказывалось, что сбудется 100%, а оно не сбылось — показатель Бриера 2. Асимметрия показателя приводит к тому, что удача не поможет эксперту получить хорошую оценку по итогам многочисленных раундов, если он не понимает лежащих в основе событий трендов.

Что значит, если эксперт предсказывает 60-процентную вероятность наступления события? Событие может и не сбыться — 40% вероятности. Эксперт будет качественным прогнозистом, если события, вероятность наступления которых он обозначил как 60%, будут происходить в 60% случаев.

3.3. Ежи и лисицы

В 1953 г. английский философ Исайя Берлин опубликовал эссе «Еж и лисица», в котором рассматривались аргументы в пользу высказывания древнегреческого поэта Архилоха «Лис знает много секретов, а еж — один, но самый главный». Эту аналогию Тетлок использовал при анализе результатов своего первого исследования (1984–2004): хотя средний показатель точности экспертных прогнозов приближался к обезьяне, кидающей дротики, эксперты-лисы угадывали будущее намного лучше экспертов-ежей. Поскольку лисы были менее зашорены, знали всего по чуть-чуть. А ежи были зациклены на одной большой идее. Кстати, в ток-шоу большей зрительской симпатией пользуются ежи, ведь они ведут себя очень самоуверенно, с пеной у рта отстаивают одну мысль, нередко банальную, но понятную массам.

Лисы получают бонус из-за того же эффекта, который был описан в работе Джеймса Шуровьески «Мудрость толпы» (если вычислить среднее мнение большинства — оно будет близко к правде): лисы агрегируют разные точки зрения в своей голове и выводят средний показатель. Также лисам необходимо понимание того, как ситуацию оценивают другие игроки для более верного прогноза.

Вывод: хороший прогнозист — лиса.

4. Суперпредсказатели

4.1. Предыстория проекта

В 2006 г. в США было создано Агентство передовых исследований в сфере разведки (IARPA) как реакция на ошибочную оценку наличия химического оружия в И��аке несколькими годами ранее. IARPA в 2010 г. запустила проект по оценке прогнозов. Проект предполагал квазисоревнование для топ-аналитиков и экспертов между собой и с контрольными группами. Одной из таких контрольных групп стал проект «Трезвый расчет». Исследователям «Трезвого расчета» была предоставлена полная свобода, они могли дробить участников на подгруппы с разными условиями (на 3-й и 4-й год проекта участники были разделены на группы, которые соревновались между собой).

Правила: участники могли корректировать свои прогнозы до дедлайна, уточняя их по мере поступления информации.

В число суперпредсказателей вошли порядка 2% участников (показатель Бриера около 0,2), качество предсказаний повышалось с каждым годом программы, также увеличивался разрыв между ними и другими предсказателями.

4.2. Может, это удача?

Нет, суперпредсказатели обладали мастерством.

Разницу между мастерством и удачей демонстрирует следующий пример. Если несколько тысяч человек ответят на вопрос «Орел или решка?» 104 раза подряд (именно столько вопросов было в первый год проекта), то среди них будут те, кто практически всегда угадывал правильно. Если отобрать последних и провести эксперимент еще раз лишь среди них, то вряд ли они смогут повторить результат. Так же как и при первом этапе эксперимента, результаты участников распределятся вдоль гауссовской кривой. Это эффект удачи.

Суперпредсказатели же становились лучше на втором и третьем году проекта (правда, каждый год 30% участников выбывали из лучших 2%, но оставшиеся 70% сохраняли свой уровень).

5. Суперпредсказатель — суперумный?

5.1. Чуть лучше, чем выше среднего

Все участники проекта «Трезвый расчет» прошли предварительное тестирование. Их IQ и общеобразовательный уровень был выше, чем у 70% населения. Тогда как у суперпредсказателей выше, чем у 80% населения. Это незначительная разница.

Суперпредсказатели имели хорошее образование (некоторые PhD), много читали, интересовались событиями, но в целом не выделялись на фоне обычных интеллигентных людей. Единственное отличие: они были готовы тратить свое время, чтобы разбираться в вопросах внутренней политики африканских стран за один подарочный сертификат в 250 долларов в год, который можно потратить на книги в Amazon.

Отличительный фактор: суперпредсказатели открыты всему новому и любознательны.

Социологи и психологи активно исследуют это направление. Также существуют тесты, призванные определить, насколько человек зациклен или, напротив, открыт всему новому. Один из разработчиков таких тестов — Jonathan Baron (концепция Active open-mindedness, AOM).

5.2. Метод Ферми всегда кстати

Принцип разложения вопроса на подпункты/подвопросы, для оценки каждого из них отдельно и в итоге ответа на поставленный вопрос, — важный навык для успешного прогнозирования. Такой принцип принято называть методом Ферми.

Известный пример — расчет количества настройщиков пианино в Чикаго.

5.3. Из-за деревьев леса не видно

Успешный прогнозист знает, что важно не потонуть в деталях и видеть картину в общем контексте.

Например, при вопросе «Какова вероятность, что семья N держит собаку?» вопросы национальности, количества детей и т. п. второстепенны (деревья). Намного важнее знать, каков процент семей в принципе в этом регионе имеет четвероногого друга (лес). Потом, анализируя конкретные деревья, можно уточнить отклонение прогноза в одну или другую сторону от леса.

5.4. Как анализировать деревья

После анализа общей картины (леса) необходимо переходить к анализу отдельных факторов (деревьев). Но чтобы не заблудиться в них, необходимо следовать методу Ферми, то есть четко знать, ответы на какие вопросы следует дать, анализируя деревья.

5.5. Что дальше?

Сначала надо синтезировать, прийти к обобщенному и детальному взгляду. Но это лишь начало анализа.

Следующий шаг: посмотреть с разных точек зрения на вопрос (можно поговорить с коллегами, отложить вопрос на недельку-другую или перефразировать вопрос с «Почему это произойдет?» на «Почему это не может произойти?»).

Таким образом, хороший прогнозист — тот, кто любит выражения «с одной стороны…», «но в то же время…», «с другой стороны…», «а если учесть еще этот фактор…». Это требует не только любопытства и открытости всему новому, но и сознательного расширения своего горизонта (например, суперпредсказатели специально читали СМИ, блогеров и т. п., чей взгляд на мир они не разделяли).

6. Суперпредсказатель — математический гений?

6.1. Математическое мышление, а не формулы

Хотя среди суперпредсказателей многие владеют высшей математикой (и даже порой применяли ее в ходе проекта), математические навыки как таковые не важны. Важно понимание вероятностных величин и навык мыслить в вероятностных категориях. Ничто не точно и ничто не предопределено. Поэтому осознание тонких различий между 20-процентной вероятностью и 24-процентной вероятностью важно. Также важно понимание, что и в том, и в другом случае существует вероятность обратного (80% и 76% соответственно).

Суперпредсказатели обладают навыком осознания тонких различий. Это показало сопоставление точности прогнозов тех, кто предпочитал круглые числа (20%, 30% и т. п.), и тех, кто пытался отразить больше нюансов (23%, 37% и т. п.). Вторые предсказывали точнее.

Такая широта нюансов в прогнозах нетипична даже для спецслужб. Например, Национальный совет по разведке использует два варианта шкал (пять или семь значений).

6.2. Разница между «Почему?» и «Как?»

Вероятностное мышление склонно при анализе уже произошедших событий ставить вопрос «Как?», а не «Почему?». Последний («Почему?») скорее свойственен тем, кто верит в предназначенье, судьбу, рок и неизбежность (мы созданы друг для друга и должны были встретиться). Тогда как вопрос «Как?» рассматривает событие с точки зрения вероятности — встреча с моей будущей женой/мужем была маловероятна в пять часов утра в парке в четверг, но она все же случилась. Происходящее подчиняется не року, а вероятности.

7. Суперпредсказатели только и делают, что читают СМИ?

7.1. Читай, но не доверяй всему

Суперпредсказатели читают новости, следят за развитием событий (устанавливая оповещения), уточняют свои прогнозы в соответствии с ними. Однако и первый прогноз (без учета последующих уточнений) суперпредсказателей был точнее на 50%, чем других участников проекта.

Столь пристальное внимание к событиям кроет в себе опасность слишком доверится впечатлившей новости (и завысить вероятность) или, напротив, не отреагировать в полной мере (и занизить).

7.2. Знай себя

Суперпредсказатели начинали ошибаться, завышая или занижая вероятность тогда, когда отказывались от своей лисьей натуры и превращались в ежей.

Например, в случае с посещением премьер-министром Японии Синдзо Абэ в 2013 г. храма Ясукуни (храм возведен как память павшим воинам, в том числе и тем, кто совершал преступления в Китае и Южной Корее, поэтому его посещение премьер-министром рассматривалось как международный скандал) один из суперпредсказателей ошибся, прогнозируя, что Синдзо Абэ откажется. При этом он исходил из того, что такое действие серьезно испортит репутацию и противоречит правилам поведения премьер-министров Японии. Но не учел при этом личности Синдзо Абэ.

Такое поведение свойственно всем. При суждении о каком-либо событии нам сложно отказаться от собственного мировоззрения, стереотипов, этических ценностей и т. п.

Именно поэтому порой эксперты, обладающие лишь поверхностным знанием данного конкретного вопроса, лучше справляются с задачей прогнозирования развития событий, ведь у них нет четкого представления «как это было всегда».

Некоторые суперпредсказатели незначительно корректировали свой прогноз в соответствии с каждым кусочком новой информации (+3 проц. пункта, -1 проц. пункт и т. п.). Такое поведение соответствует логике, стоящей за теоремой Байеса.

Из Википедии «Теорема Байеса (или формула Байеса) — одна из основных теорем элементарной теории вероятностей, которая позволяет определить вероятность какого-либо события при условии, что произошло другое статистически взаимозависимое с ним событие. Другими словами, по формуле Байеса можно более точно пересчитать вероятность, взяв в расчет как ранее известную информацию, так и данные новых наблюдений. Формула Байеса может быть выведена из основных аксиом теории вероятностей, в частности из условной вероятности. Особенность теоремы Байеса заключается в том, что для ее практического применения требуется большое количество расчетов, вычислений, поэтому байесовские оценки стали активно использовать только после революции в компьютерных и сетевых технологиях».

8. Perpetual beta: непрерывное повышение качества

8.1. Образ мышления

Суперпредсказатели обладают «подвижным» образом мышления, они уверены, что могут стать лучше, чему-то научится, учесть свои ошибки.

О разнице между «подвижным» и «застывшим» мышлением писала Кэрол Двек. Ее выступлениена TED (10 минут), краткое саммари ее нашумевшей книги.

8.2. Пробовать, падать, вставать и идти дальше

Для освоения любого навыка необходима практика. Сверхважно учиться на собственных ошибках. При прогнозировании политических и экономических событий это сложно, поскольку обратная связь отложена во времени, эксперты нередко забывают свои прогнозы. А оглядываясь назад, мы всегда хотим приукрасить свои достижения и приуменьшить проигрыши.

В 1988 г. Тетлок проводил опрос экспертов о вероятности распада СССР. В 1992–1993 гг. он попросил экспертов вспомнить свои оценки пятилетней давности: в среднем эксперты на 31 процентный пункт завышали свои оценки (например, тот, кто говорил, что вероятность распада СССР — 10%, «вспоминал», что давал оценку 40–50%).

Поэтому суперпредсказатели нередко записывали причины, по котором они сделали тот или иной прогноз. Поскольку, если в основе верного прогноза лежала неверная посылка, на этом можно научиться.

8.3. Не давать вскружить себе голову

Это еще одно важное качество суперпредсказателей: успех — не повод расслабляться. Хотя роль удачи отрицать нельзя, но прогнозирование требует трезвого подхода.

9. Суперкоманды

9.1. Опасности группового мышления

Принятие верного решения в группе еще сложнее. Это показали предшествующие Карибскому кризису решения правительства США: страх конфликта, а также отгораживание от точек зрения вне группы (мы все так думаем, т. е. это правильно).

9.2. Эксперимент

Несмотря на опасности группового мышления, с самого начала проекта было принято решение тестировать эффективность групп. Тем участникам, которые должны были работать в группе, исследователи выдали информацию о том, какие опасности кроются в групповой работе, а также о возможностях их избежать. Ведь в реальной жизни эксперты редко делают прогнозы без обсуждения с коллегами, также и взаимодействие в группе давало возможность обмениваться информацией и точками зрения (это плюс группового формата).

Первый год показал: группы на 23% успешнее. Позднее были созданы группы из суперпредсказателей (дюжина человек в каждой, общались через интернет). Они оказались очень успешны, но групповой формат потребовал освоить правильный формат обсуждения, который не оскорблял бы коллег, но позволял критиковать, а также делиться информацией.

10. Дилемма лидера

10.1. Что делать руководителю?

Хороший руководитель должен быть хорошим прогнозистом. Но может показаться, что качества суперпрогнозистов несовместимы с решительностью, которая необходима руководителю для управления коллективом.

10.2. Противоречия нет: армия доказывает

Отсутствие противоречия иллюстрируется необычным и слегка шокирующим примером прусского генерала-фельдмаршала Хельмута фон Мольтке. Именно его видение военной стратегии и организации армии использовалось немцами во время Второй мировой войны. Пример призван показать степень непредвзятости, которой должен обладать суперпредсказатель.

Что хорошего в идеях Мольтке?

- Культура спора при обсуждении поддерживалась (отсюда и гуманитарное образование у военных высоких чинов), но после принятия решения оно более не обсуждалось и было обязательно к исполнению.

- Уверенность, что любой план разобьется о реальность, поэтому руководство сообщало низовому составу цели, а форматом их достижения была импровизация руководителей на местах.

Сегодня эту логику заимствуют многие армии, а также бизнес.

11. А они реально столь суперклассные?

11.1. Две сложности

Результаты проекта «Трезвый расчет» обнадеживающие. Конечно, здесь есть свои сложности. Первая: никто не знает, как долго суперпредсказатели смогут справляться с искушением когнитивных иллюзий и принимать продуманные решения на основе второй системы. Вторая: роль «черных лебедей» в истории. Спорно, смогут ли суперпредсказатели предвидеть «черных лебедей». Пока же суперпредсказатели успешно справляются с прогнозированием последующих событий (а с ними все же связаны и новые «черные лебеди»).

Концепцию «черных лебедей» предложил Нассим Талеб. Именно неповторяющиеся единичные события порой выступают поворотными моментами в истории. Саммари «Черный лебедь. Под знаком непредсказуемости» можно прочитать в библиотеке Smart Reading.

11.2. Что с долгосрочной перспективой?

Качественные предсказания на длительный период невозможны. Но множество прогнозов публикуется и с большим горизонтом. Дело в том, что люди стремятся к стабильности, и прогнозы дают это чувство. Но на самом деле следует готовиться к неопределенности (и отчасти эту неопределенность можно учитывать, как при строительстве домов в Японии: когда будет землетрясение, никто не знает, но рано или поздно оно случится, и к нему готовятся).

Заключение

Человек стремится к стабильности. Прогнозы дают это чувство, но качественные прогнозы возможны только на краткосрочную перспективу (год), более длительные служат иным, нередко политическим целям.

Подотчетность — ключ к повышению качества прогнозирования. Вероятность события должна выражаться в процентах (слово «возможно» обладает как минимум сотней оттенков, и их следует различать), а причины, по котором присвоена вероятность, документироваться для последующего анализа. Качество прогнозов зависит от мастерства, а не от удачи.

Хороший прогнозист — лиса. «Лис знает много секретов, а еж — один, но самый главный». Лиса незашорена, знает всего по чуть-чуть, умеет агрегировать разные точки зрения и выводить среднее на их основе. Лиса любознательна и открыта всему новому (читает даже то, что не соответствует ее мировоззрению).

Свое мировоззрение прогнозист воспринимает как набор гипотез, которые следует тестировать. Он помнит, что свой образ мыслей необходимо проверять на предмет когнитивных иллюзий и влияния эмоций, а также пересматривать свою точку зрения, когда меняются факты. Поскольку знает, что ошибки по завышению или занижению вероятности связаны с тем, что иногда мышление перестает быть «подвижным» и превращается в «застывшее» — когда прогнозист уподобляется одержимому одной идей ежу. Хороший прогнозист склонен к самоанализу, самокритичен и не делает прогнозов, основываясь на импульсивной первой системе мышления, — только на аналитической и спокойной второй системе.

Прогнозист умеет раскладывать вопрос на подпункты/подвопросы (метод Ферми) для оценки каждого из них отдель��о, и в итоге отвечает на поставленный. Он знает, что важно не потонуть в деталях и видеть картину в общем контексте (видеть за деревьями лес). Суперпредсказатель незначительно корректирует свой прогноз в соответствии с каждым кусочком новой информации, ведь он чувствует тонкие различия. Он умеет менять перспективу взгляда на проблему. Происходящее подчиняется не року, а вероятности.

Группа хороших прогнозистов сильнее отдельных экспертов. Но принятие верного решения в группе сложнее из-за когнитивных особенностей. Группа должна обладать таким же «гибким» мышлением, быть отрытой новому, в том числе идеям, противоречащим мнению «большинства» внутри группы.

Руководитель может сочетать в себе черты хорошего прогнозиста и решительного руководителя, допуская и приветствуя обсуждение и анализ с разных точек зрения до принятия решения, но безусловно и без дискуссий — с поправкой на реальность — следуя принятому решению. Ни один план не выдерживает столкновения с реальностью.