P-значение: как одна цифра убила науку, обрушила Lehman Brothers и продолжает уничтожать ваши депозиты.

Представьте себе научную работу. Вы тратите месяцы на сбор данных, строите модель, проверяете гипотезу. В конце вы получаете число — p-значение.
Если оно меньше заветного порога 0.05, вы победили: публикация, грант, карьера. Если больше — работа летит в корзину. Этот ритуал стал универсальным пропуском в мир «доказательной науки». Экономисты, биологи, психологи, маркетологи — все играют в одну и ту же игру: угадай, перебери переменные, подгони модель так, чтобы p < 0.05.

Но что на самом деле означает это число? P-значение — это не
«вероятность того, что нулевая гипотеза верна». Это вероятность получить наблюдаемые данные (или более экстремальные) при условии, что нулевая гипотеза верна. Тонкая разница, да? Именно она позволяет десятилетиями фабриковать «значимые» результаты там, где никакого эффекта нет.

Нассим Талеб в работе «A Short Note on P-Value Hacking» (arXiv:1603.07532, 2018) разбирает эту практику на атомы. И выводы ужасают. P-значение — не устойчивая характеристика реальности, а случайная величина с собственным распределением. Более того, если исследователь имеет возможность выбрать наилучшее p-значение из нескольких попыток, он получает в руки «статистический опцион»: асимметричную выплату, где успех виден всем, а провалы скрыты.

Это не просто академическая проблема. Это та же механика, которая убила Lehman Brothers, разорила LTCM и продолжает ежедневно обнулять депозиты криптотрейдеров, свято верящих в свои «оттестированные стратегии».

Ключевой тезис Талеба: p-значение имеет мета-распределение. Проведите один и тот же эксперимент на двух разных выборках — получите два разных p.
Иногда они будут различаться на порядок. Это не ошибка измерений, это природа статистики.

Пример из статьи: пусть истинный эффект слабый, и среднее (медианное)
p-значение, которое вы бы получили при бесконечном повторении эксперимента, равно 0.11. Так вот, примерно в 53% случаев ваше разовое p окажется ниже 0.05. А в 25% случаев — даже ниже 0.01. Вы можете честно провести исследование, получить p = 0.01 и радостно опубликовать «высокозначимый результат». Но истина в том, что вам просто повезло с выборкой.

Ещё один убийственный пример: если вы наблюдаете p = 0.02, то «истинное» среднее p может быть в районе 0.1–0.2. То есть настоящая сила доказательства ничтожна. Талеб называет это «иллюзией значимости». Формально вы прошли порог, но содержательно ваша уверенность должна быть низкой.

Теперь примените это к трейдингу. Бэктест стратегии на истории — это один эксперимент. Вы получили Sharpe 2.5, p-value (вероятность случайного получения такой доходности) меньше 0.01. Вы думаете: «Стратегия надёжна».
Но если бы вы повторили бэктест на другой выборке (другой период, другая биржа), метрики могли бы рухнуть. Просто вам повезло с конкретным историческим окном. И рынок не обязан предоставлять вам вторую попытку.

Талеб формулирует проблему как право выбора наилучшего результата из нескольких попыток. В науке это проявляется так:

Это не обязательно сознательное мошенничество. Это рациональное поведение в системе, где вознаграждаются положительные результаты. Но итог один: публикуемая литература переполнена ложноположительными выводами. Иоаннидис (2005) показал, что при типичных условиях большинство «значимых» результатов ошибочны.

Талеб предлагает математическую аналогию: p-hacking эквивалентен длинной позиции по волатильности с ограниченным убытком. Вы получаете асимметричную выплату: если хоть одна попытка дала p < 0.05 — вы выиграли. Если нет — просто идёте дальше, убыток скрыт. Это опционный профиль, и он эксплуатирует случайность.

В финансах тот же трюк. Хедж-фонд тестирует 100 стратегий. Девятьдесят девять умирают, одна показывает фантастический бэктест. Фонд запускает её и рекламирует «историческую доходность 40% годовых». Инвесторы не видят кладбища остальных попыток. Это не мошенничество, это статистическая селекция. И она обходится инвесторам в миллиарды.

Талеб показывает: чтобы получить уровень надёжности, который большинство учёных подсознательно ассоциируют с p < 0.05, нужно требовать p примерно на порядок меньше — 0.005. Это не мнение, а математический вывод из анализа мета-распределения. При пороге 0.05 вероятность ложного открытия слишком высока.

Даже если повысить мощность исследования, проблема полностью не решается. Только ужесточение порога или радикальное увеличение выборки (на порядки) может снизить долю мусорных результатов.

В трейдинге аналог: Sharpe ratio должен быть не просто «выше 1», а демонстрировать устойчивость на out-of-sample, при различных режимах рынка, с поправкой на множественные сравнения. Обычная практика «оптимизировал на 2023-м, заработало на 2024-м» — это один out-of-sample тест. Этого катастрофически мало.

Пролог: финансовая алхимия начала нулевых

В начале 2000-х Уолл-стрит переживала ренессанс. Банки нашли философский камень: секьюритизацию ипотечных кредитов. Сотни тысяч займов упаковывались в облигации (MBS), а те, в свою очередь, — в ещё более сложные инструменты (CDO). Рейтинговые агентства наперебой ставили на них AAA. Спрос казался бесконечным.

Но была проблема: как оценить риск дефолта сразу многих заёмщиков одновременно? Ведь если экономика дрогнет, безработные не будут объявлять дефолт независимо друг от друга — они посыплются вместе. Нужна была модель, которая описывает совместное распределение дефолтов. И тут,
словно deus ex machina, появилась она.

Рождение монстра: Гауссова копула

В 2000 году Дэвид Ли, математик из JP Morgan, опубликовал работу с, казалось бы, безобидным названием «On Default Correlation: A Copula Function Approach». Он предложил использовать Гауссову копулу для моделирования связи между временами дефолта разных кредитов. Суть идеи:

Модель была элегантной, как швейцарские часы. Она превращала сложнейший многомерный хаос в одно число. Банки, рейтинговые агентства и регуляторы бросились её использовать. Гауссова копула стала стандартом де-факто для оценки CDO. И именно здесь, на этом самом месте, был зарыт динамит.

В чём была ошибка? P-значение в сердце системы

Талеб, конечно, не разбирал копулу в своей статье о p-значении. Но принципиальная ошибка — та же самая. Гауссова копула — это не просто модель, это статистическая гипотеза, которая принималась на основе исторических данных. И эта гипотеза была «значимой» до тех пор, пока рынок не вошёл в режим жирных хвостов.

Что именно пошло не так?

Цифры катастрофы

К середине 2007 года Lehman Brothers имел портфель ипотечных бумаг и CDO на сумму около $85 миллиардов. Это были активы, оценённые по моделям, в основе которых лежала Гауссова копула с «умеренной» корреляцией. Рыночные индикаторы начали сигнализировать о проблемах уже в феврале 2007-го, когда HSBC объявил о неожиданных потерях по ипотеке. Но Lehman продолжал наращивать позиции, полагая, что «историческая волатильность» и «низкая корреляция» защитят их.

В августе 2007 года два хедж-фонда Bear Stearns рухнули, потому что их модели (та же копула) показали, что такое невозможно. Lehman проигнорировал этот звонок. К весне 2008-го банк имел плечо 30:1 =))) на каждый доллар собственного капитала приходилось 30 долларов заёмных средств. И всё это держалось на предположении, что ипотечные бумаги «надёжны», потому что их корреляция дефолта низкая.

В сентябре 2008-го рынок окончательно перестал верить в модели. 15 сентября Lehman Brothers объявил о банкротстве. Общие убытки от краха оцениваются в $600 миллиардов по всему миру. Но самое страшное не это. Самое страшное — системный сбой, когда остановился межбанковский рынок кредитования, потому что никто не знал, у кого на балансе ещё остались токсичные активы, оценённые по копуле.

Почему это p-hacking, а не просто «плохая модель»

Талеб сказал бы: проблема не в том, что Гауссова копула «неправильная». Проблема в том, что её использовали как единственный инструмент, скрывая неопределённость. Исследователи (риск-менеджеры) имели право выбора лучшей калибровки из многих. Они публиковали отчёты с VaR 99%, подразумевая, что событие происходит раз в 100 дней. Но если вы перебрали 20 разных спецификаций и выбрали ту, что даёт самый низкий VaR, реальный уровень надёжности становится значительно ниже — может быть, 90% или ещё хуже.

В статье Taleb & Triana (2009) «Beware of geeks bearing formulas» прямо говорится, что сложные количественные модели в финансах создают ложное чувство точности и отвлекают от фундаментальных рисков.
Lehman Brothers — идеальная тому иллюстрация.

Урок для криптотрейдера

Сегодня, когда вы видите DeFi-протокол, который хвастается
«стресс-тестами по методу Монте-Карло» и «VaR 99.9%», вспомните Lehman. Когда вам показывают модель ликвидаций, предполагающую, что волатильность ETH/USD «исторически не превышала 20%», вспомните копулу.
Всё это — наследники той же самой логики: подгонка исторических данных, скрытые степени свободы и вера в тонкие хвосты.

Крипторынок — это Extremistan, где волатильность может за день стать 200%, корреляции между альткоинами — 0.99, а ликвидность испариться за минуту. Использовать здесь модели, откалиброванные по «спокойному периоду 2024 года», — гарантированный путь к банкротству.

Если вы не знаете, сколько скрытых попыток подгонки стоит за цифрой риска, эта цифра — не защита, а яд. Гауссова копула убила 158-летний банк и обрушила мировую экономику. Ваш «проверенный бэктест» может убить ваш депозит. Разница — только в масштабе.

«Dream Team» с Уолл-стрит =)))

1994 год. Джон Мериуэзер, легендарный трейдер из Salomon Brothers, собирает команду, которую иначе как «Dream Team» не назовешь. В неё входят
Майрон Шоулз и Роберт Мёртон — те самые, что только что получили Нобелевскую премию по экономике за формулу оценки опционов Блэка-Шоулза. Плюс — целая рота докторов наук по физике =)), математике и компьютерным наукам. Они создают Long-Term Capital Management (LTCM) — хедж-фонд, который должен был зарабатывать на «статистическом арбитраже» с минимальным риском.

Стартовый капитал — $1 миллиард. Доходность в первые годы — 40% годовых. Инвесторы выстраиваются в очередь. К 1998 году под управлением LTCM было около $5 миллиардов собственного капитала, но благодаря гигантскому кредитному плечу (до 30:1) они контролировали позиции на сумму более $100 миллиардов. Номинальная стоимость деривативных контрактов достигала $1 триллиона.

Всё это держалось на вере в то, что их математические модели безупречны.
Они вычисляли вероятности с точностью до четвёртого знака после запятой и считали, что риск практически исключён. В реальности же они построили финансовый ядерный реактор без аварийного охлаждения.

Суть стратегии: сбор копеек перед паровым катком

Стратегия LTCM была основана на конвергенционной торговле. Они находили активы, которые исторически двигались вместе (например, казначейские облигации США разных выпусков, или государственные облигации разных стран), и ставили на то, что разница в их ценах (спред) сократится. Если спред расширялся, они удваивали позицию, потому что «модель говорила», что рано или поздно он схлопнется обратно.

Их математический аппарат был изощрённым, но по сути он опирался на несколько ключевых предположений, каждое из которых прямой аналог
p-hacking:

Что случилось: русская рулетка с полным барабаном

17 августа 1998 года Россия объявила дефолт по внутреннему долгу и ввела мораторий на выплаты по внешним обязательствам. Это был шок, который не укладывался ни в одну модель LTCM. Рынки захлестнула паника. Инвесторы бросились из рисковых активов в надёжные — началось «бегство в качество». Спреды, на которых зарабатывал LTCM, взорвались до небес. Корреляции, которые должны были быть положительными, стали отрицательными.

К сентябрю 1998 года собственный капитал LTCM сократился с $5 млрд до $600 миллионов — падение почти на 90%. Но плечо оставалось колоссальным, и убытки нарастали экспоненциально. Банки-кредиторы (Bear Stearns, Merrill Lynch, Goldman Sachs) обнаружили, что их собственное выживание зависит от того, не рухнет ли LTCM. Ведь если бы фонд объявил дефолт по своим триллионным деривативным позициям, началась бы цепная реакция: банки стали бы принудительно закрывать позиции, рынки рухнули бы ещё сильнее, и финансовую систему ждал коллапс.

Федеральная резервная система была вынуждена вмешаться. 23 сентября 1998 года Алан Гринспен организовал консорциум из 14 банков, которые вложили $3.65 млрд в обмен на 90% акций LTCM. Это было не спасение, а организованное уничтожение — постепенное закрытие позиций, чтобы не обрушить рынок. К началу 2000 года фонд был ликвидирован.

P-хакерство в действии: что не так с их моделями

Если посмотреть на катастрофу LTCM через призму статьи Талеба, становится видна та же самая структура:

Если Lehman Brothers показал, как p-хакерство убивает банки, то LTCM — это зеркало для любого «количественного» трейдера. Вы находите паттерн на исторических данных: RSI < 30 всегда приводит к отскоку; спред между спотовой ценой и фьючерсом всегда сужается; халвинг всегда вызывает бычий рынок. Вы проверяете гипотезу на истории, получаете «статистически значимый»
Sharpe ratio. Вы ставите на это деньги.

Но вот приходит событие, которого не было в вашей выборке: запрет майнинга в Китае, крах FTX, обвал LUNA, или, как в случае LTCM, русский дефолт. И все ваши паттерны ломаются. Корреляции инвертируются. Волатильность зашкаливает. Вы теряете всё не потому, что вы глупы, а потому, что доверились точечной оценке риска, не подумав о мета-распределении.

Два Нобелевских лауреата, десятки докторов наук и доступ к лучшим данным не спасли LTCM от краха. Потому что их модели были p-хакнуты на истории и слепы к хвостам. Если ваша стратегия опирается на «исторический бэктест» и не учитывает жирные хвосты, скрытые попытки и изменчивость корреляций — вы идёте по их стопам. Только ФРС за вами не придёт.

Теперь перенесёмся в наше время. Трейдер-хомяк открывает TradingView. Он добавляет индикаторы RSI, MACD, скользящие средние, полосы Боллинджера. Перебирает параметры: период 14? нет, 21? нет, 9? О, на 9 стратегия показала +300% за год! Он сохраняет «грааль» и запускает в реальную торговлю. Через месяц депозит слит. Почему? Потому что он перебрал 50 вариантов параметров, выбрал лучший на истории, но не учёл, что это была чистая случайность.

Это и есть p-hacking в чистом виде. Каждая комбинация индикаторов — это проверка гипотезы. Чем больше попыток, тем выше вероятность найти «значимую» просто в силу шума. Научное сообщество борется с этим через поправку Бонферрони и контроль false discovery rate. Криптотрейдеры же никогда о них не слышали.

Более того, крипторынок — это Extremistan с жирными хвостами, где дисперсия может быть бесконечной. Стандартные метрики вроде Sharpe ratio или t-статистики теряют смысл. Но трейдеры продолжают на них молиться.

Как убить в себе p-хакера: практическое руководство

Талеб воюет не с математикой. Он воюет с культурой, где сложный статистический вывод подменяется одним числом и магическим порогом. Эта культура убила Lehman Brothers, разорила LTCM и продолжает обнулять депозиты розничных трейдеров.

Когда вы видите «статистически значимую альфу» или «надёжный Sharpe ratio», спросите: сколько скрытых попыток стоит за этой цифрой? Каково её мета-распределение? Проверялась ли стратегия на жирных хвостах?

Если ответов нет — ваши деньги уже в игре, где кость брошена, а правила написаны так, чтобы вы проиграли.