Unreliable или Пара слов про кризис воспроизводимости

Интро

Мы так увлеклись количеством цитирований, что потеряли смысл цитируемого.

Человечество всегда с любопытством разглядывало окружающий мир и пыталось его понять. Первые сто тысяч лет развития вида и освоения среды давались особенно тяжело: научный подход напоминал не столько trial & error, сколько trial & brutal, painful death.

Лишь к эпохе Нового времени появилась форма знания, которую мы сегодня называем научным методом - с тестированием гипотез, подобием воспроизводимости и коллективной критикой. В XVIII веке мы, наконец, оформили институт науки в том виде, который дожил до наших дней. И по сей день наука воспринимается как нечто одновременно загадочное и незыблемое: раз учёные сказали, значит, так и есть. Даже если они забежали вперед с выводами.

Казалось бы, подобные иллюзии должны быть уделом необразованной челяди обывателей, а учёные - как раз те самые «светочи разума», которые понимают уязвимости системы и следят, чтобы она не развалилась.

Увы нет. Учёные не внешние наблюдатели, а часть системы, зависимой от ресурсов, признания, карьерных траекторий. И именно поэтому некоторые её уязвимости оказываются особенно трудны для осознания изнутри.

С конца XX века в науке начала обнаруживаться масштабная проблема, которую системно игнорировали, и к сегодняшнему моменту она расцвела пышным цветом: кризис воспроизводимости. Это ситуация, когда результаты множества научных исследований в биомедицине, нейронауках, психологии и химии оказываются сложно или невозможно повторить.

И кто же создал этот кризис и поддерживает? Верно - само академическое сообщество, живущее в условиях, которые поощряют компромиссы в научной честности.

До современной эпохи ошибки или подлоги редко имели хоть какие-то последствия (всё равно мало кто понимал, что происходит - наука была скорее занятием привилегированных), сейчас же цена неточности стала совсем другой

Например, лекарство, созданное на основе недостоверных данных, может не просто не помочь - оно способно нанести вред тысячам пациентов напрямую (вспоминая rofecoxib) или же отвлечь миллионы долларов на ложные идеи и затормозить развитие целых направлений (громкие примеры будут дальше).

То есть с каждым годом наука становится всё мудренее, а цена ошибок выше. Современные научные гипотезы стали настолько сложными, что проверить их напрямую уже невозможно. Мы больше не наблюдаем явление «в чистом виде» - мы наблюдаем результат работы моделей, статистических фильтров, нормализаций и вычислительных допущений. Поэтому в такой системе ошибка не всегда выглядит как ошибка. Она может выглядеть как корректный, статистически значимый результат - пока кто-то не попробует повторить эксперимент полностью с нуля.

Естественно, раз мы знаем проблеме, значит кто-то её поднимает и обсуждает. Один из таких примеров - Чаба Сабо, биомедицинский исследователь с более чем тридцатилетним опытом, в своей книге Unreliable (2025) проливает свет на проблему воспроизводимости. По Сабо, значительная часть опубликованных исследований либо не поддаётся проверке, либо намеренно искажена методами анализа.

Когда я начинал этот текст, план был простой: кратко пройтись по основным пунктам книги, пересказать, что предлагает изменить автор, и добавить свои «драгоценные пять копеек».
Но в итоге всё превратилось в какой-то фанфик. Я, конечно, старался отделять мнение автора от своего, но, кажется, интериоризировал его чуть глубже, чем планировал.

Текущая научная система

Стоит начать с базы, хотя скорее всего, читатель, который интересуется этой темой, уже неплохо представляет себе, как устроена система научных публикаций и стандартный карьерный трек учёного. Тем не менее, стоит изложить основные тезисы - не ради ликбеза, а чтобы задать контекст, на фоне которого проблемы, описанные Сабо, будут особенно видны.

Жизненный путь публикации

Шаг 1. Публикация начинается с идеи, рождающейся в голове руководителя научной группы (PI, principal investigator). Но одной идеей сыт не будешь - нужны деньги, отчётность и как-то показать KPI.

Большая часть научных институтов работает на деньги налогоплательщиков, и не думаю, что в вашем личном месячном бюджете есть статья “на нужды ученых”. Поэтому деньги поступают от государства и фонды в формате грантов. Например, в США это NIH, в РФ это РНФ, хотя конечно список намнооого шире.

Шаг 2. За красивые глазки и “мамой клянусь” деньги просто так не дают. Исследователь превращается в полноценного бумагомарателя проектного менеджера: пишет заявку, в которой нужно не столько обосновать научную гипотезу, сколько продемонстрировать вклад в экономику, инновационный потенциал и вклад в глобальные рейтинги вуза.

Шаг 3. Заявку на грант оценивают “независимые” эксперты - обычно те же учёные, которые завтра будут соперничать за те же деньги. Они читают десятки заявок в свободное от основной работы время, зачастую без оплаты. После чего собирается секция профильного экспертного совета и проводится тайное голосование - кому давать деньги, а кто останется ни с чем.

Шаг 4. При условии выигрыша гранта, начинается непосредственная работа по тестированию гипотезы, сбору данных и написанию статьи. Ну вернее, так ожидается, на практике всё происходит в ретроспективе - деньги выделяются на уже полуготовую статью, потому что иначе не видать гранта.

Шаг 5. Статья подается в научный журнал с соответствующей тематикой, где проходит первичное ревью редактором журнала и если в целом всё ок, статья уходит на peer review, где 3 рецензента должны глубоко оценить работу. Платят ли издательские дома рецензентам? Чаще нет, чем да.

Шаг 6. Если всё хорошо и к статье нет вопросов, то её публикуют. Если же нет, то в зависимости от степени проблемы, еще дается возможность что-то исправить.

Так цикл замыкается: исследователь снова идёт за новым грантом, потому что без публикаций не будет финансирования, а без финансирования - публикаций.

В общем такой нехитрый механизм, где основные исполнители работают практически бесплатно и за “заслугу перед человечеством”. Но пока, прежде чем переходить к конкретным проблемам, раскрываемым в книге, стоит вспомнить про несладкую жизнь самих ученых.

Карьерный трек ученого

За каждым исследованием стоят люди с разными мечтами и мотивацией. Но выбирая работу в академии почти все понимают - яхту купить вряд ли получится. Наука это скорее попытка оставить след, пусть и на крошечном участке человеческого знания, что уже достойно уважения.

Но даже в мире идей есть иерархия. Как стать на вершину - самым главным учёным?

1. После окончания магистратуры или специалитета, новоиспеченный специалист может принять фатальное решение пойти в аспирантуру.
2. После окончания аспирантуры и получения кандидатской (PhD) на горизонте появляется две опции - индустрия или академия. С первым все понятно - power & money, то со вторым всё чуть запутаннее и можно рассчитывать только на glory и то если повезет.
3. В академическом треке, после получения кандидата наук, свежеиспечённый ученый обычно остаётся в своей лаборатории или отправляется «в странствия» по другим группам в роли постдока. Контракт временный, зарплата с гранта, задача - найти тему, в которой можно двинуть прогресс человечества (и успеть опубликоваться достаточно, чтобы перейти на следующий уровень).
4. Если сходятся звезды, удача и возможности, то на одной из постдок должности можно стать ассистентом профессора и получить постоянную позицию, это уже отличная заслуга, которая гарантирует место в университете и хоть какую-то иллюзию стабильности.
5. Вершина академической пирамиды. Профессор - он же PI (principal investigator) руководит проектами, от его лица пишутся гранты, формирует научную повестку своей группы. На нём лежит роль визионера, наставника и, часто, главного сборщика денег для лаборатории.

И тут автор книги напоминает, что лишь 3.5% кандидатов наук устраиваются на постоянные позиции и только 0.5% возможно в итоге станет профессорами, то масштаб воронки виден сразу: конкурс бешеный, шансы минимальны.

Автор приводит исследование 2010 года в качестве доказательств, но быстрый поиск говорит о всё таки 20-30% шансах получить постоянную позицию в академии. Все зависит от страны и области исследования, но можно согласиться, что шансы стать успешным изначально невелики и теоретически больше шансов стать богатым на криптобирже (не финансовый совет)

Сабо настаивает, что такая сверхконкуренция не просто отсекает «слабых» - она формирует систему, где ради выживания приходится подстраивать результаты, украшать статьи и гнаться за цитируемостью. Именно этот академический пресс и порождает многие проблемы, про которые дальше и пойдет речь.

Кризис воспроизводимости и его причины

Nature asked 1576 scientists this question as part of an online survey. Most agree that there is a crisis and over 70% said they'd tried and failed to reproduce another group's experiments.
Is there a reproducibility crisis in science? (Nature, 2016)

В чём суть проблемы - значительная доля исследований в естественных науках не подтверждается повторными экспериментами. По некоторым оценкам эта доля колеблется от 75% до 90% в зависимости от области и даты публикации. Автор книги плотно проходится по области биомедицины, но подобная проблема характерна и для остальных наук.

Казалось бы - ну не воспроизводится и ладно. Однако, научная статья не равно статья в желтую газетку. Публикуясь в рецензируемом журнале, группа исследователей утверждает, что немного расширяет область знаний человечества. Эти знания подхватываются дальше и используются другой группой исследователей и так далее. По итогу, собирается сэндвич знаний, и если туда затесался несъедобный ингредиент, то весь продукт будет непригодным к употреблению.

Автор приводит конкретные примеры подобных работ, которые положили начало целому ложному направлению.

Однако стоит начать с причины по которым кризис воспроизводимости возник и прогрессирует как опухоль.

1. Publish or perish

Категория 1: ложные стимулы

Главный акцент у Сабо : если не публикуешься - исчезаешь из академического поля. Публикации и метрики (импакт-фактор журнала, h-index, цитируемость) нынче единственные мерила у кого х.. (хирш) больше научной эффективности. Именно эти цифры являются пропуском к грантам (деньгам), ставкам и лаборатории. То есть основная цель это количество и очень опосредованно - качество, и уж мало кто вспоминает про воспроизводимость.

“When a measure becomes a target, it ceases to be a good measure.”
Charles Goodhart, 1975

Без регулярных публикаций исследователь выпадает из всех «окон видимости» системы. Экспертные комитеты, выдающие гранты, оценивают последние 3-5 лет активностей заявителя: нет свежих статей - нет баллов, нет шансов. Алгоритмическая часть тоже безжалостна: Google Scholar, Scopus и прочие индексаторы питают метриками чужие отчёты и поисковые выдачи; если не производишь контент, ты не попадаешь в поиск, не цитируешься и не фигурируешь в обзорах.

Дальше запускается инерция выбывания. Без статей сложнее брать гранты ⇒ без грантов нет ставок и расходников ⇒ падает темп экспериментов ⇒ ещё меньше материалов для статей. Пои этом параллельно растёт нагрузка «по службе» (преподавание, комитеты, отчётность) и времени на исследования становится ещё меньше. Команду удерживать и нанимать тоже труднее: молодые идут туда, где есть публикации и финансирование.

Соцкапитал усыхает вместе с публикационным: реже зовут в коллаборации, симпозиумы и спецвыпуски. Меньше цитируют просто потому, что ты «не в ленте». Даже сильные старые работы теряют эффект без новых «сигналов» о том, что ты в теме и двигаешься. А вы еще говорите, что алгоритмы соц. сетей безжалостны к контент-мейкерам.

И именно отсюда - ключевой изъян: страх «исчезнуть» подталкивает к постоянному производству «публикуемых» результатов любой ценой. Растёт дробление данных, когда одну идею разрезают на много небольших (salami slicing), преступные аналитические практики, игнор «негативных» исходов.

Сложившиеся устои вознаграждают частоту и новизну, а не проверяемость - и это таки прямой мост к кризису воспроизводимости.

2. Конкуренция за гранты и финансирование

Категория 1: ложные стимулы

No money, no honey - дальше автор книги разбирает, как академическая карьера завязана на грантовую лотерею. Грант - это не просто деньги на проект, а зарплаты всей команде, накладные для университета и символ выживаемости лаборатории.

Напоминаю, что выдача гранта зависит от ревью заявки на сам грант экспертным советом. В книге автор погружается в детали процесса NIH - как оценивается грант, как можно стать экспертом и как принимается финальное решение. Если суммировать - то еще удовольствие - разбирать за бесплатно кучу заявок.

Общий конкурс настолько высок, что выживают лишь те, кто производит эффектные, «финансируемые» истории, а не те, кто методично проверяет чужие результаты.

В такой системе скучные, но важные работы с целью перепроверки уже опубликованных статей отпадают первыми. Они не выглядят «прорывом» для экспертной панели и не приносят очков в борьбе за следующий цикл финансирования.

Тут автор утверждает, что на NIH RePORTER при поиске исследований содержащих “study” выдает 870,000 результатов, а при поиске “replicate” лишь 1,300 работ, что составляет 0.15% от общего числа. У меня абсолютные цифры не воспроизвелись, но соотношение примерно совпадает.

Давление постоянного поиска средств формирует поведение, при котором публикация становится прежде всего отчётом перед грантодателем, а не проверяемым вкладом в науку. Именно этот структурный перекос Сабо называет одной из ключевых причин кризиса воспроизводимости.

3. Учёные насилуют журналистов

Категория 1: ложные стимулы

Журналы и медиа живут в логике внимания: новизна, крупный эффект, простая история. Коллективы лабораторий это понимают и подстраивают дизайн и подачу: собирают «красивый» нарратив, выносят на первый план самые впечатляющие показатели, упрощают ограничения. Репликации и скучные уточнения в такой экономике внимания проигрывают на входе.

Сабо подчёркивает, что это уже встроенный механизм академической экосистемы: журналы, рецензенты и грантодатели вознаграждают «новое и позитивное» и маргинализируют всё, что не укладывается в формат сенсации.

Можно обратить внимание как быстро из инфополя исчезают новости про квантовые компьютеры “патамушта сложна” и как долго циркулируют новости про мышей с шерстью мамонта.

В результате даже добросовестные исследователи невольно формируют проекты так, чтобы они выглядели максимально «публикуемо».

Препринты и пресс-релизы, усиливают искажение и разгоняют «выводы» до рецензирования, университетские комм-офисы пишут заголовки, которые читают политики и инвесторы. Альтметрики вознаграждают вирусность, а не проверяемость. Опровержения и корректировки приходят поздно, получают на порядок меньше внимания и редко догоняют первоначальную волну. Так как повесточка в СМИ уже давно поменялась.

В итоге, как пишет Сабо, поле заполняется историями, которые хорошо рассказываются, но плохо воспроизводятся.

4. Проблемы с методологией

Категория 2: операционные ошибки

Вот тут автор переходит к непосредственной сути. Сабо достаточно подробно проходится по тому, что может может пойти не так в биомединской лаборатории, но у нас же тут “краткий пересказ”, поэтому пройдемся сжато.

Самая важная проблема - отсутствие понимания того, как планируется эксперимент. В идеальном сценарии это происходит так:

1. Производятся наблюдения какого-то феномена (прочтение других статей тоже считается, если что)
2. Исследователь формирует гипотезу.
3. Под гипотезу разрабатывается дизайн исследования: выбирается размер выборки, критерии включения, методы измерения и статистический тест. Рассчитывают статистическую мощность, чтобы уменьшить вероятность случайного подтверждения или опровержения гипотезы.
4. Честное проведение экспериментов по сформированному дизайну.
5. Анализ и интерпретация данных, финальный вывод о судьбе гипотезы
6. Публикация

Звучит идеально, так вот в современном мире из-за факторов прессинга, описанных сверху, происходит нарушение этого цикла. Гипотезы подстраиваются под результаты😡. То есть ученый видит то, что не ожидал, но его карьера или грант были поставлены на противоположный результат, и начинается натягивание совы на глобус. Это называется HARKing (Hypothesis After Results are Known). Автор книги подчеркивает, что это не всегда происходит умышленно, но зачастую ученые злоупотребляют своей властью над экспериментом.

Конечно сложно винить ученых, когда философию науки все откровенно игнорируют или угорают над ней мол “да кому нужна философия, лолъ” и тем самым упускают чуть ли не базовые компетенции. В общем, если вы упустили этот момент, то можно начать с Алана Чалмерса**. “Что такое вообще наука?” (ENG). А там разберетесь.

Ну и помимо проблем с причинно-следственными связями Сабо подчеркивает основные проблемы в проведении самого эксперимента иначе говоря - косяки в лаборатории.

Чтобы изучить наличие эффекта, исследователь должен выбрать систему, в которой этот эффект принципиально способен проявиться.

• В биологии это могут быть ксенографты, клеточные линии или органоиды
• В химии - модельные реакции, субстраты или контрольные смеси
• В хемоинформатике - эталонные, насколько это возможно, датасеты и тестовые молекулы.

Ошибка возникает, когда сама модельная система выбрана так, что зафиксированный «эффект» не связан с исследуемым фактором, а является следствием шумовых артефактов, особенностей выбранной модели или некорректных контрольных условий. Это ведёт к ложным выводам, которые другие группы не могут воспроизвести, поскольку при смене системы или точки сравнения эффект исчезает.

Таким образом, ошибка на этапе выбора модели - чуть ли не фундаментальный источник проблем с воспроизводимостью: она приводит к публикации эффектов, существующих только в рамках узко-специфичных и плохо обоснованных условий эксперимента.

Дальше автор апеллирует к самой известной проблеме - качеству реагентов. Почему-то исследователи забывают, что всё что попадает в колбу/лунку оказывает влияние на результаты, как то смена поставщика или лота реагента. Да, что уж тут, даже качество воды может сильно влиять на результаты. Если для GxP лабораторий это очевидно, то для академии подобный контроль кажется избыточным. Но это только лишь кажется.

Автор книги особенно акцентирует внимание на вестерн-блоте - аналитическом методе белков, который не так прост в исполнении. Из-за этого очень часто случаются ложные, но очень уверенные выводы. Или всемирно известная проблема с чистотой клеточных линий, когда спустя годы внезапно оказывается, что в чашке Петри живет не то, что ожидалось. А все потому, что система качества - “для слабаков.

Ну добавлю от себя в список проблем:

• Использование весов и pH метров, которые поверяют раз в тысячелетие.
• Неадекватная оценка влажности растворителей - на глазок или доверяя, не самым эффективным осушающим реагентам.
• Орудование пипеткой в колбе, как будто цель не добавить реактив или взять пробу, а достать самый смачный корнишон из банки.

Этот перечень можно продолжать на мини-методичку, но суть думаю ясна:

Операционные ошибки не добавляют надежности к данным. Особенно, если эти ошибки не осознавать.

Что бы ни писали в этих наших интернетах, на одной мотивации далеко не уедешь. Наука дело не только вдохновения, но и навыков. Особенно если речь идёт о такой нетривиальной штуке, как эксперимент. Но кроличья нора еще глубже, ведь мы еще даже не вспоминали про обработку результатов.

5. Абьюз статистики

Категория 2: операционные ошибки

Следующий проблемный пункт, поднимаемый автором книги - статистические заблуждения. Среди всех статистических заблуждений особенно трогательно выглядит вера в то, что p < 0.05 автоматически означает «истину». Именно с этого начинается p-hacking - искусство подгонять реальность под требования отчёта.

p-hacking это набор приёмов (умышленных или неосознанных), при которых исследователь манипулирует анализом данных или отчётом результатов так, чтобы получить статистически значимое p-значение (обычно <0.05).

Типичные варианты прегрешений:

• многократное тестирование разных переменных и выбор только «удачных» результатов
• исключение наблюдений или изменений критериев исхода после просмотра данных, не согласующихся с первичной гипотезой
• подгонка моделей и наблюдений до появления значимого p; остановка сбора данных по достижении желаемого p (optional stopping)

В результате повышается вероятность ложноположительных выводов - эффекты, которые на самом деле случайны, начинают выглядеть как «научно подтверждённые».

Самое страшное, что зачастую это происходит именно неосознанно - исследователи например забывают оценить статистическую мощность эксперимента перед самими работами. Хотя тут не надо быть гуру R, чтобы прикинуть дизайн самостоятельно - имеются соответствующие инструменты без регистрации и SMS.

Тема с p-value обширная, то автор лишь мельком затрагивает её, если же хочется углубиться в секреты фокусников статистики, то есть соответствующая статья, хорошо раскрывающая эту тему и подсказывающая, как избежать проблем с p-value - Big little lies: a compendium and simulation of p-hacking strategies

А от себя добавлю, что значимый p-value >0.05 не означает что гипотеза верна и эффект существует с вероятностью 95 %. В классической статистике нельзя приписывать вероятности гипотезам. Это всего лишь значит, что вы посчитали вероятность получить наблюдаемые (или ещё более экстремальные) данные при условии, что нулевая гипотеза верна.

И так как вникать в такие сложные материи сейчас явно не очень то и хочется, то осмелюсь предложить сохранить парочку материалов, которые чуть лучше раскрывают этот вопрос:

• An Actually Correct Explanation of P-Values - в конце есть вопросы для самопроверки
• The 20% Statistician: What is a p-value? - с примерами, которые можно самолично погонять в R.

Общий вывод - если в абстракте статьи написано про “значимый” эффект, и вам внезапно не все равно, то стоит найти исходные данные и самому прикинуть, а не намудрили ли авторы. Например, увеличение recall для модели на 0.06 может и быть статистически значимым, но какая разница, если выше 0.5 она так и не поднялась?

6. Фабрики фейкометов

Категория: намеренное мошеничество

Следующий грех современной системы, который отмечает Сабо - “все врут”.

Если предыдущие пункты как-то еще находятся на слуху, то фабрики фейковых статей и фейковых журналов как-то умело увиливают от газетных заголовков. Оказывается, что на Земном шаре существуют целые фирмы, цель которых создание и публикация фейковых статей. Чтобы не замешивать это в ядреный микс лжи и порока, стоит разделить проблему на две составляющие:

i. Хищнические журналы (predatory journals)

Это издания, которые имитируют настоящие научные журналы, но не соблюдают вышеупомянутые стандарты академической публикации. Их основная цель, как бы это ни банально звучало, получение денег с авторов. Такие журналы обещают быструю публикацию, часто за значительную плату, но при этом не проводят реального рецензирования, публикуют работы любого качества и иногда даже умело накручивают импакт-фактор.

Хищнические журналы наносят серьёзный вред научной среде: они засоряют литературу низкокачественными или откровенно фиктивными статьями, подрывают доверие к публикациям и позволяют недобросовестным авторам «накручивать» себе научные достижения. Их легко узнать по агрессивным письмам с предложениями опубликоваться, сомнительным редакционным советам, отсутствию прозрачной информации о взносах и обещаниям «молниеносного» рецензирования.

Ориентироваться в этом безобразии самостоятельно решительно невозможно, поэтому слава здравому смыслу имеется сайт - Beall's List, на котором можно проверить является ли журнал “хищническим”. И можно просто делать sanity check c подобными чеклистами - Think. Check. Submit.

Ну хорошо, мы все знаем, что есть “мурзилки” в которых не очень достойно печататься, что же касается самих статей, то тут масштаб трагедии чуть больше.

ii. Фабрики статей (paper mills)

Звучит как сюжетный твист Шьямалана, но, как ни парадоксально, научную статью можно написать и без науки. Существует многочисленные конторы, которые за ваши кровные (или не ваши) сляпают что-нибудь убедительно похожее на научную статью и опубликуют за вас, но с вашим именем. Как бы ни заманчиво это не звучало, очевидно, что такой подход не рекомендуется практиковать.

Это крайне прибыльный бизнес, который буквально в индустриальных масштабах штампует публикации и достаточно успешно попадает в весьма уважаемые журналы. Причем они умудряются активно цитировать друг друга, что только создает видимость “актуальности” публикуемого слопа.

Если вдруг стало интересно, а сколько такое удовольствие стоит, то вот один из примеров прайслиста для ознакомления, но не для использования.

Может показаться, что подобных публикаций немного, но с развитием технологий стало проще отслеживать такие фальсификации. Например, можно вычислить подделки по одинаковым шаблонным цитированиям, личным почтовым адресам авторов или банально по копипасте одних и тех же изображений.

Если о цифрах - в 2023 году один из нейрофизиологов тоже задался этим вопросом и пришел к выводу что в области биомедицины около 34% статей являются как минимум сомнительными🤯. Не 3% и не 13%.

В 2025 году в обновленной статье от тех же авторов расчеты были оптимизированы и относительная оценка точных фейков оказалась 5.8%. Однако, процент статей у которых есть проблемы с изображениями, когда одни и те же результаты копипастят из работы в работу, составляет до сих пор 30%.

Да, я понимаю, на что падает глаз на изображение выше. Я лично не берусь судить о масштабе серьезности ситуации в родной стране и не умаляю заслуг очевидно сильных академических групп в РФ, не уступающим в качестве зарубежным коллегам. Но если очень уж хочется докопаться до правды, то можно ознакомится с релевантным на эту тему источником и почитать локальные паблики с ключевыми словами “paper mill”.

А мы пока забудем о возможностях ИИ в области генерации “научного” слопа, чтобы совсем не впадать в уныние и отправимся дальше выяснять причины проблемы с воспроизводимостью.

7. Системная безнаказанность

Категория: намеренное мошенничество

“Если наказание - только штраф, значит, это услуга с фиксированной стоимостью”

Неочевидная проблема, упоминаемая Сабо.

Если за нарушение правил в худшем случае вы платите лишь репутацией, а чаще всего - лёгким порицанием и коротким отпуском «для восстановления доверия», то риск перестаёт быть сдерживающим фактором. У новостей память «как у рыбки»: хайп живёт неделю, потом его смывает следующая волна сенсаций. Всегда можно пересидеть, вернуться с «новой исследовательской программой» или просто уйти на пенсию с почестями, если уж совсем громкий случай (про которые я упомяню ниже).

Даже когда авторов ловят буквально с поличным - отредактированные изображения, дублированные спектры, странные совпадения в данных, то редко кто признает вину. И, в сущности, за что судить? Никто не умер, грант освоен, результаты «уточнены», наука ведь потом «самоскорректируется». Присягу честности в университете никто не приносит, а ответственность растворяется в многостраничных списках соавторов.

Профессор может всегда сказать: «Я не знал, что аспирант что-то подделал». Аспирант, что «данные уже были такими”. Журнал, что «не заметил». И порочный круг замыкается, потому что разбираться в проблеме себе дороже.

8. Et al.

Категория: et al.

Пучина проблем современной науки бездонна, поэтому углубляться в каждую нет смысла. Тем не менее, автор книги отмечает ещё несколько характерных, возможно очевидных, проблем, о которых всё же стоит упомянуть:

1. Очевидные вещи типа плагиатов, перепечатывания старых статей и предвзятость цитирования.

2. “Призрачное авторство” - это ситуация, при которой в списке соавторов появляются люди, не имевшие отношения к работе, но включённые туда из корыстных соображений.

3. "Салями-публикации" - те случаи, когда одно исследование нарезают на тонкие ломтики и публикуют как серию отдельных статей, чтобы набить себе индекс, создавая видимость продуктивности там, где по сути хватило бы одной честной работы. Может это всё влияние блогов😅

4. Matthew effect - да это скорее про социоэкономику, но тут он тоже применим. Примеры, когда признание и ресурсы в науке распределяются не по качеству работы, а по имени: у известных учёных цитируют всё подряд, им охотнее дают гранты и публикуют без придирок, а начинающие с теми же идеями остаются «в тени».

5. Эффект подражания (bandwagon) - когда учёные, рецензенты и грантодатели начинают поддерживать «модное» направление просто потому, что его поддерживают остальные и общество в целом. Проще встроиться в тренд, чем рисковать репутацией, занимаясь чем-то непопулярным.

С причинами разобрались ☑️ - можно выдохнуть

Дальше возникает логичный вопрос “я не работаю в науке, а мне то какое дело до проблем утопающих?” И Cабо приводит фееричные примеры, про которые вы даже возможно слышали.

Яркие примеры факапов

Как нетрудно заметить, академическая среда далека от идеала. И хотя все мы гомункулы со своими пороками, отдельные истории всё же выделяются особенно резко. Ниже приведу несколько наиболее известных кейсов, которые анализирует автор книги.

Болезнь Альцгеймера и президент Stanford Uni

История с Marc Tessier-Lavigne - это хрестоматийный пример того, как одна публикация может повлиять на целую отрасль. В 2009 году он опубликовал в Nature работу о роли рецептора DR6 в гибели нейронов - прорывную на тот момент гипотезу, на которой фармкомпании и академические группы по всему миру начали строить исследования болезни Альцгеймера. На протяжении более десяти лет статья считалась фундаментальной, хотя её воспроизводимость вызывала трудности у многих исследователей.

В 2022 году студенческое издание The Stanford Daily опубликовало расследование, поднявшее вопрос о манипуляциях с изображениями в публикациях Tessier-Lavigne, начиная с 2001 года.

В 2023 году независимая комиссия подтвердила, что в ряде его статей действительно были фальсификации данных - не со стороны самого Tessier-Lavigne, но в экспериментах, выполненных в его лаборатории. Также выяснилось, что он знал или должен был знать о проблемах и не предпринял действий для их исправления.

Забавная история, что во время оригинальной публикации, автор Anatoly Nikolaev и сам Tessier-Lavigne работали в Genentech. У коллег по цеху сразу возникли вопросы к воспроизводимости, поэтому попросили Анатолия повторить эксперимент. И у него всё получилось! Однако была небольшая загвоздка - ему, без его ведома, подменили реагенты и эксперимент не должен был удастся ни при каком раскладе. Что в итоге сделала компания? Просто свернула проект и закрыла глаза. Разбираться было дороже.

Несмотря на отсутствие прямых доказательств личного участия в фальсификациях, Tessier-Lavigne ушёл с поста президента Stanford University и занял должность пониже - всего лишь профессор биологии в том же Stanford.

Особенно болезненным стал тот факт, что статья 2009 года, впоследствии отозванная, сформировала целое направление исследований и расходовала ресурсы от других гипотез.

История Tessier-Lavigne показала, как высокий статус учёного и публикация в престижном журнале могут надолго направить целую отрасль по ложному руслу.

Амилоиды (да, опять нейродегенеративные заболевания)

Этого кейса нет в книге, но добавлю от себя любимого.

В этом случае наш герой - Sylvain Lesné, нейробиолог из University of Minnesota, чья работа 2006 года стала одним из наиболее цитируемых исследований в области болезни Альцгеймера. В ней утверждалось, что олигомер Aβ*56 вызывает когнитивные нарушения у мышей до формирования амилоидных бляшек, что укрепило доминирование амилоидной гипотезы в исследовании болезни. Эта идея повлияла на стратегические решения многих академических групп и фармкомпаний, косвенно направив значительные инвестиции в исключительно «амилоидное» русло.

В 2022 году расследование Science выявило серьёзные подозрения в манипуляции изображениями в публикациях Lesné, включая ключевую статью 2006 года. Эксперты нашли признаки дублирования и обрезки панелей western blot, а также несостыковки с описанием экспериментов.

Проверка показала, что эти данные и правда не воспроизводятся, что поставило под сомнение научную основу работы. В 2024 году университет завершил внутреннее расследование, подтвердив «проблемы с целостностью данных» и объявил об уходе Lesné.

Занятно, что проблему обнаружили не многочисленные рецензенты статей, а исследователь в той же области - Matthew Schrag. Он не был частью официальных расследований и самостоятельно занялся проверкой публикаций, используя открытые изображения из статей и методы цифрового анализа. Он передал свои находки журналистам Science, что и стало отправной точкой громкого расследования в 2022 году.

Хотя Lesné не был признан виновным в прямом мошенничестве, сам факт проблем с его наиболее влиятельными публикациями вызвал широкий резонанс. Aβ*56, хоть и не был прямой терапевтической мишенью, укрепил парадигму, которая определяла стратегию исследований и финансирования на протяжении почти двух десятилетий. Кейс Lesné стал символом того, как одна статья в престижном журнале может повлиять на глобальное научное направление - и насколько дорого для науки обходятся ошибки в фундаментальных данных.

Важно примечание - это не означает что амилоидная теория несостоятельна, но сейчас она рассматривается как малая часть сложного каскада процессов ведущих к с самой болезни Альцгеймера.

Еще примеры, вызывающие сомнения

Если присматриваться более внимательно к этой тематике, то количество примеров, хоть и не столь громких, легко перевалит за несколько дюжин. Автор книги ссылается еще на пару десятков примеров. Выделю лишь пару имен:

• Woo-Suk Hwang (Южная Корея) - пример, когда учёный заявил, что клонировал стволовые человеческие клетки в 2004 году. Причем, для экспериментов были использованы в том числе яйцеклетки студенток (когда ты всецело предан науке). Когда его сдали коллеги и ложь вскрылась, то ему даже назначили условный срок. Впрочем, это не мешает ему клонировать домашних животных в коммерции и продолжать публиковаться.
• Piero Anversa (USA) - опять стволовые клетки. На этот раз учёный заявлял, что нашел способ превратить их в клетки сердечной ткани. Когда его тоже сдали коллеги, то обнаружилось, что больше 30 публикаций по сути были фейками. В итоге это привело к судебным разбирательствам между грантодателем (NIH), университетом и самим исследователем, которые впоследствии были урегулированы в досудебном порядке. На этом карьера исследователя закончилась и пришлось уйти на пенсию.

Как несложно заметить, если немного копнуть глубже, подобных случаев фальсификации данных в научной среде становится всё больше. К сожалению, частота участия в них громких имён оставляет желать лучшего. Не буду грузить примерами дальше - ищущий да обрящет.

Кто стоит на страже

Если тематика кризиса воспроизводимости в науке затронула вас за живое и вам стало интересно, что происходит в этом крестовом походе, то можно упомянуть несколько сайтов на которые ссылается автор книги. И я еще от себя добавлю:

• science-fraud.org - блог ученого в области биомедицины - Paul S. Brookes, PhD. Естественно уже успел пострадать за свои идеи кое как отбившись от судебных исков.
• retractionwatch.com - база данных отозванных статей, созданная тоже энтузиастами из биомедицинской области - Ivan Oransky и Adam Markus
• pubpeer.com - ну про него не знает только ленивый. Находите статью и закидываете её говном конструктивной критикой.
• forbetterscience.com - автор биолог - Leonid Schneider. Тоже блог, который пишет на тематику слопа в науке и обозревает откровенно порнографичные статьи. На мой личный вкус имеет отличное чувство юмора.
• Science Integrity Digest - блог от Elisabeth Bik. Упорно разбирает по косточкам как исследователи накручивают себе Хирши.
• Pete Judo - YouTube - если лень читать и хочется видео-контента на эту тему

Скорее всего это не все рыцари, пытающиеся воззвать к чувству адекватности сложившейся системы, однако стоит отметить следующее - это все личные инициативы. Ни государство, выделяющее деньги, ни институты, активно поглощающие выделенные деньги, ни большая часть ученых, которая не видит этих денег, не усложняют свою жизнь перепроверкой сгенерированных научных трактатов. Publish or perish

В результате - научную целостность отстаивает группка энтузиастов, которую не то, чтобы обожают по очевидной причине.

Казалось бы, чтобы избежать личного негатива, можно было бы сделать анонимную систему ревью статей всеми желающими, но тогда получается, что любой оппонент, может накидать грязи на вполне адекватную статью и пока там разберешься, что к чему - ситуация уже подпорчена. А если выступать не анонимно - репутация в начале портится у ревьюра. Это же не по понятиям. В общем вылезает уловка-22

Со своей стороны я бы хотел добавить, что, если погружаться в эту область научного ада, то можно быстро разочароваться в науке в частности и в целом в человечестве и очень быстро скатиться до веры в концепцию всемирного заговора ученых. Поэтому вышеупомянутые материалы стоит принимать внутрь мозга с осторожностью.

Ну и чтобы это всё не казалось беспросветным мраком, автор книги предлагает несколько усовершенствований, которые в теории могут улучшить положение в системе.

Альтернатива современной системе

Решение есть и оно очень простое - надо начать проводить “разговоры о важном в науке”. Хотя нет, это из другой методички. Всех неугодных посадить? - хотя погодите, опять не то.

Ладно это всё шуточки, но автор книги предлагает пересмотреть основную систему сложившуюся с XVIII века. Генерация гипотез, эксперименты, система публикации зиждется на основном концепте - возможность быть независимым ученым. Да, влажная мечта всех конспирологов, раньше была обыденностью.

Вся система до сих пор основана на том, что один в поле воин и можно спокойно публиковаться - раньше было лучше мотивация заниматься научной деятельностью была другая, да и уровень техники позволял открывать что-то новое не поддающееся сомнению: сложно спорить с тем, когда что-то живое шевелиться под увеличительной лупой, в то время как сейчас, чтобы заметить новое, нужен криоэлектронный микроскоп и GPU на полмиллиона. А знаковое событие может быть лишь микропиком на очередном графике.

Ладно перестаю язвить и уже начинаю писать, что предлагает Сабо. Тут он разбивает проблему на пять составляющих:

• Ученые
• Институты
• Система грантов (государство)
• Система публикаций (издательские дома)
• И как ни странно - обычные крестьяне, то есть общество

I. Ученые

Итак основные предложения, которые автор выносит на обсуждение:

1. Наука не для всех - вот такой элитаризм. Ученых слишком много, а мы знаем, что количество не равно качество. Не всегда люди выбирают научный трек по своим способностям, поэтому от отдельных индивидов больше пользы в индустрии, чем в науке (прим. автора заметки - eto ya) Особенно хорошо это видно по специалистам в биомедицинской области, когда речь заходит хотя бы о банальной поправке на множественные сравнения, можно воочию фиксировать визуализацию феномена “ступора мозговины” на лице. В итоге, у нас куча статей на похожие темы, которые вообще не двигают никуда науку, но отрабатывают все те же гранты.
2. Карьерный трек науки должен быть осознанным решением. Не стоит брать всех подряд в аспирантуру и дальше, просто лишь потому что нужны рабочие руки для написания очередной статьи, для очередного гранта. Неплохо было бы разрабатывать более прицельное карьерное профилирование, которое будет учитывать индивидуальные особенности.
3. Софт скиллы обязаны быть частью обычного обучения. Нельзя игнорировать то, что учёный обязан работать в команде, сотрудничать с другими лабораториями, знать и следить за целостностью данных, знать метрологию и не забывать про ту же воспроизводимость. Всё это не преподается как обязательная часть, а скорее вскармливается как результат ошибок.
4. Специалисты по работе с данными. В идеале каждой научной области нужен свой корпус специалистов по измерениям и качеству данных - условные «кандидаты технических наук в метрологии» со своими журналами, дискуссиями и научной школой. Автор книги фактически говорит о необходимости внедрять СМК и принципы целостности данных (ALCOA) в лабораторную практику, а метрологию и дизайн эксперимента рассматривать не как вспомогательные навыки, а как самостоятельную научную дисциплину. Такие специалисты занимались бы планированием экспериментов, корректной обработкой данных и независимой верификацией результатов.

Ладно, с виктимблэймингом закончили - теперь можно перейти к следующей категории.

II. Институты

1. Количество публикаций ≠ рейтинг университета. Вернее так быть не должно. Университетам не стоит рассматривать публикации как курс валют, кто больше намайнил статей с IF повыше, тот и молодец, поэтому стоит пересмотреть критерии, например оценивать общественную пользу, клинический вклад, вклад в развитие образования и т.д.
2. Институтам не стоит рассматривать публикации как денежную корову. Да, это меняет систему финансирования (до неё автор доберется дальше) и университету придется вкладывать частично свои кровные средства, а не перекладывать деньги налогоплательщиков. Звучит неприятно, но если исследования будут действительно значимы и воспроизводимы, со временем появится и их рыночная ценность. Тогда финансирование сможет частично сместиться в сторону бизнеса - в форме роялти, патентов и партнёрских договоров.
3. Пересмотр системы академического трудоустройства. Это к вопросу: грант закончился - пошел на улицу. Стоит рассмотреть возможность устраивать на постоянные контракты не только высший академический состав (да, звучит как ересь). И по умолчанию в любую научную группу добавлять до 30% состава, который будет отвечать как раз за качество публикаций (см. кандидаты метрологических наук) и координацию вопроса воспроизводимости.
4. Целостность данных. Так как именно в стенах института и творится научная магия, то институт не должен просто торговать своим брендом, но и нести ответственность за генерируемые в его стенах данные. Система электронных лаб журналов, обучение персонала, ревью данных, оценка ALCOA должна поддерживаться на постоянной основе. И, самое главное, внедрение системы наказаний - если ученого на постоянной основе ловят на подгонометрии, то должны приниматься меры, начиная от обучения и корректирующих разговоров, вплоть до увольнения.

Звучит конечно замечательно и вроде даже возвращает былой уровень ответственности институтов за сами результаты.

Так, а откуда собственно деньги брать?

III. Система грантов

Наверное это самое слабое предложение автора книги, но тут уж перескажу как есть:

Автор предлагает сместить фокус с индивидуальных грантов на институциональные пакеты финансирования:

• Государство или фонд выдает деньги университету
• Университет гарантирует базовую (адекватную) зарплату исследователям

Средства при этом должны распределяться исходя из репутации воспроизводимости, добросовестности данных и прозрачности отчётности в рамках института, а не по количеству публикаций и цитирований.

Гранты, по замыслу, не исчезают совсем, но перестают быть разменной монетой академии. Учёные должны получать стабильную поддержку на долгосрочную работу, а не на трёхлетние проекты с обязательным KPI по числу статей.

Однако, как и любое утопическое предложение, идея имеет подводные камни. Институциональные пакеты могут лишь закрепить неравенство - ведь «высокорепутационные» университеты и сейчас концентрируют большую часть ресурсов. Кроме того, без прозрачных критериев оценки воспроизводимости такая система может превратиться в тот же грантовый конкурс, только с новым названием.

Тем не менее, стоит признать: сама идея - избавить исследователей от вечного круга написания грантов не так уж плоха. И если хотя бы часть бюджета будет зависеть не от числа и хайпа статей, а от их весьма измеримого качества, наука только выиграет.

IV. Система публикаций

Теперь что касается жадных издательских домов:

1. Модификация системы рецензирования. Рецензенты тоже люди и достойны оплаты. Автор предлагает издательским домам создание системы профессиональных, оплачиваемых рецензентов, которые будут обучены и натренированы в своей области. В общем создание нового класса персонажей в академической системе.
2. Добавление Replication Supplement к статьям. Как и с SI (supporting info) - предполагается добавлять оценку воспроизводимости исследования к статье, как обязательный пункт. С учетом возможной СМК в лаборатории это не должно уже быть так трудно
3. Изменение системы публикаций как таковой. Многочисленные издательские дома являются наследниками старого подхода, когда какая-то контора собирала у себя все публикации и обеспечивала быстрый доступ к информации, но мы уже 30 лет как живем в эпоху, когда информация доступна по клику клавиши. Автор предлагает пересмотреть систему публикаций - зачем использовать жадные корпорации, если можно использовать открытые системы для распространения. В данном варианте развития событий остается вопрос - какая мотивация быть рецензентом? Может быть тут поможет государство, которое создаст как раз центр компетенции рецензентов, которые будут уже за гос. деньги работать в таких открытых комьюнити. Есть же аудиторы от FDA, которые проверяют соответствие площадок GMP требованиям. Почему бы не подумать о такой схеме и тут.

Да идея размытая, без четкого плана, но стоит согласиться, что схема - “заплати денюжку, чтобы опубликоваться и заплати денюжку чтобы почитать” в 21 веке выглядит откровенно рудиментарно.

V. Широкая публика

Whoever holds the purse calls the shots

Вот и до тебя добрались🫵. Существенная доля университетского R&D оплачивается из средств налогоплательщиков, тогда как общий объём исследований заметно поддерживается также промышленностью и филантропами. Иначе говоря каждый месяц мы краудфандим на разработку приличные деньги (больше чем стакан кофе), а нам даже стикеров за донаты не дают.

Автор предлагает четыре шага, которые можно свести в один тезис: сообществу пора признать, что текущая ситуация с наукой (все что описано выше) уже давно вышла из под контроля. Деньги используются далеко не самым эффективным образом. Речь не идет об отмене фундаментальных исследований, но возможно не стоит кормить лабораторию, которая синтезирует одни и те же вещества уже 30 лет без какой-либо цели.

Оно само себя не починит. Признание проблемы это первый шаг, но для исправления необходим импульс исходящий от общества, что “нам надоело платить деньги за говно”. Нужны действия отличные от нуля, которые скорректируют текущие правила и имплементируют вышеупомянутые предложения.

Автор признает, что достаточно самонадеянно, ожидать подобных изменений в будущем, если уж даже недавний пример с Тессье-Лавинье не взбудоражил общество.

Подобная гармонизация вполне возможна в некоторых узких областях, а дальше уже можно распространить систему на весь мир. Если уж получилось гармонизовать различных регуляторов типа EMA, FDA путем организации ICH, то почему бы и тут не попробовать?

На этом автор книги откланивается, а я добавлю еще один пункт от себя.

Good Research Practice

Ох уж эти надлежащие практики. В плане гармонизации подхода к научным публикациям мы сейчас находимся на этапе “каменного века” хоть в воздухе и витает необходимость выработки общих требований, но как-то не до этого: нужно писать гранты и публиковаться.

Хотя всё таки имеются некоторые инициативы, которые стоит отметить, но сразу стоит упомянуть, что подобных активностей, очень много и в каждой области хватает своих мини-гармонизациий. Все мне не осветить, тысячи их! Поэтому остановимся на околохимических:

• The FAIR Guiding Principles for scientific data management and stewardship - основоположная статья, описывающая базовые принципы, которые позволяют поддерживать качество работ на должном уровне, когда описывается не только результат, но и контекст, формат и происхождение данных. За 9 лет многое поменялось, но база осталась неизменной

• FAIRsharing | Home - платформа-каталог, которая создана как практический инструмент для внедрения FAIR-принципов на практике. Собраны все возможные FAIR политики и онтологии
• NFDI4Chem Knowledge Base - немецкий национальный консорциум, создающий инфраструктуру для хранения, обмена и повторного использования химических данных по принципам FAIR Guiding Principles.
• Pistoia Alliance FAIR Toolkit - индустриальный набор кейсов, гайдов и инструментов для внедрения FAIR в фарме/лайф-сайенс (включая матрицу зрелости)

• Open Reaction Database - открытая схема и репозиторий для реакционных данных (структуры, условия, процедуры). Само существование и поддержка инициативы поддерживает некоторые принципы FAIR, но не контролирует их исполнение.

Ну и так как вышеупомянутые принципы скорее призывает к всему хорошему против всего невоспроизводимого, добавлю пару практических ссылок, как надо вести себя с данными изначально.

• Report Experimental Data Effectively | AIChE - краткое практическое руководство по тому, как структурировать и представлять экспериментальные данные так, чтобы они были понятны, воспроизводимы и полезны другим исследователям.
• Metrology in Chemistry - базовая база, всё тут не осилить, но хотя бы главу 8 про неопределённость стоит почитать, ну или найти что-то релевантное в методичках по метрологии.
• Reproducibility and Replicability in Science - всесторонний (не только лишь химия) обзор-в виде книги ~250 стр. того, как и почему возникают проблемы с воспроизводимостью и репликацией научных исследований, и рекомендации для исследователей, журналов и фондов по повышению надёжности научного знания.

Я не питаю иллюзий, что кто-то будет читать все эти материалы, но вдруг кому пригодится в поисках правды.

Итого

Не все так ужасно (save the drama for your mama)

Да, вся заметка получилась несколько негативной, но так случается, когда концентрируешься на негативной стороне вопроса. Акцентирование на проблемах не означает отрицание ценности науки. Академическая среда предоставляет некоторые блага: интеллектуальную свободу, доступ к знаниям, возможность сосредоточиться на идеях.

Цель здесь не в том, чтобы отговорить вас от науки, а в том, чтобы подсветить не самые приятные моменты, которые редко попадают в новостную повестку.

От критики - к действию

Я не призываю обязательно выходить на баррикады, как делают некоторые авторы из упомянутых блогов. У каждого свой путь. Но как было, уже долго было - и пора с этим что-то делать.

Я призываю быть более принципиальным: не игнорировать сомнительные практики, особенно когда их внедряют ваши коллеги, и не стесняться задавать неудобные вопросы. Если за вполне безобидные и справедливые вопросы вас встречают враждебностью, стоит серьёзно подумать: совместима ли эта среда с вашими принципами?

Как это модно нынче говорить - ставить под сомнение статус-кво, когда это необходимо.

Воспроизводимость - это норма, а не придурь.

Печально, что научная система недостаточно ценит репликационные исследования и работы, которые уточняют, а не открывают. Вероятно, поэтому в процессной химии журналов остаётся на пальцах пересчитать.

Но здесь ключевой момент: проблема воспроизводимости касается не только учёных. Это вопрос общественного доверия к знаниям, на которых строятся решения в медицине, технологии, политике. Когда результаты не воспроизводятся, все мы становимся жертвами - как профессионалы и как общество.

Метрологи и инженеры данных в R&D

Есть основания предположить, что роль метрологов в лабораториях будет расти. В мире, где надёжность данных становится критичной, специалисты, обеспечивающие качество и воспроизводимость, займут центральное место. Вполне возможно, что соблюдение принципов FAIR и целостности данных (ALCOA) будет настолько же обязательным как собраться на чашечку чая всем составом кафедры во время перерыва.

Но это возможно только если система переосмыслит свои приоритеты. Пока воспроизведение результата не будет наравне с открытием, пока проверка не будет иметь того же престижа, что и первопроходство, система останется перекошена. Это означает переоценку ценностей на каждом уровне: в том, как мы оцениваем работы, как распределяем гранты, как поощряем научный карьерный рост.

Make science greater than it was before

И, пожалуй, самое главное: кризис воспроизводимости не повод разочароваться в науке, а повод пересмотреть наши приоритеты. Наука существует не ради цитирований, грантов и метрик. Она существует для бесконечного поиска истины. Когда мы забываем об этом и подменяем цель на показатели, мы теряем суть.

Всё остальное просто шум, который мешает видеть настоящие приоритеты.