О насущном: проблема системы рецензирования в науке

Процесс рецензирования является краеугольным камнем современной науки. Однако у многих авторов, рецензентов и редакторов возникают проблемы с тем, как работает современная система рецензирования. Недавно ученые в очередной раз подняли эту тему, и в Твиттере состоялись бурные обсуждения. Основные выводы ученые описали в своей статье в издании The Conversation. Приводим перевод фрагмента из статьи.

Три проблемы рецензирования

Мы видим три основные проблемы, стоящие перед системой рецензирования.

Во-первых, экспертная оценка может быть эксплуататорской. Многие компании, которые издают академические журналы, получают прибыль от подписки и продаж. Однако авторы, редакторы и рецензенты обычно отдают свое время и усилия на добровольной основе, фактически выполняя бесплатную работу.

И хотя рецензирование часто рассматривается как коллективное предприятие академического сообщества, на практике большую часть работы выполняет небольшая часть исследователей. Одно исследование биомедицинских журналов показало, что в 2015 году всего 20% исследователей выполнили до 94% рецензирования.

Второй проблемой является отсутствие прозрачности в процессе рецензирования. Рецензирование обычно проводится анонимно: исследователи не знают, кто рецензирует их работу, а рецензенты не знают, чью работу они рецензируют. Это дает пространство для честности, но также может сделать процесс менее открытым и подотчетным. Непрозрачность также может подавлять обсуждение, защищать предвзятость и снижать качество обзоров.

Последней проблемой является скорость рецензирования. Когда исследователь отправляет статью в журнал, если она проходит через первоначальный отказ, он может столкнуться с долгим ожиданием рассмотрения и возможной публикации. Нередко исследования публикуются через год или более после подачи.

Эта задержка вредна для всех. Для политиков, лидеров и общественности это означает, что они могут принимать решения на основе устаревших научных данных. Для ученых задержки могут остановить их карьеру, поскольку они ждут публикаций, необходимых им для продвижения по службе или пребывания в должности.

Ученые предполагают, что задержки обычно вызваны нехваткой рецензентов. Многие ученые сообщают, что сложные рабочие нагрузки могут отбить у них желание участвовать в рецензировании, и с началом пандемии COVID-19 ситуация усугубилась. Также было обнаружено, что многие журналы в значительной степени полагаются на рецензентов из США и Европы, что ограничивает размер и разнообразие пула рецензентов.

Так что же можно сделать?

Большинство конструктивных предложений из большого разговора в Твиттере, можно разделить на три категории.

Во-первых, многие предполагали, что должны быть более эффективные стимулы для проведения экспертных оценок.

Сюда могут входить издатели, которые платят рецензентам ( журналы Американской экономической ассоциации уже делают это) или отдают некоторую прибыль исследовательским отделам. Журналы также могут предлагать рецензентам бесплатную подписку, ваучеры на оплату публикации или ускоренные обзоры. Однако мы должны признать, что журналы, предлагающие стимулы, могут создавать новые проблемы.

Другое предположение состоит в том, что университеты могли бы добиться большего признания рецензирования как части академической нагрузки и, возможно, вознаграждать выдающихся участников рецензирования.

Некоторые комментаторы Твиттера утверждали, что штатные ученые должны просматривать определенное количество статей каждый год. Другие считали, что необходимо сделать больше для поддержки некоммерческих журналов, учитывая, что недавнее исследование показало, что около 140 журналов только в Австралии прекратили публиковаться в период с 2011 по 2021 год.

Большинство респондентов согласились с тем, что следует избегать конфликта интересов. Некоторые предлагаемые базы данных экспертов облегчат поиск соответствующих рецензентов.

Используйте более инклюзивные стратегии рекрутинга

Многие респонденты также предположили, что журналы могут улучшить методы набора рецензентов и работы, которые они распространяют. Эксперты-рецензенты могут быть выбраны на основе опыта метода или содержания, и им будет предложено сосредоточиться на этом элементе, а не на том и другом одновременно.

Респонденты также утверждали, что журналы должны сделать больше, чтобы адаптировать свои приглашения для наиболее подходящих экспертов, упростив процесс принятия или отклонения предложения.

Другие считали, что следует нанимать больше ученых, не работающих в штате, исследователей с докторской степенью, людей, работающих в смежных отраслях, и вышедших на пенсию экспертов. Хорошим началом было бы увеличение числа тренингов для аспирантов по экспертной оценке и расширение представительства женщин и меньшинств.

Переосмысление двойного слепого рецензирования

Некоторые респонденты указали на растущее движение к более открытым процессам рецензирования, что может создать более человечный и прозрачный подход к рецензированию. Например, Royal Society Open Science публикует все решения, обзорные письма и добровольное указание рецензентов.

Еще одно предложение ускорить процесс публикации заключалось в том, чтобы придать больший приоритет исследованиям, сделать их срочными.

Общий вывод огромного отклика на один твит состоит в том, что в процессе рецензирования необходимы системные изменения.

Нет недостатка в идеях, как улучшить процесс на благо ученых и широкой общественности. Однако журналы, издатели и университеты должны будут применить их на практике и создать более подотчетную, справедливую и инклюзивную систему.

Напомним, что в 2020 году «Гранит науки» освещал международная научно-практическая конференция «Проблемы источниковедения в современной науке и сопряженных отраслях». Ей был посвящен шестой выпуск нашего журнала. На ней ученые также поднимали вопрос о рецензировании.

Предлагаем вашему вниманию фрагмент из доклада Ph.D. Олега Мальцева:

«Я хотел бы напомнить коллегам, наши с вами предшественники придерживались несколько иных стандартов науки. Никогда не было так, что какое-то книжное издание устанавливало стандарты в науке — для этого есть более авторитетные научные сообщества. Если вы помните, то доктор Юнг, когда защитился, у него докторская была на 40 станиц. Вероятнее всего, мы должны обращать внимание на содержание, а не на запятые, ошибки, требования к отступам от начала строки и так далее.

Я вам хочу рассказать о том, как работают старейшие европейские общества, и как создаются ученые — как это в Европе было всегда и продолжает существовать по сегодняшний день. Попасть в такое общество желательно еще на стадии студенчества. Я думаю, что примером того могло бы служить Хайдельбергское общество и прочие европейские научные общества с хорошей историей. Таким обществам 200-300 лет.

В Хайдельбергском университете есть общество, которое существует с 1428 года. В такие общества приводят за руку, но это выбор человека. Я членом такого общества стал, когда был уже кандидатом наук. И я имел возможность видеть изнутри, как это происходит, и вижу по сей день, как молодой парень или девушка становится ученым, попав в среду знаменитых ученых. Представьте себе общество от 15 до 250 профессоров — безусловно, там существуют стадии становления ученого, они все описаны, прописаны, и всем понятно, какие нужно стадии пройти, чтобы стать уважаемым членом этого научного общества. И это не возможно без научного руководителя, без наставника – собственно, ментор и приводит человека в это общество. Это большая тема, об этом можно говорить бесконечно.

И поэтому, когда мы говорим о том, что кто-то в рамках какой-то университетской науки создает в своем университет требования, каким должен быть ученым, вероятнее, они на это имеют право. Но это не равно требования академического научного сообщества. Это требования всего лишь какого-то университета.

И никакие другие критерии оценки не могут быть применены ученому, по причине того, что все остальное не имеет значение. Какую пользу вы принесли обществу, так ас общество и будет оценивать.

Еще два слова относительно того, почему я скептически смотрю на индексированные журналы и «слепое» рецензирование, которое сегодня придумали разные люди. Дело в том, что я был в Голландии на конференции и видел неприятную ситуацию: вышел один врач, большой ученый в своей области, и он задал один вопрос. «Кто хочет меня отрецензировать?» Желающих в зале не нашлось. Я хотел бы посмотреть, кто бы отрецензировал профессора Интровинье, я бы посмотрел на этого человека. Я таких грандов могу назвать в мире не менее 10. Получается неприятная ситуация, когда первые лица отраслей попадают в ситуацию, когда их никто не может отрецензировать, а неприём их статей в журнал – это скандал. Если вся редколлегия хуже этого человека разбирается в проблематике, то как они могут его рецензировать? И таких случаев масса сейчас. А уже о случаях коррупции и прочих вещах, связанных с деньгами, я  молчу, это не тема нашего разговора. Я на любые индексовые оценки смотрю всегда очень скептически.

Еще нужно помнить, что в американской, в европейской науке разные требования к самой науке. Поэтому это очень скользкий, деликатный и крайне важный вопрос»

Ph.D. Олег Мальцев — писатель, криминолог, психолог, фотограф, журналист-расследователь. Академик Украинской академии наук. Основатель и руководитель Института Памяти, руководитель “Экспедиционного корпуса”. Доктор Мальцев является автором многочисленных книг в таких областях, как прикладная история, социология, глубинная психология, философия, криминалистика, криминология. Под его руководством “Экспедиционный корпус” проводит экспедиции во многих странах мира, чтобы выяснить, на каких уровнях и как города формируют людей. Он является главным редактором нескольких рецензируемых междисциплинарных журналов.