Кот учёный
Наукометрические базы разрушают науку, превращая ее в симуляцию. Не смотря на то, что многие ученые во всем мире выступают против такой системы оценки научных работ, увы, системы цитирования продолжают существовать. Сегодня многие ученые вынуждено продолжают играть по их правилам, ну а кто-то предпочитает доказывать и демонстрировать их абсурдность. Так, недавно двое исследователей создали фейковый профиль ученого, которому достаточно быстро подняли индекс цитирования. И весь юмор в том, что фейковый ученый на самом деле – кот.
Перевод статьи Science «How easy is it to fudge your scientific rank? Meet Larry, the world’s most cited cat »
Казалось, что Ларри Ричардсон — математик с потенциалом, который находится в самом в начале карьеры. Согласно Google Scholar, он написал дюжину статей по различным темам: от алгебры множеств до математических структур, собрав более 130 ссылок за 4 года. Все это было бы довольно выдающееся — если бы исследования не были полной тарабарщиной. И Ларри не был котом.
«Это было упражнение в абсурде», — говорит Риз Ричардсон, аспирант кафедры метанауки и вычислительной биологии Северо-Западного университета. Ранее в этом месяце (прим. июль 2024) он и его коллега-детектив по расследованию нарушений в научных исследованиях Ник Уайз из Кембриджского университета придумали профиль Ларри и спроектировали научное восхождение кота. Их цель: сделать его самым цитируемым котом в мире, подражая тактике, по-видимому, применяемой сервисом по повышению цитирования, рекламируемым на Facebook. Всего за 2 недели ученые выполнили свою миссию.
По словам Питера Ланге, консультанта по высшему образованию и почетного профессора политологии в Университете Дьюка, эта выходка, как мы надеемся, привлечет внимание к растущей проблеме манипулирования исследовательскими показателями. «Я думаю, что большинство преподавателей в известных мне учреждениях даже не знают о таких манипуляциях с цитированиями».
Считается, что чем больше научная статья цитируется другими исследованиями, тем значимее она и ее авторы в данной области. Одним из показателей является популярный «индекс Хирша»: например, индекс Хирша 10 означает, что у человека есть 10 статей, каждая из которых цитируется не менее 10 раз.
По словам Дженнифер Бирн, исследователя рака в Сиднейском университете, высокий показатель количества цитирований и индекса Хирша дает исследователям «огромное преимущество» при принятии решений о найме и продлении срока полномочий. Это также является двигателем бизнес-модели теневых организаций, которые обещают увеличить ваши цитирования за деньги.
«Если вы можете просто купить цитирования, — говорит Бирн, — вы покупаете влияние».
Появляется кот Ларри. Его история началась несколько недель назад, когда Уайз увидел рекламу на Facebook , предлагающую «повышение цитирования и индекса Хирша». Это была не первая реклама таких услуг, которую он и Ричардсон увидели. (Текущая ставка, похоже, составляет около 10 долларов за цитирование.) Но эта была связана со скриншотами профилей реальных ученых в Google Scholar. Т.е. можно было выяснить, какие именно цитирования повышают показатели.
Оказалось, что цитаты часто принадлежали работам, полным бессмысленного текста, написанного давно умершими математиками, такими как Пифагор. Исследования были загружены в виде PDF-файлов на академическую социальную платформу ResearchGate, а затем впоследствии удалены, что скрывало их содержание. (Уайзу и Ричардсону пришлось покопаться в кэше Google, чтобы прочитать документы.).
«Мы подумали: «Ух ты, эта процедура невероятно проста, — вспоминает Ричардсон. — Все, что вам нужно сделать, это разместить несколько фальшивых работ на ResearchGate».
Как заметил Уайз, быстро написанный сценарий для выдачи правдоподобно звучащих статей может сделать кого угодно с высоким показателем цитируемости. Даже кошку.
«Я не знаю, говорил ли он серьезно, — говорит Ричардсон. — Но я определенно воспринял это как вызов».
И он знал, с каким котом нужно было сравняться: FDC Willard . В 1975 году физик-теоретик Джек Хетерингтон добавил своего сиамского кота в соавторы одной из своих статей, чтобы ссылки на «мы» имели больше смысла. По состоянию на этот год «Felis Domesticus Chester Willard» имеет 107 ссылок.
Чтобы побить этот рекорд, Ричардсон обратился к коту своей бабушки Ларри. Примерно за час он создал 12 фальшивых статей, автором которых был Ларри, и 12 других авторов, которые цитировали каждую из работ Ларри. Это составило бы 12 статей с 12 цитатами в каждой, с общим количеством цитирований 144 и индексом Хирша 12. Ричардсон загрузил рукописи в профиль ResearchGate, который он создал для кошки. Затем он и Уайз подождали, пока Google Scholar автоматически очистит фальшивые данные.
17 июля на сайте появились статьи Ларри и 132 цитаты. (Google Scholar удалось обнаружить одно поддельное исследование, отмечает Уайз.) И таким образом Ларри стал самым цитируемым котом в мире.
«Я спросил Ларри по телефону, какова была его реакция, — сказал Ричардсон в интервью Science . — Могу только предположить, что он был слишком ошеломлен, чтобы говорить».
Хотя профиль Ларри может показаться явно фейковым, обнаружить поддельные профили обычно нелегко, говорит Талал Рахван, специалист по информатике из Нью-Йоркского университета в Абу-Даби. Ранее в этом году он и Ясир Заки, специалист по информатике из того же учреждения, и их коллеги просканировали более 1 миллиона профилей Google Scholar в поисках аномальных показателей цитирования. Они обнаружили по меньшей мере 114 с «крайне нерегулярными шаблонами цитирования», согласно статье, опубликованной в феврале на сервере препринтов arXiv. «Подавляющее большинство имело ряд сомнительных цитат из ResearchGate.», — говорит Заки.
ResearchGate «конечно, знает о растущих проблемах честности исследований в мировом исследовательском сообществе, — говорит генеральный директор компании Иджад Мадиш.— Мы постоянно пересматриваем наши политики и процессы, чтобы обеспечить наилучший опыт для миллионов наших пользователей-исследователей».
В этом случае, говорит он, компания не знала, что фабрики цитирования удаляют контент после индексации, по-видимому, чтобы замести следы — разведданные, которые могут помочь ResearchGate разработать более совершенные системы мониторинга. «Мы ценим, что Science сообщила нам об этой конкретной ситуации, и мы будем использовать этот отчет для пересмотра и адаптации наших процессов по мере необходимости».
Google Scholar удалила цитаты Ларри примерно через неделю после их появления, поэтому он потерял свой неофициальный титул. Однако его профиль все еще существует, и сомнительные цитаты в профилях, которые были в рекламе, остаются. Так что «они не исправили проблему», — говорит Уайз. Google Scholar не ответил на запросы о комментариях.
Это не первый случай, когда кто-то манипулирует Google Scholar, публикуя поддельные статьи.
В 2010 году Сирил Лаббе, специалист по информатике из Университета Гренобль-Альпы, придумал исследователя по имени Айк Анткаре (созвучно с английским «I can’t care» — «Мне все равно») и сделал его шестым по цитируемости специалистом по информатике на сервисе, публикуя поддельные публикации на институциональном веб-сайте Лаббе. «Выдавать себя за поддельного ученого в облике кота очень мило», — говорит Лаббе. «Если это можно сделать для кота, то это легко можно сделать и для настоящего человека».
По этой причине многие исследователи хотели бы, чтобы было меньше акцента на индексе Хирша и других метриках, которые имеют «чрезмерный блеск количественной оценки», как говорит Ланге. Пока выгоды от манипулирования этими системами перевешивают риски и издержки, говорит Уайз, люди будут продолжать пытаться их взломать. «Как можно создать метрику, которую нельзя обмануть? Я уверен, что ответ таков: нельзя».
Напомним, что в 2020 году состоялась международная научно-практическая конференция «Проблемы источниковедения в современной науке и сопряженных отраслях». Один из обсуждаемых учеными вопросов звучал так: «Обязательно ли ссылаться на других ученых при проведении научного исследования?».
«Необходимо ли цитировать других учёных? Цитирование предполагает знание истории науки, того, как она проходила определённые этапы. Мераб Мамардашвили сказал, что философы продолжают жить только потому, что мы помним их идеи. Но есть второй полюс проблемы: вопрос о симуляции и гиперреальной научной деятельности, когда цитирование – это обязательный формальный критерий, который становится важнее, чем содержание.
Аспиранту говорят: обязательно нужно цитировать членов совета или тех, кого уважают в совете. Имеет место ритуализация и чрезмерное внимание к работам авторам, которые, может, и не касались вопроса, изложенного в работе. На этом же полюсе находятся и группы учёных, которые цитируют друг друга без цели сделать что-то новое в науке», — считает социолог Prof. Максим Лепский.
Отчет с некоторыми докладами ученых можно почитать в нашей статье.
Далее приведем фрагмент из докладасоциолога Prof. Владимира Скворца:
«Современная наука находится под влиянием двух противоположных сил: тех, кто пытаются её поднимать, развивать – и тех, кто идут по пути Герострата.
Я считаю, что требование публиковаться в наукометрических базах имеет весьма отдалённое отношение к науке. Деятельность этих структур имеет весьма противоречивый характер: она деперсонализированная, забюрократизированная, и коммерциализированная. Мы не можем быть уверены в том, что те статьи, которые представляют авторы, рецензируются авторитетными учёными, которые способны дать им адекватную научную оценку. Чтобы статья попала в такой журнал, это требует огромных усилий и финансовых средств, и иногда статьи сомнительной научной ценности легко туда попадают, а те, что действительно заслуживают внимания, попасть туда не могут.
Я сам имел опыт, когда разработанная мной с коллегами статья по технологии и судейству в дебатной деятельности (интересные, проверенные практикой выводы) побывали в нескольких психологических журналах, которые входят в базы Scopus, но интереса к ним не проявили, и мы потеряли полтора года безрезультатно. Мне известны случаи, когда учёные свои статьи подавали, платили 8-10 тысяч гривен, а потом их разработки оказывались в фейковых журналах и не попадали собственно в базы. Я думаю, что деятельность этих баз не способствует развитию науки, а наоборот, блокирует деятельность ученых, кто не имеет финансового обеспечения – давая при этом путь людям с финансовыми достижениями, но далёким от науки.
Также деятельность этих баз часто обесценивает наших учёных и их достижения. Представьте: человек создал целую школу, которая творчески работает, но результат деятельности этих ученых уже ничего не стоит, потому что он не в этих базах!
И последнее. Деятельность наукометрических баз разрушает традицию отношения к науке учёных – направленную на решение проблем своего народа, общества, государства».