Об индексах цитирования
Источник - Постнаука.
Мнения экспертов ПостНауки о роли и эффективности индексов цитирования
ПостНаука запускает новый формат — «Точка зрения». В новом материале редакция попросила участников проекта высказать свою точку зрения об эффективности индекса цитирования, как критерия оценки работы ученого.
Владимир Плунгян
доктор филологических наук, член-корреспондент РАН, профессор, заведующий отделом типологии и ареальной лингвистики Института языкознания РАН и отделом корпусной лингвистики и поэтики Института русского языка имени В.В. Виноградова РАН, специалист в области морфологии, африканистики и корпусной лингвистики
Говоря об индексах цитирования, я бы разделил проблему на две: полезны ли такие критерии строго в том виде, в каком они предлагаются к использованию «здесь и сейчас» – и полезны ли они вообще. При этом я, конечно, предпочёл бы говорить только о своей области – теоретической и описательной лингвистике. Ответ на первый вопрос для меня очевиден: те инструменты, с которыми я лично сталкивался (и которые пытаются внедрять сейчас у нас повсеместно) абсолютно никуда не годятся, вреда от них много (потому что они создают искаженную картину), а пользы никакой. Говорили об этом уже бесконечно, могу только повторить самое главное:
1) Сейчас при определении индексов цитирования бесспорный приоритет отдается журналам, а в лингвистике (как и в ряде других дисциплин) основные результаты принято публиковать в сборниках статей и в монографиях.
2) Даже для журналов, при опоре на такие системы, как Scopus и особенно Web of Science, не учитываются публикации во многих авторитетных в нашей области изданиях, например, Linguistic Typology (между прочим, ведущий журнал по лингвистической типологии в мире!), Scando-Slavica (один из везущих журналов по славистике) и др.
3) В массовом порядке игнорируются публикации не на английском языке, а для лингвистики, в отличие, может быть, от естественных наук, они остаются важными – речь не только о русскоязычных изданиях, в сходном положении находятся публикации, допустим, на французском или немецком, не говоря уже о других языках.
4) Вообще, система критериев представляется слишком американоцентричной – она, плохо ли, хорошо ли, но «заточена» под оценку профессиональной пригодности сотрудников американских университетов. Но так ли мы уверены в том, что если произвольно взятый исследователь в произвольно взятой стране по каким-то причинам не подходит для американского университета, то он вообще не представляет ценности как ученый? Лично я не взялся бы такое утверждать.
Иными словами, действующая система составлена так, чтобы определить, насколько часто ваши работы цитируют физики и химики в американских журналах… Судите сами, насколько она полезна для оценки работы российских лингвистов. С тем же успехом можно пытаться использовать лопату вместо скальпеля. Если такая система попадет в руки невежественных и самоуверенных бюрократов, которые, не понимая сути данной научной области, начнут на основании таких инструментов принимать кадровые и прочие решения – последствия могут быть катастрофическими.
Прямая речь | Владимир Плунгян
Лингвист, один из создателей Национального корпуса русского языка об обывательской беззащитности, касте лингвистов и школьном русском
И тут мы переходим ко второй части проблемы. Представим себе, что индекс цитирования идеален и учитывает всё, что только можно учесть – и журналы, и сборники, и монографии, и издания на финском и корейском… И да, мы действительно сможем понять, какого исследвателя цитируют много, а какого – мало, какого – только в своей стране, а какого – во всём мире, какого – на протяжении многих лет, а какого – недолго, и т.д., и т.п. Это интересные и важные данные (постольку, поскольку они достоверны), но – в плане оценки значимости исследователя – они, увы, почти ни о чём не свидетельствуют. И об этом уже тоже бесконечно говорилось. Отличить по формальным критериям хорошего учёного от плохого (и особенно – хорошего учёного от ловкого имитатора) – задача сложная и почти неразрешимая: на то и существуют имитаторы, чтобы копировать как раз внешние признаки успешного исследователя. Лучше всего, как показывает опыт, всё-таки решать эту задачу с помощью специально подобранных экспертов, хотя и они, как известно, ошибаются. Отказаться от услуг экспертов, от «человеческого фактора» и опираться на простые количественные показатели – путь соблазнительный, но тупиковый. Это те самые «простые решения», которые ведут туда же, куда и все прочие благие намерения. Но этот разговор во многом беспредметен, потому что до идеальных индексов цитирования нам сейчас всё равно космически далеко. Так что в целом моя позиция по отношению к новейшей кампании «индексопоклонства» резко отрицательная.
Евгений Шеваль
кандидат биологических наук, старший научный сотрудник НИИ физико-химической биологии имени А.Н. Белозерского МГУ
Модная в последнее время наукометрия на основе показателей цитирования имеет целый ряд несомненных достоинств, которые, надо думать, будут определять все более и более широкое ее использование. Прежде всего, при использовании таких параметров мы имеем внешнюю, независимую экспертизу работы ученого. Причем, это экспертиза не каких-то громких фраз и грандиозных мега-планов, а экспертиза результатов (т.е. статей) и их уровня. А поскольку при этом используются преимущественно международные системы (Web of Science, Scopus), то на выходе мы получаем оценку международного уровня.
Более того, при использовании наукометрических параметров ученые попадают в относительно прогнозируемую ситуацию, когда оценка деятельности в минимальной степени зависит от произвола окружающих. В конечном счете, в каком журнале будет опубликована статья и будет ли она цитироваться, это зависит от таланта и трудолюбия ученого. Можно ставить себе цели и постепенно их добиваться.
Основное неприятие наукометрии, как мне представляется, связано не с недостатками этих инструментов, а с нелюбовью к внешней экспертизе. Она часто дает совсем не те результаты, которые хотелось бы получить. К сожалению, ситуация, когда одни и те же люди и проводят экспертизу заявок и выигрывают потом конкурсы, стала распространенной и давно уже не воспринимается как нечто неправильное и непорядочное.
Понятно, что имеющиеся наукометрические инструменты не идеальны (идеальной научной экспертизы человечество пока еще не придумало), и в ряде ситуаций они не работают или даже приносят вред. Но это свойство любого инструмента – даже самый прекрасный микроскоп плохо годится для забивания гвоздей. Если же пользоваться с толком, то такие подходы могут быть полезным подспорьем при принятии административных решений в области науки. По крайней мере, до тех пор пока в стране не будет выстроена система нормальной научной экспертизы.
Александр Марков
доктор биологических наук, ведущий научный сотрудник Палеонтологического института РАН, профессор РЭШ
Прежде всего, я, в отличие от многих моих коллег-палеонтологов, считаю, что такого рода оценки, количественные критерии, как индексы цитирования, полезны и нужны. У них есть плюсы и минусы, но в целом, мне кажется, что полностью пренебрегать такими вещами нельзя. Надо пытаться вырабатывать какие-то объективные критерии, чтобы отличить бездельника от работающего, хорошего ученого.
Я не буду описывать все достоинства этого подхода, а вот про недостатки и про ограничения я рассказал бы подробнее. Во-первых, понятно, что специалистов и организации по этим индексам цитирования сравнивать надо очень аккуратно. Все зависит от того, о какой науке и дисциплине идет речь. Есть научные направления, которые очень нужно развивать, но работы в этих направлениях никто не будет цитировать, потому что так уж сложилось, что этой темой в мире занимается не так много людей. Например, систематика какого-то семейства ископаемых трилобитов. Изучать надо все. И кто-то изучает этих богом забытых трилобитов. Но таких людей в мире, например, всего 5 человек. Они друг друга цитируют, но высокого индекса цитирования у них никогда не будет. Потому что кроме этих пятерых, никому в мире не интересны эти несчастные зверюшки, вымершие 500 миллионов лет назад.
В палеонтологии – это типичная ситуация. Классический вид деятельности в палеонтологии – описание морфологии, систематики, родственных связей каких-то конкретных ископаемых групп. Это – основа работы палеонтолога, на этом строятся все дальнейшие обобщения, глобальные выводы, но база, основа – это описание ископаемого материала. И в подавляющем большинстве случаев, за исключением каких-то уникальных находок, вроде археоптерикса, такие работы с описанием ископаемых цитируются очень редко. Соответственно, очень хороший палеонтолог будет иметь весьма и весьма скромный индекс цитирования, даже если он – величина мирового уровня в своей группе. Даже если он – лучший в мире специалист по трилобитам, по сравнению с каким-нибудь молекулярным генетиком у него все равно индекс цитирования будет низкий. То есть, лучший в мире специалист по трилобитам отряда Agnostida будет иметь индекс цитирования гораздо ниже, чем рядовой молекулярный биолог.
Если российская наука перейдет на активное использование индексов цитирования, произойдет смена правил игры. Я в науке с 1987 года, и у нас не было стимула стараться повышать свой индекс цитирования. Карьера научного работника, его репутация в глазах коллег, его «вес» в науке измерялся другими вещами. А если и использовался какой-то количественный показатель, то это было просто количество публикаций, независимо от того, цитируют их, или нет. Количество публикаций упоминалось в отчетах. И потом – какие публикации? У нас, например, в Палеонтологическом институте всегда была и остается такая традиция: самые серьезные, самые ценные, важные научные результаты публикуются в виде монографий. Есть серия «Труды палеонтологического института», в которой несколько сотен томов. Эти монографии рецензируются, и рецензируются гораздо тщательнее и строже, чем журнальные статьи в российских РАНовских журналах. Но в «Scopus» эти монографии просто не фигурируют. Они считаются книжками и идут как нерецензируемые издания. И те, кто написал много ценных монографий, сейчас, при переходе на индекс цитирования, как критерий оценки работы ученого, получат большую фигу. Потому что это все «не считается». Это – смена правил игры. Нечестно вот так брать и выгонять теперь на улицу тех палеонтологов, которые писали монографии, вместо того, чтобы писать статьи в Палеонтологический журнал.
Карьера научного сотрудника у нас до сих пор практически не зависит от публикации в зарубежных журналах. Когда пишешь отчет в конце года, составляешь список публикаций, и чем больше список публикаций, тем лучше. Поэтому перед научным сотрудником стоит выбор: он тратит втрое больше времени на статью, но публикует ее в высокорейтинговом журнале, и тогда список публикаций в отчете в конце года будет радикально коротким. Или он не тратит время, чтобы довести статью до уровня журнала, а отдает ее в наш журнал, вроде «Общей биологии» или «Зоологический журнал». И пишет еще и еще. То есть написать три статьи в наши журналы выгоднее, чем одну – в высокорейтинговый. Люди же приспосабливаются, ведут себя в соответствии с теми правилами, которые существуют. Сейчас существуют такие правила. Для нас индекс цитирования никогда ничего не значил. На практике мы о нем и не заботились, соответственно. А сейчас происходит смена правил игры во время игры.
Михаил Соколов
кандидат социологических наук, доцент Европейского университета в Санкт-Петербурге, научный сотрудник Центра независимых социологических исследований. В сферу профессиональных научных интересов входит микросоциологическая теория, национализм и националистические движения
Индекс цитирования можно использовать тремя способами: для поиска информации, для исследований науки, и для оценки работы ученых. Первый и второй из этих способов не вызывают ни у кого никаких возражений, а вот о третьем ведутся ожесточенные споры. В первую очередь, индекс как таковой – это система библиографического поиска. Если, например, вы хотите найти людей, которые занимаются близкими вам темами, то посмотрите на тех, кто цитирует те же статьи, что и вы, или вас самих — и, скорее всего, вы найдете возможных партнеров и будущих коллег. Второе возможное использование – это использование как средство исследовать динамику науки. Например, можно строить карты академического пространства, основанные на том, кто кого цитирует, и получается вполне убедительная, правдоподобная и красивая картинка, демонстрирующая, как разные области знания связаны между собой (вот особенно прекрасные примеры: http://scimaps.org/ www.mapofscience.com).
Проблемы начинаются тогда, когда мы подходим к третьему типу использования индексов – к оценке научной работы. С самого начала истории современных индексов (60-70-е годы) было выдвинуто несколько возражений против того, чтобы считать количество ссылок на работу ученых показателем ее качества. Они связаны с тем, что цитирование, во-первых, организовано по-разному в разных дисциплинах, во-вторых, разные группу ученых имеют разный доступ к медиа, которые покрывает индекс, и в-третьих, приобретает разное значение в разных карьерных контекстах.
Прежде всего, есть различия между областями знания: в разных дисциплинах существует разная культура цитирования, и поэтому само по себе число цитирований не очень показательно. Например, где-то библиографические списки традиционно очень длинные, а где-то – короткие. Кроме того, где-то самих ученых очень много, а где-то – мало. Исследованиями в медицине занимаются в тысячи раз больше людей, чем в античной филологии. Наконец, где-то – в естественных науках, в первую очередь – новая литература быстро вытесняет старую, а в других – это происходит очень медленно. Показатель полужизни – время, за которое среднестатистическая статья набирает половину цитирований – составляет год-полтора для микробиологии, а для истории этот период больше 20 лет. Поэтому сами по себе цифры для сравнения не очень показательны.
Есть, по крайней мере, четыре разные идеологии нормализации, которые предлагают способы уравнять цитирования в разных дисциплинах между собой. Это совсем нетривиальная задача, учитывая, например, что распределения т.н. безмасштабные, и обычные средние для них не показательны, а границы между областями подвижны и неопределенны. До сих пор консенсуса по поводу того, как это делать, не существует.
Вторая большая проблема связана с тем, что цитирования должны извлекаться из какой-то базы. Сейчас это преимущественно база англоязычных журналов. Тут два ключевых слова – «журналов» и «англоязычных». База, в которую вошли бы все журналы, книги и прочие издания, в которых встречаются научные цитирования, не существует и, скорее всего, в обозримом будущем ее никто не создаст. Книги есть в GoogleScholar, и «Web of Science», старейший и главный индекс цитирования, тоже объявил о том, что он собирается интегрировать монографии, но это только первые попытки. В результате, те дисциплины, в которых коммуникация во многом происходит через монографии, до сих пор оказывались как бы исключенными из подсчетов (опять же, пример — гуманитарные науки и история).
FAQ: Академическая репутация
7 фактов о значении и источниках внутрипрофессионального суждения в академической среде
Когда проблему с монографиями вроде бы начали решать, появилась новая: коммуникация между учеными постепенно перемещается из печатных журналов и книг в электронные медиа. И в недалекой перспективе тут появятся проблемы вроде: считать, ли «лайки» в Facebook эквивалентом цитирования в научной статье? Основной контраргумент – «лайк» в Facebook может поставить кто угодно, а статья в профессиональном журнале все-таки предполагает, что автор специалист в данной области. С другой стороны, среди самих профессионалов есть ощущение, что журнальная система устарела, поскольку коммуникация через социальные сети быстрее и эффективнее. То есть может сложиться ситуация, когда обмениваться информацией ученые будут через социальные сети, а печататься в журналах станут только для того, чтобы кого-то процитировать. Фактически, Facebook при этом станет основным средством коммуникации, а журналы – приложением к нему, где можно расставлять «лайки» (см. о научных журналах в http://postnauka.ru/faq/12936 ). Правда, уже есть исследования, показывающие, что «лайки» в социальных сетях в естественных науках позволяют предсказывать последующие цитирования в научных журналах с высокой точностью, так что непонятно, сохранит ли отдельная база Web of Science при этом хоть какой-то смысл.
Помимо неопределенности с тем, какие медиа включать в базу, есть еще проблемы связанные с представленность в ней печатной продукции из разных стран. Несмотря на приобретение английским статуса «новой латыни», коммуникация между учеными все равно ведется в значительной мере на национальных языках. Web of Science (как и второй крупнейший индекс – Scopus), однако, исходно ориентировался на максимально полное покрытие именно англоязычной периодики. В результате, национальные научные миры предельно неоднородны по тому, сколько индексируемых журналов приходится на одного ученого – от Голландии, в которых на сто исследователей приходится один журнал, до Украины, в которой один журнал приходится на десять с лишним тысяч.
Третья большая проблема связана с тем, что расшифровать значение того или иного уровня публикационной активности и цитирования можно, только зная достаточно много об устройстве карьеры в определенной области знания. Скажем, для историка во многих странах нормально, если их первая публикация – монография, основанная на результатах диссертации – выходит к сорокалетию (например, Фернан Бродель опубликовал свою первую работу в 47 лет — это было трехтомное «Средиземное море», ставшее одним из главных исторических бестселлеров 20 века). Для математика не опубликовать ничего ценного к 30 годам считается смертными приговором. Иными словами, в индексе цитирования содержится много полезной информации для оценки исследовательского потенциала, но извлечь эту информацию может только очень специфический круг людей, которые знают, как устроена научная биография в данной области – когда люди достигают своего интеллектуального пика, каковы затраты, необходимые для того, чтобы «войти в тему» и собрать материал, каковы, наконец, традиции в данной области.
Когда индексы воспринимаются в качестве бюрократического инструмента, обычно предполагается, что они могут решить очень большую важную проблему: они создают что-то вроде универсальной метрики научной важности. Как богатство можно измерить в долларах, а, скажем, политическая популярность в голосах, так научное влияние можно измерить в цитированиях.
Точка зрения | Будущее Российской академии наук
Мнения экспертов ПостНауки о перспективах развития Российской академии наук
Но представьте себе, что есть большая страна, и кому-то поручили проехать по разным регионам этой страны с очень разнородным населением и узнать, где какой губернатор самый популярный. Это очень сложно, потому что, во-первых, если вы журналист и путешествуете от дома к дому, то у вас есть риск попасть к людям из одной среды: когда вы подходите к первой двери и спрашиваете, кого они поддерживают, вам отвечают. Когда спрашиваете, с кем еще можно поговорить — вас посылают дальше по улице, причем, скорее всего, посылают к единомышленникам. Вы как бы заблудились в одном социальном кругу. А это – один из главных страхов политиков и администраторов, когда они имеют дело с научной экспертизой. Допустим, чиновник попросил знакомого ученого сказать, кто самый талантливый и известный, а тот назвал своего приятеля, который, в свою очередь, пошлет чиновника назад к нему же. Чиновник попал в круг взаимного обожания, который возникает совершенно непроизвольно – просто ученым, как и всем остальным людям, нравятся те, кто думает как они, и кому нравятся они сами. Вроде бы цитирование помогает выйти из этого положения, потому что, вместо того, чтобы говорить с отдельными экспертами, вы можете узнать, что думают десятки, сотни и тысячи людей. Вместо того, чтобы опрашивать отдельных информантов, вы провели плебисцит, в котором подать голос мог каждый представитель «республики ученых».
К сожалению, в нашей стране оказывается, что избирательные участки распределены очень неравномерно – где-то их нет вообще, где-то они натыканы очень густо. Где-то население не знает, как голосовать. Где-то избирательные комиссии научились фальсифицировать результаты так, что этого никто не замечает. Опять же, это не делает результаты голосования совершенно бессмысленными — но для того, чтобы их интерпретировать, надо очень хорошо знать страну. Раньше вы опирались на информантов, чтобы они сказали вам, кого поддерживает население, а сейчас вам нужны информанты, чтобы они сказали, что значат результаты голосования этого населения. И, к сожалению, главную политическую задачу, какой ее видят бюрократы – избавить аутсайдеров от влияния местных экспертов – цитирование не решает.
Сергей Попов
доктор физико-математических наук, ведущий научный сотрудник ГАИШ МГУ
— Петька, приборы!
— Семьдесят.
— Что «семьдесят»?
— А что «приборы»?
(старый анекдот)
Информация – полезна человеку, принимающему решения. Любые библиометрические данные являются информацией. Если про информацию известно, как она получена, то она может быть эффективно использована. Например, как «информация к размышлению». Было бы кому и над чем размышлять.
В случае библиометрических данных всегда есть понятное подробное описание их получения. Соответственно, заведомо существует круг задач, где критерии могут быть применены. Таким образом, нет смысла просто ругать, например, индекс Хирша или цитируемость. Надо думать, где они могут быть использованы, а где нет. Тоже самое – про другие параметры. Если для ваших типичных задач существующие данные не очень подходят, то стоит попытаться влиять на их создателей, чтобы что-то менялось. Или создавать свои. Ведь, довольно странно в мире, наполненном цифровой информацией, компьютерами и сетями, не использовать преимущество легкости работы с данными для более эффективных экспертных оценок. А оценки всегда делает эксперт. Хороший ли, плохой ли, но это всегда человек. Люди разрабатывают критерии (ученые, чиновники, ….). Чем больше осмысленной информации при этом можно использовать – тем лучше.
Конечно, существующие библиометрические данные лучше подходят для фундаментальных естественных наук. Они максимально открыты и глобализированы. Не думаю, что эксперт, принимающий решения касательно этих областей, может делать это эффективно без использования подобной информации. Другое дело, что надо над ней думать, понимать, как она получена и т.д. Полагаю, что и в других областях постепенно ситуация будет меняться к лучшему. Скажем, ничто не мешает прийти к тому, что академические издательства будут выкладывать списки цитирования монографий, как сейчас это делают издатели научных журналов. Так что нет сомнений, что роль библиометрии будет расти. Важно, чтобы делалось это максимально разумно.
Напоследок отмечу, что формальные критерии могут быть использованы для очень быстрых оценок. Например, журналист хочет взять комментарий. Ему предлагают какой-то контакт. Как узнать, что человек адекватен в своей области? Можно зайти в базу данных и посмотреть. Ага, космолог. Сколько обычно ссылок на средненьких космологов – сотни, на хороших – тысячи, на очень хороших – многие тысячи. А на нашего – две. И не важно уже, что он доктор наук и ведущий научный сотрудник. Видно, что в области, где никаких секретных данных нет, развитие очень быстро (т.е., не работает аргумент «оценят потомки») и наука максимально глобальна, у него востребованных результатов нет. Значит – не надо у него брать комментарий.
Также, нет смысла говорить, кто лучше: человек с хиршем 19 или 20. А вот если в одной области у людей одного возраста и т.д. хирши 2 и 22, то это кое о чем говорит, и при необходимости быстрой оценки можно принять решение.