Как измерить науку и почему этого лучше не делать

В современной науке сформировалась система распределения благ, ужасно напоминающая свободный рынок. Только вместо денег в нём – цитирования.

Биолог Николай Кукушкин – о благах и опасностях «научного капитализма»

Конечный продукт большинства научных исследований – это публикация в научном журнале. Научный журнал так называется не потому, что там пишут про науку (тогда бы и «Комсомольская правда» была научным журналом), а потому, что научные журналы рецензируются. Работа учёного, отправленная в такой журнал, высылается на проверку нескольким анонимным экспертам в той же области исследований. Изначально роль рецензий сводилась к проверке фактов и формулировок. Сегодня рецензенты обычно ведут себя скорее как прокуроры в суде.

Так или иначе, предполагается, что рецензируемость – гарант беспристрастности и объективности. С той же целью устанавливаются многочисленные правила научных публикаций. Эксперименты нужно повторять не менее трёх раз, все данные обрабатывать статистически, а любой упомянутый факт снабжать ссылкой на первоисточник – другой рецензируемый журнал.

В результате образуется своеобразная сеть цитирований: каждая статья, например, цитирует пятьдесят других, а её саму цитируют – в других научных журналах – двести раз. Или десять раз. Или вообще никогда не цитируют. В пятидесятых годах учёным пришло в голову, что анализируя эти потоки цитирований, можно ранжировать влиятельность научных журналов. Поделив общее количество ссылокна журнал на количество статей в этом журнале, научное сообщество получило импакт-фактор, то есть «фактор влияния».

Как заработать на цитатах

Импакт-фактор задумывался как метод сравнения журналов, но очень быстро стал использоваться и для оценки вообще всей науки: как исследований, так и исследователей. Когда биолог публикуется в «большой тройке» всеми цитируемых Cell, Nature или Science, он резко повышает свои шансы привлечь финансирование, найти работу или получить профессорское звание.

В большинстве случаев такая значимость импакт-фактора неофициальна. Но зачастую – прежде всего в азиатских странах – университеты и фонды прямо заявляют: статьи в «больших» журналах будут поощряться, а в малоизвестных – считаться провалом. В Китае учёным платят по шесть тысяч долларов в год – а за публикацию в известном журнале выдают разом в десять раз больше.

На первый взгляд, импакт-фактор – действительно отличный инструмент: например, при распределении государственных средств. В какие исследования вложить деньги налогоплательщиков? В самые важные, то есть самые цитируемые! Считать цитирования самих авторов нельзя – они накапливаются с годами, поэтому побеждать всегда будут старики, а молодёжь никогда не получит денег. Зато можно сравнивать журналы – и вознаграждать пишущих в самые известные. В странах, задающихся целью поднять науку с колен, это прекрасная стратегия – в том же Китае «цитатократия» с 90-х годов существенно повысила научную продуктивность.

Но в долгосрочной перспективе фиксация на импакт-факторах – довольно опасная штука.

Все науки организованы совершенно по-разному. Математики мало пишут и мало цитируются. Психологи, наоборот, и пишут, и цитируются обильно. Даже в пределах наук цитируемость может резко различаться: если вы изучаете влияние шоколада на рак лёгких, то цитировать вас будут явно больше, чем исследователя редкой породы карликового тушканчика.

Возникает замкнутый круг. Крупные журналы получают тысячи рукописей. Это позволяет – неофициально, конечно – проводить собственную редакционную политику и публиковать только самые «горячие» исследования. Статьи, которые будут цитироваться много и долго, повышая рейтинг журнала.

Авторы же поощряются за публикации в крупных журналах и волей-неволей концентрируются вокруг «модных» тем. Даже если их исследования посвящены чему-то совсем другому, учёные всеми силами притягивают за уши болезнь Альцгеймера, солнечные батареи или искусственный интеллект. В специализированных журналах публиковаться никто не хочет.

Наконец, государственные фонды, распределяя деньги, поощряют учёных, которым удалось «хорошо опубликоваться» – вплоть до перераспределения финансирования из одной науки в другую. Успешные учёные продолжают работать над своей «модной» темой, закупая дорогостоящее оборудование, недоступное другим, наращивая цитирования и укрепляя позиции солнечных батарей и лекарств от слабоумия в крупных журналах.

Тушканчик или Альцгеймер

Конечно, лечить болезнь Альцгеймера и развивать солнечную энергетику – очень важно.

Но в структуре науки эти вопросы – известные неизвестные: мы знаем, что болезнь Альцгеймера неизлечима, и ищем от неё лекарство. Но помимо них, есть и неизвестные неизвестные. Мы исследуем тушканчиков не потому, что нам это зачем-то нужно. Мы исследуем тушканчиков потому что не знаем, что найдём. Сегодня это просто тушканчик, а завтра у него обнаружится спящий ген вечной жизни.

Без малоизвестных, малоцитируемых исследований рано или поздно наука упрётся в самоповторы и количественные улучшения имеющихся разработок. Если тратить все деньги на поиск лекарства от рака, то очень просто забыть смотреть по сторонам – и никогда не найти ключ к принципиально новому медицинскому подходу. Если поощрять только солнечные батареи – то можно оставить без денег учёного, который откроет неизвестный источник энергии.

Такая научная стагнация может возникнуть через десятилетия и даже века, но рано или поздно она неминуема.

С другой стороны, не исключено, что в ближайшие годы система научных публикаций может существенно измениться. Уже сейчас существует заметная тенденция к «возврату к корням» – стали появляться журналы, с самого начала ставящие во главу угла прозрачность, открытость и добрую волю научного сообщества.

Например, Нобелевский лауреат прошлого года, биолог Рэнди Шекман – главный редактор и сооснователь научного журнала eLife. Шекман, как и многие крупные учёные последних лет, прямо заявляет, что ему осточертела цитатно-капиталистическая олигархия «больших журналов».

В eLife он видит «социалистическую» альтернативу: открытый, бесплатный интернет-журнал, не ограниченный количеством принимаемых статей, а обеспечивающий свою известность честным, качественным рецензированием. В погоне за высоким импакт-фактором коммерческие журналы сокращают количество принимаемых статей (это количество входит в знаменатель величины). eLife и другие подобные журналы отказываются от какой-либо редакционной политики и не ограничивают количество принимаемых статей.

В пользу eLife говорит не только взлетевшая после получения Нобелевской премии репутация Шекмана, но и общее ощущение либеральности и современности: удобный и современно выглядящий сайт, бесплатные веб-семинары, ускоренный процесс обработки работ молодых учёных.

Импакт-фактор – прекрасный инструмент, чтобы отличить плохое исследование от нормального исследования. Но он совершенно не подходит, чтобы отличить нормальное от выдающегося. К сожалению, других столь же удобных, чётких, «капиталистических» способов ранжировать научные работы не существует.

Но может, хотя бы в пределах науки человечеству удастся построить социализм?