Золотой рейтинг академической активности и популярности экономистов России: методология построения http://www.mami.ru/storage/files/metodologiya_reo_i_reyting_(3).pdf
1. Общие положения.
Формируемый рейтинг базируется на данных Рейтинга академической активности и популярности (РААП) экономистов России, который в свою очередь представляет собой редукцию показателей системы Национальной электронной библиотеки elibrary.ru и основанной на ней системы Российского индекса научного цитирования (РИНЦ). В последние два года в системе РИНЦ набрали обороты деструктивные процессы, получившие в научной литературе название манипулирования и подразумевающие искусственное «накачивание» некоторыми учеными своих индивидуальных показателей РИНЦ. Кроме того, сама система РИНЦ пока имеет множество недостатков, которые ведут к искажению истинного вклада в науку рейтингуемых ученых. В настоящее время система РИНЦ генерирует три серьезные методические проблемы. Во-первых, в ней периодически возникают сбои с учетом публикаций тех или иных исследователей, когда человеку могут приписываться публикации, автором которых он не являются и которые сами могут относиться к другой профессиональной области. Во-вторых, в системе РИНЦ пока отсутствует строгое разграничение научных и ненаучных публикаций, например, научных статей и вспомогательных публикаций – словарей, справочников и учебников; более того, в российской науке пока не установились международные научные стандартны, в соответствии с которыми цитирование вспомогательных публикаций в научных статьях считается недопустимым. В-третьих, система РИНЦ в последние годы подверглась «загрязнению» со стороны сомнительных изданий и соответствующих им сомнительных публикаций, посредством которых некоторые исследователи искусственно улучшают свои показатели – число публикаций, число цитированиий и индекс Хирша. Попытка учета указанных трех проблем и предопределила необходимость построения Рейтинга академической активности и популярности (РААП) экономистов России, очищенного от влияния искажающих факторов. Тем самым разработчик данного рейтинга берет на себя три функции – по типологии и классификации экономистов, очистке их индивидуальных данных в системе РИНЦ и корректировке их рейтинга с учетом признаков искажения (манипулирования). Исходной информацией выступают данные системы РИНЦ и рейтинговые баллы РААП.
2. Определение исходной выборки.
Составление Золотого рейтинга академической активности и популярности (ЗРААП) экономистов России представляет собой чистку и переупорядочивание традиционного РААП, который включает 500 ведущих экономистов страны. Именно исследователи, получившие передовые места в РААП на основе данных системы РИНЦ, и подвергаются дополнительной тщательной экспертизе, которая проводится вручную. В связи с этим ЗРААП включает в себя примерно 500 экономистов с учетом некоторых выпавших из него по тем или иным причинам.
3. Типология исследователей и разновидности искажений параметров РИНЦ.
Механизм «очистки» РААП базируется на присвоении всем рейтингуемым экономистам соответствующего исследовательского статуса. В данном случае выделяются четыре условных статуса – белый, зеленый, желтый и красный. Статус «белый» присваивается исследователю, относительно которого не обнаружено никаких признаков искажения конечной информации; фактически такой человек является абсолютно «чистым» и его итоговый рейтинговый показатель остается таким же, как в РААП. Статус «хеленый» присваивается ученым с некоторой нетрадиционной спецификой публикационной активности. Статус «желтый» получают исследователи с излишней степенью коллективизма научного труда. И, наконец, статус «красный» присваивается экономистам с признаками искусственного увеличения своих показателей. Окончательный статус присваивается согласно самому серьезному из обнаруженных искажений (нарушений). Например, если ученый попал и в зеленую, и в красную группы одновременно, то его итоговый статус будет красным. Для строгой идентификации указанных статусов (групп) экономистов используется понятие «хиршеобеспечивающие публикации», т.е. те первые h публикаций ученого в перечне всех его работ, расположенных в порядке убывания количества ссылок на них, которые и образуют индекс Хирша, равный h. Экономист относится к зеленой группе, если:
1) доля его «ненаучных» трудов (статистические сборники, словари, учебные пособия и т.п.) в массиве хиршеобеспечивающих материалов превышает 50%;
2) доля трудов с 4 и более соавторами в массиве хиршеобеспечивающих материалов превышает 70%. Экономист относится к желтой группе, если:
1) доля его цитирований соавторами в общем объеме цитирований превышает 60%;
2) в массиве хиршеобеспечивающих материалов присутствует менее 3 публикаций без соавторов. Экономист относится к красной группе, если:
1) для его профиля РИНЦ характерно наличие серий «искусственных» цитирований – как минимум на 2 работы автора (без соавторов) в перечне хиршеобеспечивающих материалов ссылаются не менее 3 раз из одного источника (одного выпуска журнала, сборника тезисов конференции и т.п.). Для каждой из 2 работ автора источники ссылок могут различаться;
2) доля публикаций в «сомнительных» журналах превышает 25%. К таким журналам относятся издания, не включенные в список ВАК, имеющие более 12 выпусков за год, в каждом из выпусков более 20 статей, для которых обнаружены серии цитирований (как минимум одна статья с серией цитирований в каждом выпуске за последний год). Экономист относится к белой группе, если относительно него не обнаружено никаких признаков, характерных для зеленой, желтой или красной групп. Помимо указанных групп в РААП идентифицируется группа нерейтингуемых экономистов, которые исключаются из РААП в силу того факта, что в массиве их хиршеобеспечивающих материалов присутствует не менее 20% публикаций в зарубежных журналах неэкономического профиля. Например, экономист имеет ряд высоко цитируемых статей по физике твердого тела или органической химии. Как правило, появление таких персон связано с ошибками в системе РИНЦ, вызванными некорректным переносом информации из зарубежных баз научных публикаций (игнорирование однофамильцев и т.п.). Определение цветовых статусов определялось на основе информации системы РИНЦ об индивидуальном профиле анализируемых экономистов за период времени 15.01.2016–10.02.2016. Таким образом, запаздывание ЗРААП по сравнению с РААП является минимальным и их можно считать полностью синхронизированными. 4. Алгоритм построения рейтинга на базе штрафов. Логика построения ЗРААП базируется на введении штрафа для каждого исследовательского статуса. В данном случае под штрафом понимается некий понижающий коэффициент, который приводит в соответствие исходный рейтинговый балл экономиста в РААП с его потенциалом искажения истинного научного вклада. Формула пересчета РААП в ЗРААП имеет простой вид:
yj = ks xjs , (1)
где xjS – рейтинговый балл j-го экономиста в РААП, получившего статус s;
kS – понижающий коэффициент (шраф) для статуса s;
yj – скорректированный рейтинговый балл j-го экономиста с учетом его исследовательского статуса.
В дальнейшем рейтинговый балл yj нормируется относительно максимального значения и тем самым переводится в стандартный вид. Формула понижающего (штрафного) коэффициента определяется по правилу:
Б (белый) – 1,0;
З (зеленый) – 0,8;
Ж (желтый) – 0,6;
К (красный) – 0,4.
Описанная процедура очистки первичных рейтинговых показателей РААП позволяет построить более справедливый рейтинг российских экономистов. В этом смысле ЗРААП является более точным и представительным рейтингом по сравнению с «первичным» рейтингованием в РААП. Примечание: Необходимо подчеркнуть, что исследователи, получившие зеленый, желтый и красный статус, не являются заведомыми мошенниками, осуществляющими преднамеренное манипулирование данными РИНЦ. Это означает лишь то, что в отношении них получены факты об искажении их истинного научного вклада. Данные факты могут быть связаны как с несовершенством базы данных РИНЦ, так и с непреднамеренными действиями ученых относительно своих трудов и соавторов. Веденные цветовые исследовательские статусы напрямую не связаны с аморальными действиями участников системы РИНЦ. В любом случае разработчик рейтинга не берет на себя вынесение этических оценок. 5. Эмпирические результаты. Результаты расчетов по описанному алгоритму получены на данных по состоянию за январь 2016 года и приведены в табл.1.
Таблица 1. Золотой рейтинг академической активности и популярности экономистов России, январь 2016 (фрагмент)
