2011年7月31日
学術研究とくに出版・引用動向データ分析の意義は、大学や学術機関に対して客観的かつ多面的な情報を提供し、研究者や学術機関がそれぞれの目標設定や評価のために利用することである。しかるに、2010年度のThomson Reuters/THEの大学ランキングは、各国の大学の特性と国・文化・分野により異なる研究ニーズと社会からの要請に対して十分配慮されたものとはいい難く、一面的な引用指数の乱用を促すものになりかねない。
RU11はThomson Reuters/THE社に対して、単純化・矮小化された評価の押しつけではなく、客観的かつ公正なデータ提供による学界への貢献を強く望むものである。
とくに、以下の3点について、改訂を申し入れたい。
(1)Citation の評価を、Citations/Authorの指標で評価するか、Citations/Paperの指標で評価するかは、組織を研究者の集合体と見るか、論文の集合体と見るかという、根本的な思想の違いによる。我々は従来から使われていた著者あたりのスコア(Citations/AuthorもしくはCitations/Facultyの指標)を根拠とすることが妥当と考える。
(2)地域による補正(Regional Modification)のあり方の再考を求める。
(3)各大学の分野毎のCitation Impact Scoreに修正を加える前のCitation Impactの数値を併せて開示することを求める。
RU11学術研究懇談会
添付資料
上記の声明内容を裏付けるデータとして、すでに公表されている以下の(1)~(4)の基礎データをもとに、順位の変動に関する試算を行った結果を示す。
(1) TIMES HE World University Rankings 2010-2011 で発表された TOP ASIAN UNIVERSITIES 2010 の27大学のCitations 基準(被引用数/paper)のみによる結果(2010.9発表、5カ年が対象、地域補正あり)
http://www.timeshighereducation.co.uk/world-university-rankings/2010-2011/asia.html#score_CI%7Csort_ind%7Creverse_false
(2) TR社の「Essential Science Indicators」に収録されている2000年1月1日~2010年12月31日(11年間)の延べ数(2011.4発表、11カ年が対象、地域補正なし)
http://isiknowledge.com/esi
(3) QS(Quacquarelli Symonds)社 2010 QS Asian University Rankings (被引用数/paper, 5カ年、地域補正なし)
http://www.topuniversities.com/university-rankings/asian-university-rankings/2010/indicator-rankings/citations-per-faculty
(4) 2010 QS World University Rankings(被引用数/faculty、5カ年、地域補正なし)
個々の添付資料の説明
(1)CITATIONSに関する QS社評価(地域補正なし)による順位との比較(資料1(PDFファイル1.83MB))
Citations/paper の基準のもとで、TR社とQS社による評価結果を比較したもの。前者は地域補正・正規化が加わった上での評価であり、後者はそれが行われていない評価。日本の大学は、TR社による地域補正・正規化の影響を極端に受けていることがわかる。基礎データになっている学術データベースに違いがあるとは言え、ここまで順位が変動する要因としては、地域補正の影響によるところが大きいと考える。
(2)CITATIONSに関する11カ年評価(地域補正なし)との比較(資料2(PDFファイル1.83MB))
Citations/paper の基準のもとで、同じTR社のデータに基づく評価を、5カ年の区間(補正あり)と10カ年の区間(補正なし)について比較したもの。日本の大学を含め、歴史ある著名大学は、評価の区間を拡大することで、軒並み評価が上がる。これは長い年月を経て評価を受ける基礎研究を指向していることの現れであり、逆に TIMES HE WUR 2010の結果は、即効性のある研究を行う大学が過大に評価されていると考える。
(3)Citations/paper vs. Citations/faculty による Japan RU11 の順位比較(資料3(PDFファイル1.83MB))
TR社による Citations/paperとQS社によるCitations/facultyによる評価を比較したもの。対象となる期間は、同じ5カ年であるが、前者には補正がかけられている。日本のRU11を含む大学の多くが、Citations/facultyにより評価を上げる結果になっている。TIMES HE WUR 2010の結果は、いわゆる「ホームラン論文」に対して大きな評価を与え、「マルチ安打」を狙って論文執筆を行っている研究者の研究成果は過小に評価されることになるが、研究指導のあり方として、これは適正な評価といえるのかが疑問である。