大学での研究評価・資金助成のための枠組みを構築するに際し、計量書誌学の活用法や問題点を考察した報告書“The use of bibliometrics to measure research quality in UK higher educations” が発行された。
英国の大学を代表する団体で、大学の活動をサポートしているUniversities UK の委託でコンサルタント会社Evidence Ltdが作成したもので、計量書誌学は研究成果を評価する最有力の指標であり得るが、研究コミュニティの信頼を得るためには多くの考慮すべき事項があるとしている。
なお、英国では大学の研究評価の枠組み“Research Assessment Exercise (RAE)”が来年見直される予定であり、今回の調査はその予備調査となる。
考慮すべき事項の例
1.計量書誌学は、研究成果評価変数の中で最有力なものであろう。
2.計量書誌学的指標は、科学工学分野では、RAEグレードのような研究の質を評価する他の半独立的手法と相関性がある。
3.品質指標としての計量書誌学的変数は様々であり、(i) output volume (ii) citation volume (iii) journal impact, (iv) frequency of uncited papersの利用については激しい議論がある。
4.「論文一件当たりの引用数」は、国際的に広く受け入れられた指標である。被引用の多い論文は、極めて優れた研究活動として認識されている。
5.被引用件数の精度と妥当性が最重要。
6.STEM(科学・技術・工学・数学)とnon-STEM間や、学問分野間に引用行動の相違がある。
7.計量学は、関係個人の文脈情報を考慮せず、また、必ずしも全分野からの研究を考慮していない。
8.広範な課題分類の定義や、要員任命、職務分担には熟慮が必要。
9.計量書誌学的指標は、研究資金助成や卒後研修に当たり、別の指標とのリンクが必要。
10.数年間取り上げられなかった計量書誌学を使用する行動的影響があり得る。
11.データに限度がある・・・研究成果が、計量書誌学データベースに包括収載されていない。