ビブリオメトリックスと研究評価

-h-indexと関連指標を中心に-
TC r Σ TC r2
30 1 30 1
25 2 55 4
10 3 65 9
10 4 75 16
8 5 83 25
8 6 91 36
7 7 98 49
7 8 105 64
6 9 111 81
6 10 117 100
6 11 123 121
6 12 129 144

2008.6.26 知識情報統合システム論
佐藤翔(min2-fly)
1
 目次

• ビブリオメトリックス手法について
• h-indexとは
• h-indexの展開
• h-indexへの批判
• まとめ-統合との関連
• bibliography

2
ビブリオメトリックス手法について
• ビブリオメトリックスとは

• ビブリオメトリックスの研究評価への適用

• 既存の指標と問題点

3
 ビブリオメトリックスとは
• 計量書誌学、書誌計量学、文献計量学

• 個々の論文、雑誌、書籍などの出版動向の
比較・分析のために定量的データを用いる研
究[1]

• “学術誌に発表された論文数や論文の引用
数だけでなく、種々の文献情報の分析を通じ
て、学術研究活動の特徴を定量的に分析す
るための方法論”[2]
4
 ビブリオメトリックスの
研究評価への適用
• 従来のピアレビュー評価・・・
-膨大な時間・費用（コスト）が必要
-評価者の主観・バイアス

• 客観性・透明性があり
• コストのかからない評価法はないか
⇒・ビブリオメトリックスを用いた指標

5
 既存の指標と問題点
• 発表論文数 -それは質の評価？

• 総被引用数 -少数の「大当たり」

• 平均被引用数 -書かない方が有利？[3]

• Impact Factor -論外（雑誌の評価指標）

質・量の両面から評価することが出来ないか？ 6
 h-indexとは
• h-indexとは？
• 定義
• 利点と問題点
• 特徴

Jorge Hirsch（2005） [3] 7

 h-indexとは？
• 研究者の論文発表数・被引用数双方を評価
する指標（＝研究者評価指標）
• 2005年、カリフォルニア大学サンディエゴ校の
Jorge Hirsch博士（凝縮系物理学）が提唱
• 発表直後から多くの注目を集める
• 発表から３年間で35本以上の関連論文
• Web of Knowledge, Scopus等へも実装

8
 h-indexの定義

・（その研究者の発表論文のうち）
・被引用数h以上の論文が
・h本以上あること、を満たす数値

＝その著者のh-index [4]

9
 h-indexの定義
被引用数 順位
30 1
25 2
10 3
10 4
8 5
8 6
7 7
7 8
6 9 10
 h-indexの利点と問題点
• 利点
-生産性、インパクトの双方を評価
-１発の「当たり」に左右されない
-「下がる」ということがない

• 問題点
-被引用数上位の論文の被引用数が未反映
-論文数により左右される（若手は不利）
-分野間比較の不可能性
11
３人の研究者（総被引用回数は同じ）
研究者Ａ 研究者Ｂ 研究者Ｃ
被引用数 順位 被引用数 順位 被引用数 順位
1 1 100 1 50 1
1 2 20 2
1 3 10 3
1 4 5 4
1 5 5 5
・・・ ・・・ 3 6
1 97 2 7
1 98 2 8
1 99 2 9
1 100 1 10
12
 発表論文数で評価すると…
研究者Ａ 研究者Ｂ 研究者Ｃ
被引用数 順位 被引用数 順位 被引用数 順位
1 1 100 1 50 1
1 2 20 2
1 3 10 3
1 4 5 4
1 5 5 5
・・・ ・・・ 3 6
1 97 2 7
1 98 2 8
1 99 2 9
1 100 1 10
13
 平均被引用数で評価すると…
研究者Ａ 研究者Ｂ 研究者Ｃ
被引用数 順位 被引用数 順位 被引用数 順位
1 1 100 1 50 1
1 2 20 2
1 3 10 3
1 4 5 4
1 5 5 5
・・・ ・・・ 3 6
1 97 2 7
1 98 2 8
1 99 2 9
1 100 1 10
14
 h-indexで評価すると…
研究者Ａ 研究者Ｂ 研究者Ｃ
被引用数 順位 被引用数 順位 被引用数 順位
1 1 100 1 50 1
1 2 20 2
1 3 10 3
1 4 5 4
1 5 5 5
・・・ ・・・ 3 6
1 97 2 7
1 98 2 8
1 99 2 9
1 100 1 10
15
 h-indexの利点と問題点
• 利点
-生産性、インパクトの双方を評価
-１発の「当たり」に左右されない
-「下がる」ということがない

• 問題点
-被引用数上位の論文の被引用数が未反映
-論文数により左右される（若手は不利）
-分野間比較の不可能性
16
 h-indexが同じ３人の研究者

研究者Ｃ 研究者Ｄ 研究者Ｅ

被引用数 順位 被引用数 順位 被引用数 順位
50 1 100 1 3000 1
20 2 90 2 2500 2
10 3 70 3 1200 3
5 4 40 4 600 4
5 5 5 5 500 5
3 6 3 6
2 7 2 7
2 8 2 8
2 9 2 9
1 10 1 10
17
 h-indexの特徴
-なぜh-indexは流行っているのか？-

• 計算が簡単
-cf. インパクトファクター
• データ収集が容易
-「引用上位の」文献さえ揃えばいい
（下位文献の網羅的収集が不要）
• 応用可能性の広さ
-降順に並び換えられるデータならなんでもOK

18
 cｆ） インパクトファクターの計算方法
• ある雑誌Ｘの、ある2006年におけるＩＦ＝

（2004年、2005年の当該雑誌のすべての記事につ
いて、2006年の対象とする全雑誌に引用された総
数）／（2004年、2005年に出版された当該雑誌の
査読付き論文数）

19
 h-indexの特徴
-なぜh-indexは流行っているのか？-

• 計算が簡単
-cf. インパクトファクター
• データ収集が容易
-「引用上位の」文献さえ揃えばいい
（下位文献の網羅的収集が不要）
• 応用可能性の広さ
-降順に並び換えられるデータならなんでもOK

見た目だけでなく算出方法（コスト）もシンプル！
20
 h-indexの展開

• ２つの展開方向
-改良・補助指標の提案
- h-indexの応用指標

21
 改良・補助指標の提案
• よりよいh-indexの算出方法はないか？
-引用データの収集元

• h-indexの問題点を克服した指標・補助する指
標を作れないか？
-被引用数上位の論文を反映した指標
-h-indexが同じ研究者の比較

22
 具体的な指標（例）

• hmx
• g-index
• A-index, R-index

23
 hmx
• h-indexの算出に用いるＤＢ・・・
-WoS(hWoS), Scopus(hScopus), Google Scholor(hGS)等
-それぞれに得意・不得意がある
⇒・一つのＤＢだけでは最適の結果を得られない
• hWoS, hScopus, hGSを算出
⇒・最大値を採る・・・hmx[5]
• 利点・・・それぞれの不得意をカバー
• 問題点・・・手間がかかる／WoS, Scopus, GSを
同列に扱ってよいのか？
24
 g-index
• 被引用上位論文を反映するための指標

• “被引用上位g位までの論文の被引用数の和
がg2以上となること、を満たすgの最大値がそ
の著者のg-indexとなる”[6]

• g-index >= h-indexの関係が常に成り立つ

（g-indexが最小を取る時h-indexと等しくなる）

25
 g-index
被引用数 順位（r） 被引用数の和 r2
30 1 30 1
25 2 55 4
10 3 65 9
10 4 75 16
8 5 83 25
8 6 91 36
7 7 98 49
7 8 105 64
6 9 111 81
6 10 117 100
6 11 123 121
6 12 129 144 26
h-indexが同じ２人の研究者
研究者G 研究者H
被引用数 順位 被引用数 順位
10 1 30 1
10 2 20 2
10 3 15 3
10 4 13 4
10 5 12 5
10 6 11 6
10 7 11 7
10 8 10 8
10 9 10 9
10 10 10 10
0 11 3 11
0 12 1 12
0 13 0 13 27
h-indexが同じ２人の研究者
研究者G 研究者H
TC r ∑TC r2 TC r ∑TC r2
10 1 10 1 30 1 30 1
10 2 20 4 20 2 50 4
10 3 30 9 15 3 65 9
10 4 40 16 13 4 78 16
10 5 50 25 12 5 90 25
10 6 60 36 11 6 101 36
10 7 70 49 11 7 112 49
10 8 80 64 10 8 122 64
10 9 90 81 10 9 132 81
10 10 100 100 10 10 142 100
3 11 145 121
1 12 146 144
28
0 13 146 169
 g-index
• 利点
-被引用上位の論文を反映できる
-論文本数に引きずられない
-アルゴリズムもh-indexと同程度にシンプル

• 問題点
-「一発の当たり」の影響を排除できない
-分野間比較が難しいのはh-indexと同じ

29
 A-index
• ある著者のh-index=ｈとしたとき、
被引用数ｈ番目までの論文の
平均被引用数[7]

30
 h-indexが同じ３人の研究者
研究者Ｃ 研究者Ｄ 研究者Ｅ
被引用数 順位 被引用数 順位 被引用数 順位
50 1 100 1 3000 1
20 2 90 2 2500 2
10 3 70 3 1200 3
5 4 40 4 600 4
5 5 5 5 500 5
3 6 3 6
2 7 2 7 Ａ＝1560
2 8 2 8
2 9 2 9
1 10 1 10

Ａ＝18 Ａ＝61 31
 R-index
• ある著者のh-index=ｈとしたとき、
被引用数ｈ番目までの論文の
被引用総数の平方根[7]

32
 h-indexが同じ３人の研究者
研究者Ｃ 研究者Ｄ 研究者Ｅ
被引用数 順位 被引用数 順位 被引用数 順位
50 1 100 1 3000 1
20 2 90 2 2500 2
10 3 70 3 1200 3
5 4 40 4 600 4
5 5 5 5 500 5
3 6 3 6
2 7 2 7 Ｒ＝88.31
2 8 2 8
2 9 2 9
1 10 1 10

Ｒ＝9.49 Ｒ＝17.46 33
 h-indexの応用
• h-indexは計算がシンプル
• 降順に並びかえられれば（結果の適／不適
はあるにせよ）どんなデータにも応用できる
• 質・量双方をあわせた評価が出来る

⇒・研究者個人評価以外への応用例

34
 研究グループ評価
• 著者のグループを各指標の降順で並びかえ
てh-indexの考え方を適用する[8]
-hc・・・総被引用数で並び変え
-hp・・・発表論文数で並び変え
-h2・・・h-indexで並び変え

• 研究グループのインパクトを評価できる
（学会・研究会、大学、国別など） 35
 h-indexへの批判

• ２つの批判
-より良い指標の提案
ex) IQp

-特定の指標を用いること自体への批判

36
 IQp
• h-indexの問題点・・・
-被引用上位論文が必ずしも反映されない
-論文数が大きく影響する
-若手に不利
-分野間による引用傾向の違い

⇒・これらの問題点を克服するために考案され
た指標・・・IQp[9]
37
 IQp
IQp=
総被引用数／論文数＋[｛研究者としての活
動年数｝* c * （論文数＋１）｝/(2*論文数)]

c=著者の主要３分野における学術誌全体の
Impact Factorにより算出（{第１分野*IF*3+第2
分野*IF*2+第3分野*IF*1}/6）
38
 IQp
• 利点
-分野を超えた研究インパクトの比較が可能
-高被引用論文を書いた著者等がh-indexより
適切に評価できる
-若手も対等に評価
• 問題点
-とにかく計算が面倒！（コストがかかる）
-総被引用、主要分野、IFが全て出せるDBでし
か使えない？
39
 まとめ-統合とは？
• h-index・・・不完全だがシンプル
⇒・高い応用可能性
・実現可能性

• IQp・・・h-indexよりは「完全」に近いが複雑
⇒・他に応用しづらい？（これ以上の「統合」
はない？）
・実現不可能性（実装されない？）
40
 まとめ-統合とは？
• （研究評価においては）どんな指標だって不
完全（ピアレビューの代替物でしかない）

• 「完全にする」ことを目指すよりも、他に応用し
やすいこと/使いやすいことを考えた方がい
い？

• 「完全な」一つの統合された指標を見るより、
不完全な複数の指標を、見るときに統合？
41
 Bibliography
1. 研究評価のためのビブリオメトリックス手法早わかり. トムソンサイエンティフィック.
2007, 26p.
2. 孫媛. ビブリオメトリックスとは. 情報の科学と技術. 2007, vol. 57, no. 8, p. 372-377.
3.足立泰. “研究動向調査および研究活動分析ツールとしてのScopus”. 第1回 SPARC
Japan 連続セミナー2007 「計量書誌学からジャーナル・論文のパフォーマンスを
測る-2-」. 東京, 2007-07-17, SPARC Japan. 国立情報学研究所, 2007,
http://www.nii.ac.jp/sparc/event/2007/pdf/20070717_02.pdf, (参照 2008-05-18).
4. Hirsch, J.E. An index to quantify an individual's scientific research output.
Proceedings of the National Academy of Science of the United States of America.
2005, vol.102, no.46, p.16569-16572.
5. Sanderson, Mark. Revisiting h Measured on UK LIS and IR Academics. Journal of the
American Society for information Science and Technology. 2008, vol. 59, no. 7, p.
1184-1190.
6. Egghe, L. Theory and practice of the g-index. Scientometrics, 2006, vlo. 69, no. 1, p.
131-152.
7. BiHui, Jin; LiMing, Liang; Rousseau, Ronald; Egghe, Leo. The R- and AR-indices:
Complementing the h-index. Chinese Science Bulletin. 2007, vol. 52, no. 6, p. 855-
863.
42
 Bibliography
8. Egghe, L.; Rao, I.K.Ravichandra. Study of Different h-Indices for Groups of Authors.
Journal of the American Society for information Science and Technology. 2008, vol.
59, no. 8, p. 1276-1281.
9. Antonakis, John.; Lalive, Rafael. Quantifying Scholarly Impact: IQp Versus the Hirsch
h. Journal of the American Society for information Science and Technology. 2008,
vol. 59, no.6, p. 956-969.

43