190 情报理论与实践 第 44 卷 2021 年第 9 期 综述与述评

● 郭倩影，赵丹群 （ 北京大学信息管理系，北京 100871）

基于 Altmetrics 的学术论文评价研究评述
摘 要： ［目的 / 意义］ 学术论文评价是科研管理和科学计量学关注的核心议题之一，以同行评议和文献计量为主
要研究方法，不仅存在主观性强、时滞性等问题，也难以对学术论文的社会影响力进行评估，而 Altmetrics 的诞生为上
述问题的解决提供了新的视角。 ［方法 / 过程］ 文章主要关注基于 Altmetrics 的学术论文评价研究问题，通过文献调研方
法对该领域的研究现状、进展及存在问题进行综述分析，具体内容包括： Altmetrics 数据源的选择、评价指标的设计、
评价策略和结果评估。［结果 / 结论］ 综述发现，Altmetrics 对于学术论文评价具有一定的可用性，与传统评价方法呈显
著互补性，但仍存在数据源质量参差不齐、权威指标缺乏、与传统评价方法的融合力度不够，以及评价方法论和评价理
论研究较为薄弱等问题。
关键词： Altmetrics； 论文评价； 学术影响力； 社会影响力； 评价策略
DOI： 10. 16353 / j. cnki. 1000-7490. 2021. 09. 027
引用格式： 郭倩影，赵丹群 . 基于 Altmetrics 的学术论文评价研究评述 ［J］． 情报理论与实践，2021，44 （ 9 ） ：
190-197.

Ｒeview of Academic Paper Evaluation Based on Altmetrics

Abstract： ［Purpose / significance］ Evaluation of paper is one of the core issues of scientific management and scientomet-
rics. With peer review and bibliometrics as the main research methods，there are not only problems such as strong subjectivity and
time lag，but also difficulties in evaluating the social impact of paper. The birth of Altmetrics provides a new perspective to solve the
above problems. ［Method / process］ This paper focuses on the research of academic paper evaluation based on Altmetrics，and
summarizes the research status，progress and existing problems in this field through literature research method，including the selec-
tion of Altmetrics data sources，the design of evaluation indicators，evaluation strategies and the evaluation of results. ［Ｒesult /
conclusion］ It is found that Altmetrics has certain usability for academic paper evaluation，which is significantly complementary to
traditional evaluation methods. However，there are still some problems such as uneven quality of data sources，lack of authoritative
indicators，insufficient integration with traditional evaluation methods，and weak research on evaluation methodology and evaluation
theory.
Keywords： Altmetrics； paper evaluation； academic influence； social influence； evaluation strategy

作为科研活动最重要的产出与表现形式，学术论文的 也促使科研管理部门和研究人员逐渐将科研成果的评价视
发表及其评价研究始终是科研管理和科学计量学关注的核 角 （ 或议题） 从学术价值 （ 学术影响力） 层面拓展到了
心议题之一。长期以来，以同行评议为代表的定性评价和 更广泛的社会影响力层面。例如，2014 年启动的英国卓
以文献计量 （ 主要是引文分析） 为代表的量化评价，一 越研究框架就已将社会影响力评估纳入到了正式的研究评
［5］
直围绕着论文学术价值 （ 贡献） 或学术影响力等评价任 估中 。对此，传统的论文评价方法 （ 尤其是引文分析）
务而展开。两类方法既互有所长，也各有不足。前者主观 比较难以解决这个问题。
性强、费时费力，后者则较多受到评价指标创设及合理运 与此同时，伴随着 e-Science 的不断推进，越来越多
用、评价数据质量与时滞性等因素的影响。近年来，随着 的学术交流活动迁移到网络环境中，基于在线社交媒体数
［1］
开放存取 、开放引文［2-3］ 、开放代码［4］ 等一系列开放科 据的 Altmetrics 应运而生。相较于传统评价方法，Altmet-
学运动的兴起和推动，学术成果能否惠及普通民众、能否 rics 的问世将学术评价研究带入崭新的 2. 0 时代［6］ 。短短
解决重大社会问题、能否满足公众的现实需求或自身关切 几年时间，除学术论文外，包含更多学术评价对象 （ 例如
等问题逐步引起社会各界关注。所有这些变化，不仅带动 软件代码、会 议 视 频、论 坛 发 帖、博 客 博 文 等） 的 Alt-
了社会公众对科学研究活动关注度与参与度的不断提升， metrics 研究 活 动 形 成 了 一 种 颇 有 声 势 的 潮 流——— “Alt-

Survey ＆ Ｒeview
metrics Movement”。在 这 其 中，更 多 研 究 还 是 延 续 了 对
“学术论文” 评 价 问 题 的 关 注，研 究 议 题 涉 及 评 价 可 用
性、与传统评价方法的比较与融合、多维度影响力分析
（ 含学术影响力、社会影响力及两者关系等） 诸多方面，
研究策略则以数据驱动型的实证分析为主。通过前期较广
泛的文献调研及阅读分析，本文尝试对该领域的研究现状
及其整体研究面貌进行总结归纳，基于学术论文评价研究
的全流程初步形成了如下认知框架 （ 见图 1） 。
图1 基于 Altmetrics 的学术论文评价研究框架
以下重点从 Altmetrics 数据源、评价指标、评价策略
等几个方面，对基于 Altmetrics 的论文评价研究进行详细
综述，并对当前存在的主要问题加以分析讨论，以便为后
续研究工作的不断深化提供有益的借鉴和可能的启迪。值
得注意的是，上述研究问题在基于 Altmetrics 对不同评价
对象进行评价时都需要加以考虑，而本文只关注于学术
论文。
1 Altmetrics 数据源
Altmetrics 数据源是学术评价 2. 0 阶段最重要的研究
基础和评价数据来源，也是具体开展各类实证性评价研究
的首要面临问题。对此，挖掘、拓展尽可能广泛的可用数
据来源，对数据源质量进行评估，成为现有评价研究重点
聚焦的两大问题。
1. 1 常用数据源及其类型
Altmetrics 数据通常经由多种不同在线平台、学术社
区或新闻与社交媒体等渠道 （ 或途径） 不断产生、逐步
积累和免费获取。目前，Altmetrics 数据源数量众多，类
［7］
型上可简单分为原始数据源和数据整合分析工具两类
其中，前者可提供 Altmetrics 评价所需的原始数据信息，
以用于各 Altmetrics 评价指标的计算； 后者作为整合分析
工具，自己本身并不产生数据，其数据全部来自于对多个
不同原始数据源或其他整合分析工具的汇聚。调研发现，
论文评价中使用的原始数据源又可细分为以下 6 类： ①社
Information studies： Theory ＆ Application
Vol. 44 No. 9 （ Sep. 2021）
191
交媒体网站，例如 Google + 、Blog、Facebook、Twitter、新
浪微博、微信、知乎等； ②在线学术网络，例如 Web of
Science （ WoS） 、Scopus、EBSCO 以及期刊官网等； ③ 新
闻媒体网站，例如 Time News、Science News、科学网等；
④文献管理平台，例如 Mendeley、CiteULike、百度文库、
道客巴巴、豆丁网等； ⑤学术社区网站，例如 F1000、丁
香园、小木虫等； ⑥百科平台，例如 Wikipedia、MBA 智
库百科等。而数据整合分析工具则主要包括 Altmetric. com
（ Altmetric Explorer ） 、 PLoS ALM、
PlumX （ Plum Analytics） 、Kudos、Im-
pactStory 和 Webometrics Analyst 等。
在实际评价研究中，如何对数
据源进行合理选取和使用，通常会
受到多方面因素的影响，除评价任
务自身要求外，还涉及数据源的收
录范围或覆盖能力 （ 覆盖率） 、数
据质量与稳定性等问题。表 1 简单
汇总了近年来国内外评价研究使用
的 Altmetrics 数 据 源 情 况，从 中 不
难发 现，国 外 相 关 的 应 用 研 究 较
少，且倾向于对整合分析工具的直接利用，而国内多选用
原始数据源，主要包括 Mendeley、Blog、CiteULike、Wiki-
pedia、Twitter 和 Facebook 等，且特色地选用了国内的数
据源，如豆丁 网、道 客 巴 巴、百 度 文 库、新 浪 微 博、微
信等。
1. 2 数据源质量评估
相较于传统引文数据，Altmetrics 评价数据虽然在产
生速度、广度、多样性和公开性等方面具有明显优势，但
也存在诸多缺陷及质量问题，并在一定程度上制约着评价
工作的开展。为此，学者们围绕着 Altmetrics 数据源质量
展开了多方面的评估分析，重点涉及数据生产、数据稳定
性、数据覆盖率等几个不同方向。
1） 数据生产方面。用户使用社交媒体发布论文相关
内容时并非都是关注于研究内容本身，因而有必要对 Alt-
metrics 数据的质量问题加以评估，然而由于其多源、多维
的特点，很难对其质量进行直接的、统一的量化评估。对
于文本型数据，如评论、推文等，可通过对其内容的直接
［14］
分析评估其质量和应用价值 ； 而面对更多难以直接探
。 究其数据产生动机的数值型数据，如浏览、点赞等，当前
［15］
研究多将此问题转化为对数据生产者的关注和分析 ，
如利用 Altmetrics 数据生产者的职业 （ 学术用户或非学术
用户） 判断该数据的应用价值，即其可用于学术影响力评
［16］
价还是社会影响力评价 。进一步地，有学者通过对不
同数据源用户身份的整体分析发现，Mendeley 更多地面向
192 情报理论与实践 第 44 卷 2021 年第 9 期 综述与述评

表1 国内外相关研究中 Altmetrics 数据源的选择与使用情况

相关研究
评价对象 选择方法 数据源类型 选用数据源
作者 （ 年）

王艳波 （ 2020） ［8］ 图书情报学 主观选择 原始数据源 豆丁网、道客巴巴、百度文库

British Medical Plum Analytics

Ｒetrouvey （ 2020） ［9］ 主观选择 整合分析工具
Journal Altmetric. com
News Outlets、Mendeley、CiteULike、Wikipedia、Blog、
［10］ Twitter、Facebook、F1000 科学网、百度文库、豆丁网、
王萝娜 （ 2018） CNKI 综合 主观选择 原始数据源
道客巴巴、360 个人图书馆、MBA 智库百科、新浪微
博、新浪博客、微信公众号、知乎、丁香园、小木虫
Delli （ 2017） ［11］ dental 主观选择 整合分析工具 Altmetric. com
整合分析工具
Mendeley、CiteULike、Wikipedia、Blog、Twitter、Face-
赵蓉英 （ 2016） ［12］ 汉语言文学 相关性分析 Altmetric. com 中 的
book、News Outlets、Google +
部分原始数据源
宋玲玲 （ 2016） ［13］ 航空航天医学 相关性分析 整合分析工具 PLoS ALMs

［17］ ［22］
学术用户，而 Twitter 则面向更广泛的用户 。 数据获取的不便，更多学者则重点关注特定机构 、学
［23］ ［24］ ［25］
2） 数据积累速度及稳定性方面。引文数据因其时滞 者 、学科 、国家 等范围内的论文在不同数据源的
性难以评估学术论文的短期学术影响力，而 Altmetrics 数 分布情况，结果发现除 Mendeley 外，其他数据源的覆盖
据无需同行评审，总体上更为迅速及时。但值得注意的 率均较低； 分学科观察发现，各数据源对于生命科学领域
是，不同 数 据 源 的 数 据 积 累 速 度 是 不 同 的，如 Ｒeddit、 论文的覆盖率都远高于其他学科。
Twitter、News、Facebook、Google + 和 Blog 等 Altmetrics 数 此外，数据整合分析工具也存在着覆盖率问题，主要
据发布后短期积累非常快； 而政策文件、同行评议、问 表现为对原始数据源汇聚的完整性。学者研究表明，Alt-
答、维基百科、视频和 F1000Prime 的数据积累速度则相 metric. com 对博文、新闻和推文的覆盖率最高，PlumX 对
［18］
对较慢 ，其中政策文件的平均时滞甚至高于引文数据， Mendeley 读者数 据 的 覆 盖 率 最 高，而 Crossref Event Data
［19］ ［26］
长达 4. 5 年 。另外，数据的稳定性也影响着数据用于 则覆盖了更多的维基百科数据 。从国家、语言和主题
评估的可行性，已有研究对 Altmetrics 数据的稳定性持怀 等维度来看，Altmetric. com 在地理和语言上最具多样性，
疑态度，如对 Twitter 数据进行研究发现，受用户删除推 是博客覆盖率最高的平台，PlumX 收集了更多的新闻媒
文和用户账号注销等因素的影响，一定时间后其数据可能 体，尤其是美国地方报纸，而 Crossref Event Data 则汇集
［20］ ［27］
出现不可用问题 。 了大多数英文资源 。
3） 数据覆盖范围 （ 覆盖率） 方面。原始数据源和数
2 Altmerics 评价指标
据整合分析工具都存在覆盖率问题，对于待评价的学术论
文集，应尽可能选择对其覆盖率较高的数据源。对于原始 2. 1 指标设计使用
数据源而言，覆盖率过低则难以用来定量评估论文影响 2. 1. 1 原始指标 目前用于论文评价研究的 Altmetrics 指
力。对文献数据库或 Altmetrics 数据整合分析工具收录文 标，其设计和使用多与 Altmetrics 原始数据源直接相关，
献的大规模分析，是确定 Altmetrics 数据覆盖率的两种不 例如 Mendeley 读者数，推特 （ 或微博） 的发帖数、点赞
同方案。前者关注于文献数据库收录文献在不同 Altmet- 数、转发数及评论数，博客 （ 或新闻） 的发帖数，维基
rics 数据源上的提及率，如有学者分析了 2012—2018 年发 百科的网页数等。这类指标因为与原始数据源直接相关，
表 在 WoS 的 全 部 论 文 在 Mendeley、 Twitter、 Facebook、 不仅数量众多，计算方法简单，使用也十分广泛。单纯地
Wikipedia 等 12 个 Altmetrics 数据源上的分布情况，结果 对指标进行罗列，难以发挥其最大价值，因而学者对这类
发现，Mendeley 的覆盖率最高 （ 89. 30% ） ，其次是 Twitter 指标进行了类型划分，以期对这些指标进行整理归纳，以
［18］
（ 34. 01% ） ，而其他数据源的覆盖率均低于 10% ； 后 便后续对不同类型指标赋予不同的权重，也为指标的进一
者则专注于被 Altmetrics 数据源提及的论文在不同 Altmet- 步整合提供了基础。当前对 Altmetrics 指标的类型划分依
rics 数据源上的分布，如学者对从 Altmetric. com 下载的全 据主要是学术成果影响力的产生路径即学术交流过程，如
［28］
部论文 在 各 媒 介 的 分 布 情 况 进 行 统 计 分 析，发 现 其 在 余厚强等基于此将其分为传播、获取和利用三类 ，和
Twitter 和 Facebook 被提及的比例为 76. 5% 和 23. 7% ，而 学术交流方式，如赵蓉英等将其分为使用型、捕获型、提
［21］ ［29］
在其他数据源被提及的比例均少于 20% 。此外，由于 及型、社交媒介型和引文型指标 5 类 。
 Information studies： Theory ＆ Application
Survey ＆ Ｒeview Vol. 44 No. 9 （ Sep. 2021）
193

除类型划分外，对这类指标的研究话题还涉及权重区 高影响因子期刊或开放获取 （ OA） 期刊，且作者大多来

［37］
分、合理使用等问题。例如自动发布文章链接到 arXiv 的 自欧美国家的高水平研究机构 。但是，OA 期刊的优势
Twitter 机器人账户或论文作者发布的推文不应被纳入论文 存在明显的学科与平台差异，例如兽医学和物理学有明显
评估中，且 Altmetrics 指标需根据发布者身份、发布内容 的 OA 优势，临床医学、基础医学和医学工程等，则有明
［30］
的不同进行权重区分 ； 带有对学术论文的赞美、同意、 显的 OA 劣势； 而且同一学科在不同平台上的表现也不一
感兴趣、惊讶和推荐等情感语义的推文应该获得更高的 样，例如心理学论文在 Twitter 上有 OA 优势，在 Mendeley
［31］ ［42］
权重 。 则存在劣势 。从平台设计来看，在网页中集成社会化
2. 1. 2 复合指标 随着 Altmetrics 评价研究的不断推进， 媒体插件的期刊论文比不提供社会化媒体插件的期刊论文
［43］
一 些 复 合 性 评 价 指 标 不 断 被 创 设 和 应 用。 例 如 在社会化媒体上的提及率和分享率都要高得多 。③论
L. Bornmann 等基于 h 指数的计算思想，提出了基于推特 文年龄。研究发现，最近出版或新发表的学术论文，拥有
［21］
数据进行评价的 t 指数——— “一个研究单元 （ 单个出版 的 Altmetrics 指标值大 多 较 高 。而 随 着 出 版 年 龄 的 增
物、期刊、学者、机构） 的全部 Nt 条推文中，有 t 条推 长，论文的使用数据呈现下降趋势，引用数据则呈现上升
文每条都至少有 t 条转发，且其余 （ Nt-t） 条推文每条转 趋势，且引用数据到达峰值时，使用数据也会相应地出现
［32］ ［40］
发数都不足 t 条” 。再如使用最为广泛的 AAS 指标，采 一定的回升，但仍低于早期的使用量 合作模式。有研
用了由 Altmetric. com 汇集的 News、Blogs、Twitter、Face- 究发现，论文的作者合作数、机构合作数和国家合作数
［33］ ［44］
book 等 16 个原始数据源指标以不同权重复合而成 。但 等，短期之内对论文评估的影响并不大 。
是，部分学者也对 AAS 指标的合理性提出质疑，认为不
3 评价策略与结果
同原始指标之间的关联模式相当复杂且不一致，不建议将
［34］
其复合成一个指标使用 。 作为一类新兴的学术论文评价活动，Altmetrics 的评
此外，另一类复合性指标是针对具体研究任务，选择 价策略目前主要分为两种： 一是与传统评价方法进行对照
可用的 Altmetrics 原始指标，采用多元回归分析或主成分 或比较分析，二是探索与传统评价方法的融合，开展综合
分析等方法构建而成。例如学者根据 Altmetrics 指标与论 性评价研究。这里，传统评价方法主要是指基于文献计量
文被引频次的相关分析筛选原始指标，通过构建多元回归 的引文分析，它与 Altmetrics 同属量化评价，但两者在评
［35］
模型而得到的综合影响力指标#SoME_ Impact Score 。再 价维度、数据源及指标使用等方面又各不相同。通过对
如学者根据指标的区分度、指标内涵的可解释性和异质性 照、比较和融合，最终构建、确立对学术论文评价更为健
筛选原始指标，通过因子分析构建综合影响力评价模型而 全和完善的综合性评价框架，应该是当前国内外研究者努
［36］
得到的论文综合影响力指标 ＲC 。 力追求的目标。
2. 2 指标影响因素 3. 1 比较分析
Altmetrics 指标影响因素研究旨在更深入解读并探明 比较分析是当前 Altmetrics 评价研究的首选策略，其中
不同指标的评价含义、评价适用性以及指标之间的关联性 最核心的议题集中在 Altmetrics 指标与传统引文指标 （ 被引
等，为合理使用以及新指标创设提供依据或借鉴。同时， 频次） 的相关性分析、基于 Altmetrics 指标预测论文引文数
也有助于指引学者有针对性地撰写论文，提高自身学术论 （ 被引频次） 的可行性等方面。而大量的实证分析发现，
［37］
文的在线受关注度 。 有关 Altmetrics 数据与引文数据的相关性表现，学术网站类
具体的影 响 因 素 研 究 主 要 围 绕 以 下 4 个 方 面 展 开： 的使用数据与论文被引频次呈高度正相关，多数社交媒体
①学科或主题。学科或主题特征是论文的重要内在特征。 类的 Altmetrics 数据，除 Mendeley 读者数与论文被引频次
通过对每年 AAS 得分前 100 论文的学科分布进行统计分 呈中度正相关外，其他则与论文被引频次在不同样本范围
析，发现医学与健康科学领域的论文更容易受到社会关 内呈弱正相关、弱负相关等多种不同结果 （ 详见表 2） 。上
［38-39］
注，并且生成较多的 Altmetrics 数据 。另外，学科交 述研究多是对数据直接进行相关性分析，忽视了时间因素
叉水平高的论文，对应的影响力数据要高于学科交叉水平 的影响，因而部分学者引入了 M. Thelwall 提出的 “公平性
［40］
较低的论文 。在研究主题上，凡论文内容聚焦或关注 测试”方法 （ “公平性测试”旨在消除时间窗口对数据采
民生问题、具有科学趣味性或与生活健康有关，都更易受 样的影 响，将 待 测 数 据 置 于 一 个 相 对 公 平 的 测 试 环 境
［45］
公众瞩目； 主题专深度越高，文献所获关注度就越有限， 中 ） 进行相关性分析，发现引入 “公平性测试”方法消
［41］
且关注热度消退也比较快 。②机构、期刊与平台。从 除时间因素影响后，Altmetrics 指标与被引频次相关性更
［46］
机构和期刊来看，Altmetrics 指标得分高的论文主要来自 强 。此外，也有学者应用 “公平性测试” 方法检测单一
194 情报理论与实践 第 44 卷 2021 年第 9 期 综述与述评

Altmetrics 指标与综合 Altmetrics 得分之间相关性［47］。 面用到的案例分析中提及的学术论文两类论文开展 Alt-

另外一类对比分析则基于 “Altmetrics 指标能够用于 metrics 分析，发现总体而言，后者比前者的得分要高［48］ 。
评价论文的学术影响力或社会影响力” 的假设，认为高 针对 F1000 收录论文的比较研究发现，凡同行专家赋予
学术影响力论文和高社会影响力论文应该具有更高的 Alt- “good for teaching” 标签者，其可能对科学研究以外的领
［49］
metrics 指标得分，因而比较了不同特征论文的 Altmetrics 域产生影响 ，可能获得更大的 Facebook 发帖数和推文
得分高低。如 L. Bornmann 等基于英国 ＲEF 数据，对作为 数，而带有 “technical advance” 标签的 论 文，则 可 能 获
［50］
研究成果提交到 ＲEF 的学术论文和在研究影响力评估方 得更多的 Mendeley 读者数 。
表2 国内外 Altmetrics 数据与引文数据的相关性分析研究
相关研究 Altmetrics 数据 引文数据来源 分析方法 样本范围 相关系数
html 浏览 0. 630
张琳 Spearman 2009 年 PLoS Computational Biology 期
pdf 下载 WoS 被引频次 0. 756
（ 2020） ［40］ 相关分析 刊 Article 论文
xml 下载 0. 455
Scopus 被引频次 0. 065
Zhang Xi Pearson
AAS Scopus 被引频次 2011—2016 年，人工智能领域
（ 2019） ［51］ 相关分析 0. 168
下一年增长量
2010. 1. 1—2010. 1. 10，
百度文 库、道 客 巴 巴、豆 丁 网 0. 461
易淑琼 Spearman CNKI 生物学 162 篇
三个国内文献管理平台被浏览、 CNKI 被引频次
（ 2019） ［52］ 相关分析 2010. 1. 1—2010. 1. 31
收藏、下载、评论的总次数 0. 238
CNKI 管理学，56 篇
Mendeley 读者数 0. 687
刘俏 Spearman 截 至 2017. 1. 26， Altmetrics 主 题，
WoS 被引频次
（ 2018） ［53］ AAS 相关分析 167 篇 0. 320

刘艳民 AAS， Facebook， Blogs， Twit- WoS 被引频次 Pearson 截至 2016. 4. 25，Altmetric. com 所有 ＜ 0. 2
（ 2017） ［21］ ter，Google + ，News outlets 期刊影响因子 相关分析 数据 ＜ 0. 2
Eabhann M. 2014、2015 年 JCＲ 泌尿学和肾脏学
Spearman 0. 35
O’Connor AAS WoS 被引频次 top10 期刊被引频次 top5 论文
相关分析
（ 2017） ［54］ 2014、2015 年 AAS top50 论文 － 0. 20
Mendeley 0. 614
CiteULike 0. 215
余厚强 Blogs， News， F1000， Twitter， Spearman 2011. 7—2015. 11， Altmetric. com 所
Facebook，Wikipedia，Google + ， Scopus 被引频次
（ 2017） ［55］ 相关分析 有数据
Ｒeddit， Policy， Video， Weibo， ＜ 0. 20
LinkedIn， Q ＆ A， Pinterest，
Connotea，peer review

3. 2 融合分析
有鉴于 Altmetrics 的 自 身 优 势 及 其 与 传 统 评 价 方 法
（ 维度） 的显著互补性，将 Altmetrics 作为一个新的评价
维度，融入到包括同行评议、引文分析等在内的既有评价
框架中，正在推进学术论文评价研究的深化发展。
文献调研发现，当前融合了 Altmetrics 指标的论文综
合评价体系构建研究主要有两种，一种是自上而下，基于
论文影响力产生机制确定评价维度，进而选择合适的指标
并加以融合。如程爱娟将论文影响力分为被感知程度、社
会影响力和学术影响力三个维度，并以 Altmetrics 指标作
［56］
为前两个维度的测度指标
包括论文学术影响力、社会影响力、长期影响力和短期影
响力等多个维度的连续、动态和复合的单篇论文评价体
系，并以 Altmetrics 指标作为社会影响力和短期影响力的
［57］
测度指标 。另一种是自下而上，基于评价对象各种数
据的可用性来选择指标，进而通过因子分析或主成分分析
［8］
确定评价维度 。其他研究也多以引文指标和来自 Alt-
metrics 数据整合分析工具的评价指标作为候选指标，通过
指标覆盖率和指标间相关性进行指标筛选，然后利用主成
分分析得到主成分因子并构建综合评价模型，不同研究得
［12-13，
58］
到的主成分因子不完全相同 。
近来，学者在构建评价体系时还考虑了论文发表时间
的影响，给不同的发文时间赋予不同的权重。例如，刘运
梅等根据 Altmetrics 不同指标随时间变化的不同表现，提
出时间因素视角下的月均使用量 Ut （ 使用指标） 、首月讨
。王贤文等则提出应该构建 论量 T1 （ 讨论指标） 等指标，并结合引文指标构建论文
［59］
影响力综合评价体系 。王菲菲等使用灰色关联分析和
熵权法来计算不同时间窗口下的指标权重，同时将传统文
献计量指标 （ 被引频次） 及 Altmetrics 指标进行融合，构
建双重赋权动态综合评价模型，对不同年龄的论文综合影
 Information studies： Theory ＆ Application
Survey ＆ Ｒeview Vol. 44 No. 9 （ Sep. 2021）
195

［60］
响力进行评价 。 评价理论研究比较薄弱。Altmetrics 的问世将学术评价研
3. 3 结果评估 究带入 2. 0 时代，对学术评价理论的完善意义重大。但其
对任何评价工作而言，评价结果的形成以及对结果的 自身研究大多为实证性分析，不论是方法层面还是理论层
评估分析都是不容忽视的重要步骤，其中结果评估部分具 面，都有待加强或提升。例如针对评价结果，如何进行兼
体又包括自我解读、同行验证以及实际应用等。目前，对 具科学性和建构性的分析解读和有效验证，目前都多有忽
于大多数基于 Altmetrics 的论文评价研究来说，对结果的 视或较为缺乏。这对于评价方法论的完善十分不利，进而
自我解读普遍都得到了重视，但对结果有效性的验证分 影响到或阻碍了理论认知上的不断深化。□
析，则相对缺少或重视不够，尤其采用同行验证方式的比 参考文献
较少见。 ［1 ］ Budapest open access initiative ［EB / OL］． ［2020-11-25］．
多数研究采用实证方法对评价结果进行了一些验证分 https： / / www． budapestopenaccessinitiative． org / ．

析。例如，把结果验证看作分类问题，或看作排序问题， ［2 ］ Open citation ［EB / OL］． ［2020-11-25］． http： / / opencitati-

前者关注 Altmetrics 指 标 识 别 高 影 响 力 论 文 （ 高 被 引 论 ons． net / about．

文） 的准确性，多利用机器学习算法，基于 Precison-Ｒe- ［3 ］ I4OC： invitation for open citations ［EB / OL］． ［2020-11-
［51，
61］ 25］． https： / / i4oc． org / #about．
call 进行评估 ； 后者则关注利用 Altmetrics 指标与其
［4 ］ Making source code open and reusable ［EB / OL］． ［2020-11-
他论文评价方法 （ 论文被引频次、h 指数等） 对论文排序
［36］ 25］． https： / / www． gov． uk / service-manual / technology / making-
结果的相关性或一致性，利用图表相关分析 、肯德尔
［12-13］ ［62］ source-code-open-and-reusable．
和谐系数 和平均绝对百分比误差 （ MAPE） 等方法
［5 ］ ＲEF 2014： research excellence framework 2014 ［EB / OL］．
进行评估。
［2020-11-25］． https： / / www. ref. ac. uk /2014 / media / ref / con-

4 结束语 tent / pub / panelcriteriaandworkingmethods /01_12_1． pdf．

［6 ］ PＲIEM J，HEMMINGEＲ B H. Scientometrics 2. 0： new met-
自问世以来，Altmetrics 评价研究已走过第一个十年 rics of scholarly impact on the social Web ［J］． First Monday，
发展历程。本文以上综述分析表明，作为一个新的评价维 2010，15 （ 7） ．
度 （ 或视角） ，Altmetrics 对学术论文评价的有用性已得到 ［7 ］ 金贞燕，侯景丽，孙华丽 . Altmetrics 数据整合分析工具的
初步验证，特别是它与传统评价方法的显著互补性，有利 现状特点及相关问题研究 ［J］． 情报理论与实践，2019，
于构建更完善的论文综合评价框架，对丰富和促进网络时 42 （ 4） ： 89-95.
代的学术评价理论具有重要作用。 ［8 ］ 王艳波，汪雷，吴小兰 . 基于 Altmetrics 与传统文献计量
目前，基于 Altmetrics 的论文评价研究还存在不少障 指标的国内学术论文影响力评价研究 ［J］． 情报理论与实
碍和问题。例如： ①数据源质量问题，包括对不同学科文 践，2020，43 （ 6） ： 76-81.

献覆盖能力 （ 覆盖率） 上的显著差异性、数据不稳定性 ［9 ］ ＲETＲOUVEY H，WEBSTEＲ F，ZHONG T，et al. Cross-sec-

导致的评价可靠性和复现能力较低、因数据适用性及评价 tional analysis of bibliometrics and altmetrics： comparing the

效度认识不足而产生的争议等。②权威性评价指标缺乏。 impact of qualitative and quantitative articles in the British Med-

ical Journal ［J］． BMJ Open，2020，10 （ 10） ： e40950.
现有的 Altmetrics 评价指标虽然数量众多，但都还处于简
［10］ 王萝娜，李端明，李星 . 在线科学交流中学术论文影响力
单定义和粗放使用阶段，尚未出现或形成有共识性的核心
动态 评 价 研 究 ［J］． 图 书 情 报 工 作，2018，62 （ 4 ） ：
指标，而少数复合性指标在评价实践中的作用也十分有
107-112.
限。在数据源不断完善的基础上，未来能否创设出契合
［11］ DELLI K，LIVAS C，SPIJKEＲVET F K L，et al. Measuring
Altmetrics 评价需要的有效指标，特别是用于社会影响力
the social impact of dental research： an insight into the most in-
评价维度的新指标，已成为一个亟待解决的问题。③与传
fluential articles on the Web ［J］． Oral Diseases，2017，23
统评价方法的有机融合。虽然已经出现了不少融合性评价
（ 8） ： 1155-1161.
研究，但融合的力度还远远不够。随着同行评议数据的开 ［12］ 赵蓉英，郭凤娇，谭洁 . 基于 Altmetrics 的学术论文影响
放存取 （ 包括评议文本及专家评分） ，未来如何基于先进 力评价研究———以汉语言文学学科为例 ［J］． 中国图书馆
的机器学习算法对这些语料进行挖掘 （ 情感识别） ，同时 学报，2016 （ 1） ： 96-108.
结合对 Altmetrics 评价数据深入到语义层面的理解分析， ［13］ 宋玲玲 . 基于 PLoS ALMs 的论文影响力评价指标研究———
使得评价研究切实推进到针对论文内容 （ 或语义） 理解 以航空 航 天 医 学为例 ［J］． 情报理 论与实 践，2016，39
的深度，无疑是一个具有挑战性的任务。④评价方法论和 （ 9） ： 30-36.
196 情报理论与实践 第 44 卷 2021 年第 9 期
［14］ NA J，YE Y E. Content analysis of scholarly discussions of psy-
chological academic articles on Facebook ［J］． Online Informa-
tion Ｒeview，2017，41 （ 3） ： 337-353.
［15］ BOWMAN T D. Differences in personal and professional tweets
of scholars ［J］． Aslib Journal of Information Management，
2015，67 （ 3） ： 356-371.
［16］ MAＲICATO J D M，Vilan F J L. The potential for Altmetrics to
measure other types of impact in scientific production： academ-
ic and social impact dynamics in social media and networks
［J］． Information Ｒesearch-an International Electronic Journal，
2018，23 （ 1） ．
［17］ HOLMBEＲG K，VAINIO J. Why do some research articles re-
ceive more online attention and higher altmetrics？ Ｒeasons for
online success according to the authors ［J］． Scientometrics，
2018，116 （ 1） ： 435-447.
［18］ FANG Z，COSTAS Ｒ. Studying the accumulation velocity of alt-
metric data tracked by Altmetric. com ［J］． Scientometrics，
2020，123 （ 2） ： 1077-1101.
［19］ 余厚强，肖婷婷，王曰芬，等 . 政策文件替代计量指标分
布特征研究 ［J］． 中国图书馆学报，2017 （ 5） ： 57-69.
［20］ FANG Z，DUDEK J，COSTAS Ｒ. The stability of Twitter met-
rics： a study on unavailable Twitter mentions of scientific publi-
cations ［J］． Journal of the Association for Information Science
and Technology，2020： 1-15.
［21］ 刘艳民 . Altmetrics 指 标 与传 统 文 献 计 量 指 标 相 关 性 研 究
［J］． 情报杂志，2017，36 （ 9） ： 71-77.
［22］ AGUILLO I F. Altmetrics of the open access institutional reposi-
tories： a Webometrics approach ［J］． Scientometrics，2020，
123 （ 3SI） ： 1181-1192.
［23］ HAUSTEIN S，PETEＲS I，BAＲ-ILAN J，et al. Coverage and
adoption of altmetrics sources in the bibliometric community
［J］． Scientometrics，2014，101 （ 2） ： 1145-1163.
［24］ POOLADIAN A，BOＲＲEGO A. Methodological issues in meas-
uring citations in Wikipedia： a case study in Library and Infor-
mation Science ［J］． Scientometrics， 2017， 113 （ 1 ） ：
455-464.
［25］ 郭凤娇，孙劭敏 . 中国 SSCI 论文的 Altmetrics 指标特征分
析 ［J］． 数字图书馆论坛，2019 （ 8） ： 11-17.
［26］ LUIS O J. Ｒeliability and accuracy of altmetric providers： a
comparison among Altmetric. com，PlumX and Crossref Event
Data ［J］． Scientometrics，2018，116 （ 3） ： 2123-2138.
［27］ OＲTEGA J L. Blogs and news sources coverage in altmetrics da-
ta providers： a comparative analysis by country， language，
and subject ［J］． Scientometrics， 2020， 122 （ 1 ） ： 555-
572.
［28］ 余厚强，邱均平 . 替代 计量 指 标分 层 与 聚 合 的 理论研究
［J］． 图书馆杂志，2014，33 （ 10） ： 13-19.
综述与述评
［29］ 赵 蓉 英， 吴 胜 男， 王 旭， 等 . Altmetrics： 理 论 与 实 践
［M］． 北京： 科学出版社，2019.
［30］ HAUSTEIN S，BOWMAN T D，HOLMBEＲG K，et al. Tweets
as impact indicators： examining the implications of automated
“bot”accounts on Twitter ［J］． Journal of the Association for
Information Science and Technology，2016，67 （ 1 ） ： 232-
238.
［31］ LIU X Z，FANG H. What we can learn from tweets linking to
research papers ［J］． Scientometrics， 2017， 111 （ 1 ） ：
349-369.
［32］ BOＲNMANN L，HAUNSCHILD Ｒ. t factor： a metric for meas-
uring impact on Twitter ［J］． Malaysian Journal of Library ＆
Information Science，2016，21 （ 2） ： 13-20.
［33］ AAS： Altmetrics attention score ［EB / OL］． ［2020-10-20］．
https： / / help． altmetric． com / support / solutions / articles /600023
3311-how-is-the-altmetric-attention-score-calculated-．
［34］ MUKHEＲJEE B，SUBOTIC S，CHAUBEY A K. And now for
something completely different： the congruence of the Altmetric
Attention Score’s structure between different article groups
［J］． Scientometrics，2018，114 （ 1） ： 253-275.
［35］ SATHIANATHEN N J，III Ｒ L，MUＲPHY D G，et al. Social
media coverage of scientific articles immediately after publica-
tion predicts subsequent citations-# SoME-impact score： obser-
vational analysis ［J］． Journal of Medical Internet Ｒesearch，
2020，22 （ 4） ．
［36］ 赵蓉英，王建品，冯雪峰，等 . 基于 Altmetrics 的开放获
取期刊 论 文 影 响 力 评 价 研 究 ［J］． 情 报 理 论 与 实 践，
2019，42 （ 1） ： 81-86.
［37］ 邱均平，陈丽婷 . 高社 会 影 响 力 论 文 的 特 征 分 析———以
2016—2018 年 Altmetrics Top100 论文为例 ［J］． 图书馆理
论与实践，2019 （ 8） ： 20-25.
［38］ 褚金星，王晓光，吕涛 . 替代计量指标覆盖率及相关性研
究 ［J］． 数字图书馆论坛，2020 （ 2） ： 59-66.
［39］ 欧桂燕，马廷灿，李瑞婻，等 . 2013—2018 年高 Altmetrics
指标 论 文 的 特 征 演 变 分 析 ［J］． 情 报 学 报，2020，39
（ 03） ： 243-252.
［40］ 张琳，孙蓓蓓，王贤文，等 . 交叉科学成果影响力研究：
使用 数 据 与 引 用 数 据 视 角 ［J］． 情 报 学 报，2020，39
（ 5） ： 469-477.
［41］ 于琦，田玥，贺培凤，等 . 顶级科研论文在社交网络中的
关注度研究———以 《Nature》 和 《Science》 为例 ［J］． 现
代情报，2019，39 （ 7） ： 153-161.
［42］ HOLMBEＲG K，HEDMAN J，BOWMAN T D，et al. Do arti-
cles in open access journals have more frequent altmetric activity
than articles in subscription-based journals？ An investigation of
the research output of Finnish universities ［J］． Scientomet-
rics，2020，122 （ 1） ： 645-659.
 Information studies： Theory ＆ Application
Survey ＆ Ｒeview Vol. 44 No. 9 （ Sep. 2021）
197

［43］ KAＲMAKAＲ M，BANSHAL S K，SINGH V K. Does presence
of social media plugins in a journal website result in higher so-
cial media attention of its research publications？ ［J］． Sciento-
metrics，2020，124 （ 3） ： 2103-2143.
［44］ 赵蓉英，余波 . Altmetrics Top100 论文的合作模式及其影响
力因素分析 ［J］． 情报科学，2020，38 （ 4） ： 3-8.
［45］ THELWALL M，HAUSTEIN S，ＲE V L，et al. Do Altmetrics
work？ Twitter and ten other social web services ［J］． PLoS
One，2013，8 （ 5） ．
系研究 ［J］． 情报理论与实践，2018，41 （ 7） ： 60-64.
［54］ O’CONNOＲ E M，NASON G J，O’Kelly F，et al． News-
worthiness vs scientific impact： are the most highly cited urolo-
gy papers the most widely disseminated in the media？ ［J］．
BJU International，2017，120 （ 3） ： 441-454.
［55］ 余厚强 . 替代计量指标与引文量相关性的大规模跨学科研
究———数值类型、指标种类与用户类别的影响 ［J］． 情报
学报，2017，36 （ 6） ： 606-617.
［56］ 程爱娟 . 基于 Altmetrics 的单篇论文影响力评价研究 ［D］．

［46］ 王睿，胡文静，郭玮 . 高 Altmetrics 指标科技论文学术影 湘潭： 湘潭大学，2017.

响力研究 ［J］． 图书情报工作，2014，58 （ 21） ： 92-98. ［57］ 王贤文，方志超，王虹茵 . 连续、动态和复合的单篇论文

［47］ 刘红煦，王铮 . 基于 “公平性测试” 的 Altmetrics 学术质 评价体系构建研究 ［J］． 科学学与科学技术管理，2015，

量评价方法研究 ［J］． 图书情报 工 作，2018，62 （ 16 ） ： 36 （ 8） ： 37-48.

102-110. ［58］ 王雯霞，刘春丽 . 不同学科间论文影响力评价指标模型的

［48］ BOＲNMANN L，HAUNSCHILD Ｒ，ADAMS J. Do altmetrics 差 异 性 研 究 ［J］． 图 书 情 报 工 作，2017， 61 （ 13 ） ：

assess societal impact in a comparable way to case studies？ An 108-116.

empirical test of the convergent validity of altmetrics based on ［59］ 刘运梅，李长玲，杜德慧 . 网络环境下论文影响力综合评

data from the UK research excellence framework （ ＲEF） ［J］． 价体系构建———基于时间因素视角 ［J］． 情报资料工作，

Journal of Informetrics，2019，13 （ 1） ： 325-340. 2019，40 （ 6） ： 16-22.

［49］ BOＲNMANN L. Validity of altmetrics data for measuring societal ［60］ 王菲菲，弋新月，贾晨冉，等 . Altmetrics 视角下科技文献

impact： a study using data from Altmetric and F1000Prime 学术影响力动态评价体系构建与实证研究 ［J］． 情报理论

［J］． Journal of Informetrics，2014，8 （ 4） ： 935-950. 与实践，2020，43 （ 8） ： 77-83.

［61］ WANG M，WANG Z，CHEN G. Which can better predict the
［50］ BOＲNMANN L. Usefulness of altmetrics for measuring the broa-
future success of articles？ Bibliometric indices or alternative
der impact of research a case study using data from PLOS and
metrics ［J］． Scientometrics，2019，119 （ 3） ： 1575-1595.
F1000Prime ［J］． Aslib Journal of Information Management，
［62］ 段丹，梁柏静，于文文，等 . 基于 Altmetrics 视角的学术
2015，67 （ 3） ： 305-319.
论文被 引 频 次 影 响 因 素 分 析 和 预 测 ［J］． 图 书 馆 杂 志，
［51］ ZHANG X，WANG X，ZHAO H，et al. An effectiveness anal-
2020，39 （ 4） ： 102-112.
ysis of altmetrics indices for different levels of artificial intelli-
gence publications ［J］． Scientometrics，2019，119 （ 3 ） ：
作者简介： 郭倩影 （ OＲCID： 0000-0003-0602-9915） ，女，

1311-1344. 1994 年 生，博 士 生。研 究 方 向： 科 学 计 量 学。赵 丹 群

［52］ 易淑琼，余波 . 基于国内文献管理平台的 Altmetrics 与传 （ OＲCID： 0000-0003-0685-6689，通信作者，Email： zdq@

统文献计量指标的相关性研究 ［J］． 情报杂志，2019，38 pku. edu. cn） ，女，1966 年生，博士，教授，博士生导师。
（ 7） ： 193-198，207. 研究方向： 信息检索，信息计量学与科学计量学。
［53］ 刘俏 . Altmetrics 指标与传统计量指标对学术论文评价的关 录用日期： 2021 － 03 － 29

（ 上接第 189 页） ［25］ DENG S，SINHA A P，ZHAO H. Adapting sentiment lexicons

［22］ JIANG F，LIU Y，LUAN H，et al. Microblog sentiment analy- to domain-specific social media texts ［J］． Decision Support

sis with emoticon space model ［J］． Journal of Computer Sci- Systems，2017，94： 65-76.

ence and Technology，2015，30 （ 5） ： 1120-1129. 作者简介： 周知 （ OＲCID： 0000-0002-5530-2968） ，博士，

［23］ SYMEONIDIS S， EFFＲOSYNIDIS D， AＲAMPATZIS A. A 讲 师。 王 春 迎 （ OＲCID： 0000-0003-4767-4523， 通 信 作
comparative evaluation of pre-processing techniques and their 者，Email： cywanglib @ 163. com） ，博 士，讲 师。朱 佳 丽
interactions for twitter sentiment analysis ［J］． Expert Systems （ OＲCID： 0000-0002-1312-2782） ，博士生。
with Applications，2018，110： 298-310. 作者贡献声明： 周知，论文选题，内容撰写，实验设计。
［24］ AＲNON I，SNIDEＲ N. More than words： frequency effects for 王春迎，论文修改，资料整理，结构调整。朱佳丽，数据
multi-word phrases ［J］． Journal of Memory and Language， 抓取，实验操作。
2010，62 （ 1） ： 67-82. 录用日期： 2021 － 03 － 29