计算机研究与发展 ＤＯＩ：

１０．
７５４４
?ｉｓ
ｓｎ１０００－１２３９．２０１６．２０１６００２０
Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ　
Ｃｏｍｐｕ
ｔｅｒ　
Ｒｅｓ
ｅａｒ
ｃｈ　
ａｎｄ　
Ｄｅｖｅ
ｌｏｐｍｅｎ
ｔ　 ５３（ ２）：２４７－２６１，２０１６

知识表示学习研究进展

刘知远 　 孙茂松 　 林衍凯 　 谢若冰

（清华大学计算机科学与技术系 　 北京 　１０００８４）
（智能技术与系统国家重点实验室（清华大学）　 北京 　１０００８４）
（清华信息科学与技术国家实验室（筹）　 北京 　１０００８４）
（
ｌｉ
ｕｚｙ＠ｔ
ｓｉｎｇｈｕａ． ｃｎ）
ｅｄｕ．

Ｋｎｏｗｌ
ｅｄｇ
ｅ　Ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ　
Ｌｅａ
ｒｎｎｇ：Ａ　
ｉ Ｒｅｖ
ｉｅｗ
Ｌ
ｉｕ　
Ｚｈｙｕａｎ，Ｓｕｎ　
ｉ Ｍａｏｓｏｎｇ，Ｌ
ｉｎ　 ｉ，ａｎｄ　
Ｙａｎｋａ Ｘｉｅ　
Ｒｕｏｂ
ｉｎｇ
（ ｔｍｅｎ
Ｄｅｐａｒ ｔ　ｏｆ　
Ｃｏｍｐｕｔｅｒ　
Ｓｃｉｅｎｃｅ　ａｎｄ　
Ｔｅｃｈｎｏｌｏｇｙ，Ｔｓ
ｉｎｇｈｕａ　
Ｕｎｉｖ
ｅ ｒ
ｓｉｙ，Ｂｅ
ｔ ｉｊｎｇ１０００８４）
ｉ
（
Ｓｔａ
ｔ Ｋｅｙ　
ｅ　 Ｌａｂｏｒａ
ｔｏ ｏｆ　
ｒｙ　 Ｉｎ
ｔｅｌｌｉｇｅｎ Ｔｅ
ｔ　 ｃｈｎｏｌ
ｏｇｙ　ａｎｄ　
Ｓｙｓ
ｔｅｍｓ （
Ｔｓｉ Ｕｎ
ｎｇｈｕａ　 ｉ
ｖｅｒｓｉ
ｔｙ），Ｂｅｉ
ｊｉｎｇ１０００８４）
（
Ｔｓｎｇｈｕａ　
ｉ Ｎａｉ
ｔｏｎａ
ｌ　 ｏ
Ｌａｂｒａ
ｔｏ ｆｏ
ｒｙ　 ｒ　 ｒｍａ
Ｉｎｆｏ ｔｉｏｎ　
Ｓｃｅｎｃ
ｉ ｅ　ａｎｄ　
Ｔｅｃｈｎｏ
ｌｏｇｙ，Ｂｅ
ｉｊｎｇ１０００８４）
ｉ

Ａｂｓｔ
ｒａｃ
ｔ　Ｋｎｏｗｌｅｄｇｅ　ｂａｓｅｓａ
　ｒｅ　
ｕｓｕａｌ
ｌｙ　ｒ
ｅｐｒｅ
ｓｅｎｔｅｄ　
ａｓ　
ｎｅｔｗｏｒｋｓ　ｗｉｔｈ　
ｅｎｔ
ｉｔｉｅ
ｓ　ａ
ｓ　ｎｏｄｅｓａｎｄ
　 ｒ
　ｅｌ
ａｔｉ
ｏｎｓａ
　ｓ
ｅｄｇｅ
ｓ．Ｗｉｔ
ｈ　ｎｅ
ｔｗｏ ｒｋ　
ｒ ｅｐｒ
ｅｓｅｎｔａｔ
ｉｏｎ　ｏ
ｆ　ｋｎｏｗｌｅｄｇｅ　
ｂａｓｅ ，
ｓ ｓｐｅ ｃ
ｉｆｉｃ
　ａｌｇｏｒ
ｉｔｈｍｓ　ｈａｖｅｔ
　ｏ　ｂｅ　
ｄｅｓ
ｉｇｎｅｄ
　ｔｏ
ｓｔ
ｏｒｅａｎｄ　
　 ｕ ｔ
ｉｌ
ｉｚｅ　
ｋｎｏｗｌｅｄｇｅ　ｂａ
ｓｅｓ，ｗｈｉｃｈ　
ａｒｅ　ｕｓｕａｌ
ｌｙｔ
　ｉｍｅｃｏｎｓｕｍｉ
　 ｎｇ　
ａｎｄ　ｓｕｆ
ｆｅｒｆ
　ｒｏｍ　ｄａｔ
ａ　ｓｐａｒｓ
ｉｔｙ
ｉ
ｓｓｕｅ．Ｒｅｃｅｎｔｙ，ｒ
ｌ ｅｐｒ
ｅｓｅｎｔａｔ
ｉｏｎｌ
　ｅａ
ｒｎｎｇ，ｄｅ
ｉ ｌｅｇａｔｅｄ　
ｂｙ　ｄｅ
ｅｐｌ
　ｅａ
ｒｎｉｎｇ，ｈａｓａ
　ｔｔ
ｒａｃｔ
ｅｄ ｍ
　ａｎｙａ
　ｔｔｅｎｔ
ｉｏｎｓ
　ｉｎ
ｎａ
ｔｕｒａｌ
　ｌａｎｇｕａｇｅ　ｐｒｏｃ
ｅ ｓ
ｓｉｎｇ，ｃｏｍｐｕｔｅｒｖ
　ｉｓ
ｉｏｎ　ａｎｄ　ｓｐｅ
ｅｃｈ　ａｎａ
ｌｙｓ
ｉｓ．Ｒｅｐｒｅ
ｓｅｎｔａｔ
ｉｏｎ
　ｌｅａｒｎ
ｉｎｇ　
ａｉｍｓ
　ｔｏ
ｐｒ
ｏｊｅ
ｃｔ　ｔｈｅｉ
　ｎｔｅｒｅ
ｓｔｅｄ　ｏｂｊｅ
ｃｔｓ
　ｉｎ
ｔｏ　
ａ　ｄｅｎｓｅ，ｒｅｌ－ｖａ
ａ ｌ
ｕｅｄ　ａｎｄ
　ｌｏｗ－ｄ
ｉｍｅｎｓ
ｉｏｎａｌ
　ｓｅｍａｎｔ
ｉｃｓ
　ｐａｃｅ，ｗｈｅｒ
ｅａｓ
ｋｎｏｗｌ
ｅｄｇｅ
　ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ
　ｆｏｃｕｓ
ｅｓ　ｏｎ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ　ｏ
ｆ　ｅｎ
ｔｉｔ
ｉｅｓ
　ａｎｄ
　ｒｅ
ｌａｔ
ｉｏｎｓ
　ｉｎ
ｋｎｏｗｌｅｄｇｅ　
ｂａｓ ｅ
ｓ．Ｒｅｐｒ ｅ
ｓｅｎｔａ
ｔｉｏｎ　ｌ
ｅａｒｎ
ｉｎｇ　
ｃａｎ　ｅ
ｆｆｉ
ｃｉｅｎ
ｔｌ ｍｅ
ｙ　 ａｓｕｒｅｓ
　ｅｍａｎｔｉ
ｃ　ｃｏ
ｒ ｒ
ｅｌａｔ
ｉｏｎｓ　ｏ
ｆ　ｅｎ
ｔｉｔ
ｉｅｓ　ａｎｄ
ｒｅｌ
ａｔｏｎｓ，ａ
ｉ ｌｌ
ｅｖｉａｔｅ　ｓｐａ
ｒｓｉ
ｔｙ　ｉ ｓ
ｓｕｅｓ， ａｎｄ ｉ
　ｓｇｎｉｆ
ｉｃａｎｔ
ｌｙ ｉｍ ｒｏｖｅ
　 ｐ 　ｔ 　ｐ ｈｅ ｅｒｆ
ｏ ｒｍａｎｃｅ ｆ
　ｏ　ｋ ｎｏｗｌｅｄｇｅ
ａｃｑｕｉ
ｓｉｔ
ｉｏｎ，ｆ ｕｓｉｏｎ　ａｎｄ
　ｉｎｆｅｒｅｎｃｅ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ， ｗｅ　ｗｉｌｌ
　ｉｎｔｒｏｄｕｃ
ｅ　ｔ ｈｅ　ｒｅｃｅｎｔ
　ａｄｖａｎｃ ｅ
ｓ　ｏ ｆ
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ，ｓｕｍｍａ
ｒｉｚ
ｅ　ｔ
ｈｅ　ｋｅｙ　ｃｈａ
ｌｌｅｎｇｅ
ｓ　ａｎｄ　ｐｏｓ
ｓｉｂ
ｌｅ　ｓｏ
ｌｕｔ
ｉｏｎｓ，ａｎｄ
　ｆｕｒ
ｔｈｅ
ｒ ｉ
　ｇｖｅ
　ａ
ｆ
ｕｔｕｒ
ｅ　ｏｕ
ｔｌｏｏｋ　
ｏｎｔ
　ｈｅ
　ｒｅ
ｓｅａ
ｒｃｈ　
ａｎｄ　
ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎ　
ｄｉｒ
ｅｃｔ
ｉｏｎｓ．

Ｋｅ
ｙ　ｗｏ
ｒｄｓ　ｋｎｏｗｌ
ｅｄｇｅ
　ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ；ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ；ｋｎｏｗｌ
ｅｄｇｅ　ｇ
ｒａｐｈ；ｄｅ
ｅｐ　ｌ
ｅａｒｎ
ｉｎｇ；
ｄ
ｉｓｔ
ｒｉｂｕ
ｔｅｄ
　ｒｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ

摘 　 要 　 人们构建的知识库通常被表示为网络形式，节点代表实体，连边代表实体间的关系 ．在网络表示
形式下，人们需要设计专门的图算法存储和利用知识库，存在费时费力 的 缺 点，并 受 到 数 据 稀 疏 问 题 的
困扰 ．最近，以深度学习为代表的表示学习技术受到广泛关注 ．表示学习 旨 在 将 研 究 对 象 的 语 义 信 息 表
示为稠密低维实值向量，知识表示学习则面向知识库中的实体和关系进行表示学习 ．该技术可以在低维
空间中高效计算实体和关系的语义联系，有效解决数据稀疏问题，使知 识 获 取、融 合 和 推 理 的 性 能 得 到
显著提升 ．介绍知识表示学习的最新进展，总结该技术面临的主要挑战 和 可 能 解 决 方 案，并 展 望 该 技 术
的未来发展方向与前景 ．
关键词 　 知识表示；表示学习；知识图谱；深度学习；分布式表示
中图法分类号 　ＴＰ３９１

２０１６－０１－１２；修回日期：
　 收稿日期： ２０１６－０１－１５
　 基金项目：国家“九七三”重点基础研究发展计划基金项目（
２０１４ＣＢ３４０５０１）；国家自然科学基 金 项 目（ ６１５３２０１０）；清 华 大 学 自 主 科
６１５７２２７３，
研计划基金项目（
２０１５ＴＨＺ）
Ｔｈ
ｉｓ　
ｗｏｒｋ　
ｗａｓ
　ｓｕｐｐｏ
ｒｔｅｄ　
ｂｙｔ
　ｈｅ　
Ｎａｔ
ｉｏｎａ
ｌ　Ｂａ
ｓｉｃ　
Ｒｅｓ
ｅａｒ
ｃｈ　
Ｐｒｏｇ
ｒａｍ　
ｏｆ　
Ｃｈｎａ（
ｉ ９７３Ｐｒ
ｏｇａｍ）（
ｒ ２０１４ＣＢ３４０５０１），ｔ
ｈｅ　
Ｎａｔ
ｉｏｎａ
ｌ　Ｎａ
ｔｕｒ
ａｌ
Ｓｃ
ｉｅｎｃ
ｅ　Ｆｏｕｎｄａ
ｔｉｏｎ　
ｏｆ　
Ｃｈｎａ （
ｉ ６１５７２２７３，
６１５３２０１０），ａｎｄ　
Ｔｓｉ
ｎｇｈｕａ　
Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙ　Ｉ
ｎｉｔ
ｉａｔ
ｉｖｅ　
Ｓｃｉ
ｅｎｔ
ｉｆ
ｉｃ　
Ｒｅｓ
ｅａｒ
ｃｈ　
Ｐｒｏｇ
ｒａｍ （
２０１５ＴＨＺ）．
 ２４８ 计算机研究与发展 　２０１６，５３（
２）

　　 知识库将人类 知 识 组 织 成 结 构 化 的 知 识 系 统 ． 涉及它们，对这些实 体 的 语 义 或 推 理 关 系 的 计 算 往
人们花费大量精力 构 建 了 各 种 结 构 化 的 知 识 库，如 往准确率极低 ．
语言知识库 Ｗｏ
ｒ ｔ 、世界知 识 库 Ｆｒ
ｄＮｅ
［
１］
ｅｅｂａ
ｓｅ 等．
［
２］
近年来，以深 度 学 习 ［４］为 代 表 的 表 示 学 习 ［５］技
知识库是推动人工智能学科发展和支撑智能信息服 术异军突起，在语音识别、图像分析和自然语言处理
务应用（如智能搜索、智能问答、个性化推荐等）的重 领域获得广泛关注 ．表 示 学 习 旨 在 将 研 究 对 象 的 语
要基础技术 ．为了改进信息服务质量，国内外互联网 义信息表示为稠密 低 维 实 值 向 量 ．在 该 低 维 向 量 空
公司（特别是搜索 引 擎 公 司）纷 纷 推 出 知 识 库 产 品， 间中，
２ 个对象距离越近则说明其语义相似度越高 ．
如谷歌知识图谱、微软 Ｂ
ｉ Ｓａ
ｎｇ　 ｔ
ｏｒｉ、百度知心以及搜 顾名 思 义，知 识 表 示 学 习 是 面 向 知 识 库 中 的 实
狗知立方等 ．著 名 的 ＩＢＭ　
Ｗａｓｏｎ 问 答 系 统 和 苹 果
ｔ 体和关系进行表示 学 习 ．该 方 向 最 近 取 得 了 重 要 进
Ｓ
ｉｒｉ语音助理的背后，知识库 也 扮 演 着 重 要 角 色 ．如 展，可以在低维空间 中 高 效 计 算 实 体 和 关 系 的 语 义
谷歌在介绍知识图 谱 时 所 说 的 “构 成 这 个 世 界 的 是 联系，有效解决数 据 稀 疏 问 题，使 知 识 获 取、融 合 和
实体，而非字符串”．可以说，知识库的兴起拉开了智 推理的性能得到显著提升 ．
能信息检索从字符串匹配跃迁至智能理解的序幕 ． 由于 上 述 优 点，知 识 表 示 学 习 引 起 了 广 泛 关 注
知识库描述 现 实 世 界 中 实 体 （
ｅｎｉ
ｔｔｙ）间 的 关 系 和研究兴趣，但该方向仍然面临着诸多挑战 ．本文将
（
ｒｅａ
ｌｔｏｎ）．这些知识蕴藏在无（半）结 构 的 互 联 网 信
ｉ 介绍知识表示学习 的 最 新 进 展，总 结 该 技 术 面 临 的
息中，而知识库则 是 有 结 构 的 ．因 此，知 识 库 的 主 要 主要挑战和可能解 决 方 案，并 展 望 该 技 术 的 未 来 发
研究目标是：从无（半）结 构 的 互 联 网 信 息 中 获 取 有 展方向与前景 ．
结构知识，自动融合构建知识库、服务知识推理等相
关应用 ．知识表示是知识获取与应用的基础，因此知 １　 知识表示学习简介
识表示学习问题是贯穿知识库的构建与应用全过程
的关键问题 ． 在正式介绍知识表示学习的主要模型和挑战之
人 们 通 常 以 网 络 的 形 式 组 织 知 识 库 中 的 知 识， 前，本节首先介绍表示学习的基本概念和理论基础，
网络中每个节点代表实体（人名、地名、机构名、概念 以及知识表示学习的重要意义 ．
等），而每条连边则代表实体间的关系 ．因此，大部分 １　 表示学习的基本概念
１．
知识往往可以用三元组（实体 １，关系，实体 ２）来表 如前所述，表示学习的目标是，通过机器学习将
示，对应着知识库网络中的一条连边及其连接的 ２ 个 研究对象的语义信 息 表 示 为 稠 密 低 维 实 值 向 量 ．本
实体 ．这是知识库的通用表示方式，例如万维网联盟 文用黑斜体表示研 究 对 象 所 对 应 的 向 量 ．以 知 识 库
（Ｗ３Ｃ）发 布 的 资 源 描 述 框 架 （ｒｓｏｕｒ
ｅ ｃｅ　
ｄｅｓ
ｃｒｉ
ｐｔｉ
ｏｎ 中的实体ｅ 和关 系ｒ 为 例，我 们 将 表 示 学 习 得 到 的
ｒｋ，ＲＤＦ）技 术 标 准 ，就 是 以 三 元 组 表 示 向量表示为ｌｅ 和ｌｒ．在该向量空间中，我们可以通过
［３］
ｆ
ｒａｍｅｗｏ
为基础的 ．特别 是 在 谷 歌 提 出 知 识 图 谱 （
ｋｎｏｗｌ
ｅｄｇｅ 欧氏距离或余弦距 离 等 方 式，计 算 任 意 ２ 个 对 象 之
ｒ
ｇａｐｈｓ）的概 念 后，这 种 网 络 表 示 形 式 更 是 广 受 认 间的语义相似度 ．
可 ．然而，基于网络形式的知识表示面临诸多挑战性 实际上，在表示学习之外，有更简单的数据表示
难题，主要包括如下 ２ 个方面： 方案，即独 热 表 示 （
ｏｎｅ－ｈｏ
ｔ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ）６ ．该 方
［］

１）计 算 效 率 问 题 ．基 于 网 络 的 知 识 表 示 形 式 案也将研究对象表 示 为 向 量，只 是 该 向 量 只 有 某 一

中，每个实体均用不同的节点表示 ．当利用知识库计 维非零，其他维度上的值均为 ０．显而易见，为了将不
算实体间的语义或 推 理 关 系 时，往 往 需 要 人 们 设 计 同对象区分开，有多少个不同的对象，独热表示向量
专门的图算法来实现，存在可移植性差的问题 ．更重 就有多长 ．独热表示 是 信 息 检 索 和 搜 索 引 擎 中 广 泛
要的是，基于图的 算 法 计 算 复 杂 度 高、可 扩 展 性 差， 使用的词袋模型（
ｂａｇ－ｏ
ｆ－ｗｏ
ｒｄｓ　 ｌ）７ 的基础 ．以
ｍｏｄｅ
［］

当知识库达到一定 规 模 时，就 很 难 较 好 地 满 足 实 时 中文为例，假如 网 页 中 共 有 Ｗ 个 不 同 的 词，词 袋 模

计算的需求 ．
２）数据稀疏问题 ．与其他类型的大规模数据类
似，大规模知识库也遵守长尾分布，在长尾部分的实
体和关系上，面临 严 重 的 数 据 稀 疏 问 题 ．例 如，对 于
长尾部分的罕见实 体，由 于 只 有 极 少 的 知 识 或 路 径
型中 的 每 个 词 都 被 表 示 为 一 个 Ｗ 维 的 独 热 表 示 向
量 ．在此基础上，词袋模型将每个文档表示为一个 Ｗ
维向量，每一维表示对应的词在该文档中的重要性 ．
与表示学习相比，独热表示无需学习过程，简单
高效，在信息检索和自然语言处理中得到广泛应用 ．
刘知远等：知识表示学习研究进展 ２４９

但是独热表示的缺 点 也 非 常 明 显 ．独 热 表 示 方 案 假 综上，我 们 在 表 １ 总 结 了 现 实 世 界 与 内 隐 世 界
设所有对象都是相互独立的 ．也就是说，在独热表示 的特点 ．可以说，分布式表示和层次结构是人类智能
空间中，所有对象的向量都是相互正交的，通过余弦 的基础，也是表示学习和深度学习的本质特点 ．
距离 或 欧 氏 距 离 计 算 的 语 义 相 似 度 均 为 ０．这 显 然
Ｔａｂ
ｌｅ１　Ｃｈａ
　 ｒａｃ
ｔｅｒ
ｉｓｔ
ｉｃｓ
　ｏｆ　
Ｒｅａ
ｌ　Ｗｏ
ｒｌｄ　
ａｎｄ
　Ｉｎ
ｔｅｒｎａ
ｌ　Ｗｏ
ｒｌｄ
是不符合实际情 况 的，会 丢 失 大 量 有 用 信 息 ．例 如， 表 １　 现实世界与内隐世界的特点
“苹果”和“香蕉”虽 然 是 ２ 个 不 同 的 词，但 由 于 它 们
Ｃｈａ
ｒａｃ
ｔｅｒ
ｉｓｔ
ｉｃｓ　 Ｄｉ
ｓｃｒ
ｅｔｅｎｅ
ｓｓ　 Ｈｉ
ｅｒａ
ｒｃｈｙ
都属于水果，因 此 应 当 具 有 较 高 的 语 义 相 似 度 ．显
Ｒｅ
ａｌ　
Ｗｏｒ
ｌｄ　 Ｄｉ
ｓｃｒ
ｅｔｅ　 Ｈｉ
ｅｒａ
ｒｃｈ
ｉｃａ
ｌ
然，独热表示无法有 效 利 用 这 些 对 象 间 的 语 义 相 似
Ｉ
ｎｔｅ
ｒｎａ
ｌ　Ｗｏ
ｒｌｄ　 Ｃｏｎ
ｔｉｎｕｏｕｓ　 Ｈｉ
ｅｒａ
ｒｃｈ
ｉｃａ
ｌ
度信息 ．这也是词袋模型无法有效表示短文本、容易
受到数据稀疏问题影响的根本原因 ．
３　 知识表示学习的典型应用
１．
与独热表示相比，表示学习的向量维度较低，有 知识表示学习是面向知识库中实体和关系的表
助于提高计算效率，同 时 能 够 充 分 利 用 对 象 间 的 语 示学习 ．通过将实体或关系投影到低维向量空间，我
义信息，从而有效缓解数据稀疏问题 ．由于表示学习
们能够实现对实体 和 关 系 的 语 义 信 息 的 表 示，可 以
的这些优点，最近出现了大量关 于单词 ［６］、短语 ［８－９］、
高效地计算实体、关系及其之间的复杂语义关联 ．这
实体 ［１０］、句子 ［１１－１３］、文 档 ［１２］和 社 会 网 络 ［１４－１６］等 对 象
对知识库的构建、推理与应用均有重要意义 ．
的表示学习研究 ．特别是在词表示方面，针对一词多
知识表示学习得到的分布式表示有以下典型
义 ［１７－１９］、语义 组 合 ［９，２０－２２］、语 素 或 字 母 信 息 ［２３－２５］、跨
应用：
语言 ［２６－２８］、可解释 性 ［２９－３２］等 特 点 提 出 了 相 应 表 示 方
１）相 似 度 计 算 ．利 用 实 体 的 分 布 式 表 示，我 们
案，展现出分布式表示灵活的可扩展性 ．
可以快速计算实体 间 的 语 义 相 似 度，这 对 于 自 然 语
２　 表示学习的理论基础
１．
言处理和信息检索的很多任务具有重要意义 ．
表示学习得到的低维向量表示是一种分布式表
２）知 识 图 谱 补 全 ．构 建 大 规 模 知 识 图 谱，需 要
示（
ｄｉｔ
ｓｒｉ
ｂｕｔ
ｅｄｒ
　ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ）６ ．之所以如此命名，
［］

不断补充实体间的关系 ．利用知识表示学习模型，可
是因为孤立地看向 量 中 的 每 一 维，都 没 有 明 确 对 应
以预测 ２ 个实体的 关 系，这 一 般 称 为 知 识 库 的 链 接
的含义；而综合各维形成一个向量，则能够表示对象
预测（ ｌ
ｉｎｋ　ｐｒ
ｅｄｉ
ｃｔｏｎ），又称为知识图谱补全（
ｉ ｋｎｏｗ－
的语义信息 ．这种表示方案并非凭空而来，而是受到
ｌ
ｅｄｇｅ　
ｇｒａｐｈ　
ｃｏｍｐｌｅｔ
ｉ ）
ｏｎ ．
人脑的工作机制启发而来 ．
我们知道，现实世界中的实体是离散的，不同对 ３）其他应用 ．知识表示学习已被广泛用于关系
抽取、自动问答、实 体 链 指 等 任 务，展 现 出 巨 大 的 应
象之间有明显的界 限 ．人 脑 通 过 大 量 神 经 元 上 的 激
活和抑制存储这 些 对 象，形 成 内 隐 世 界 ．显 而 易 见， 用潜力 ．随着深度学 习 在 自 然 语 言 处 理 各 项 重 要 任

每个单独神经元的 激 活 或 抑 制 并 没 有 明 确 含 义，但 务中得到广泛应用，这 将 为 知 识 表 示 学 习 带 来 更 广

是多个神经元的状 态 则 能 表 示 世 间 万 物 ．受 到 该 工 阔的应用空间 ．

作机制的启发，分布 式 表 示 的 向 量 可 以 看 作 模 拟 人 ４　 知识表示学习的主要优点
１．
脑的多个神经元，每维对应一个神经元，而向量中的 知识表示学习实现了对实体和关系的分布式表
值对应神经元的激 活 或 抑 制 状 态 ．基 于 神 经 网 络 这 示，它具有以下主要优点：
种对离散世界的连 续 表 示 机 制，人 脑 具 备 了 高 度 的 １）显著提升计算效率 ．知识库的三元组表 示实
学习能力与智能水 平 ．表 示 学 习 正 是 对 人 脑 这 一 工 际就是基于独热表示的 ．如前所分析的，在这种表示
作机制的模仿 ． 方式下，需要设计专 门 的 图 算 法 计 算 实 体 间 的 语 义
还 值 得 一 提 的 是，现 实 世 界 存 在 层 次 结 构
．
［
３３］ 和推理关系，计算 复 杂 度 高、可 扩 展 性 差 ．而 表 示 学
一个对象往往由更 小 的 对 象 组 成 ．例 如 一 个 房 屋 作 习得到的分布式表 示，则 能 够 高 效 地 实 现 语 义 相 似
为一个对象，是由门、窗户、墙、天花板和地板等对象 度计算等操作，显著提升计算效率 ．
有机组合而成的，墙 则 由 更 小 的 砖 块 和 水 泥 等 对 象 ２）有效缓解数据稀疏 ．由于表示学习将对 象投
组成，以此类推 ．这种层次或嵌套的结构反映在人脑 影到统一的低维空 间 中，使 每 个 对 象 均 对 应 一 个 稠
中，形成了神经网络的层次结构 ．最近象征人工神经 密向量，从而有效缓解数据稀疏问题，这主要体现在
网络复兴的深度学习 技 术，其 津 津 乐 道 的 “深 度”正 ２ 个方面 ．一方面，每个对象的向量均为稠密有值的，
是这种层次性的体现 ． 因此可以度量任意对象之间的语义相似程度 ．而基于
 ２５０ 计算机研究与发展 　２０１６，５３（
２）

独热表示的图算法，由 于 受 到 大 规 模 知 识 图 谱 稀 疏 线性模型、张量神经网络模型、矩阵分解模型和翻译
特性的影响，往往无法有效计算很多对象之间的语义 模型等 ．
相似度 ．另一方面，将大量对象投影到统一空间的 过 １　 距离模型
２．
程，也能够将高频对 象 的 语 义 信 息 用 于 帮 助 低 频 对 结构 表 示 （
ｓｔｒｕｃ
ｔｕｒ
ｅｄ　
ｅｍｂｅｄｄ
ｉｎｇ，ＳＥ）３４ 是 较
［ ］

象的语义表示，提高低频对象的语义表示的精确性 ． 早的几个知识表示方法 之 一 ．在 ＳＥ 中，每 个 实 体 用

３）实现异质信息融合 ．不同来源的异质信息需 ｄ 维 的 向 量 表 示，所 有 实 体 被 投 影 到 同 一 个 ｄ 维 向
要融合为整体，才 能 得 到 有 效 应 用 ．例 如，人 们 构 造 量空间中 ．同时， ＳＥ 还 为 每 个 关 系 ｒ 定 义 了 ２ 个 矩
了大量知识库，这些 知 识 库 的 构 建 规 范 和 信 息 来 源 Ｍｒ，２ ∈Ｒｄ×ｄ ，用于三元组中头实体和尾 实 体
阵 Ｍｒ，１ ，
均 有 不 同，例 如 著 名 的 世 界 知 识 库 有 ＤＢＰｅｄ
ｉａ， 的投影操作 ．最后，
ＳＥ 为每个三元组（
ｈ， ｔ）定 义 了
ｒ，
ＹＡＧＯ， Ｆｒ
ｅｅｂａ
ｓｅ等 ．大量实体和关系在不同知识库 如下损失函数：
中的名称不同 ．如何实现多知识库的有机融合，对知 ｆｒ（
ｈ，ｔ）＝｜Ｍｒ，１ｌｈ － Ｍｒ，２ｌｔ｜Ｌ１ ．
识库应用具有重要意义 ．如果基于网络表示，该任务 　　 我们可以 理 解 为，
ＳＥ 将 头 实 体 向 量ｌｈ 和 尾 实
只能通过设计专门图算法来实现，效果较差，效率低 体向量ｌｔ 通过关系ｒ 的 ２ 个矩阵投影到ｒ 的对应空
下 ．而通过设计合理的表示学习模型，将不同来源的 间中，然后在该空间中计算两投影向量的距离 ．这个
对象投影到同一个 语 义 空 间 中，就 能 够 建 立 统 一 的 距离反 映 了 ２ 个 实 体 在 关 系 ｒ 下 的 语 义 相 关 度，它
表示空间，实现多 知 识 库 的 信 息 融 合 ．此 外，当 我 们 们的距离越小，说明这 ２ 个实体存在这种关系 ．
在信息检索或自然 语 言 处 理 中 应 用 知 识 库 时，往 往 实体向量和关系矩阵是 ＳＥ 模型的参数 ．
ＳＥ 将
需要计算查询词、句子、文档和知识库实体之间的复 知识库三元组作为 学 习 样 例，优 化 模 型 参 数 使 知 识
杂语义关联 ．由于这些对象的异质性，计算它们的语 库三元组的损失函 数 值 不 断 降 低，从 而 使 实 体 向 量
义关联往往是棘手 问 题 ．而 表 示 学 习 亦 能 为 异 质 对 和关系矩阵能够较好地反映实体和关系的语义信息 ．
象提供统一表示空 间，轻 而 易 举 实 现 异 质 对 象 之 间 ＳＥ 能够利用学 习 得 到 的 知 识 表 示 进 行 链 接 预
的语义关联计算 ． 测，即通过计算
综上，由 于 知 识 表 示 学 习 能 够 显 著 提 升 计 算 效 ａ
ｒｇ　 ｎ｜Ｍｒ，１ｌｈ － Ｍｒ，２ｌｔ｜Ｌ１
ｍｉ
ｒ
率，有效缓解数据 稀 疏，实 现 异 质 信 息 融 合，因 此 对 找到让两实体距离 最 近 的 关 系 矩 阵，这 就 是 它 们 之
于知识库的构建、推理和应用具有重要意义，值得广 间的关系 ．
受关注、深入研究 ． 然而，
ＳＥ 模型有一个重要缺陷：它对头、尾实体
使用 ２ 个不同的矩阵进行投影，协同性较差，往往无
２　 知识表示学习的主要方法 法精确刻画两实体与关系之间的语义联系 ．
２　 单层神经网络模型
２．
知识 表 示 学 习 是 近 年 来 的 研 究 热 点，研 究 者 提 单层神经网络模型（
ｓｉ
ｎｇｌ
ｅ　ｌ
ａｙｅ
ｒ　ｍｏｄ
ｅ
［ ］
ｌ，ＳＬＭ）３５
出了多种模型，学习知识库中的实体和关系的表示 ． 尝试采用 单 层 神 经 网 络 的 非 线 性 操 作，来 减 轻 ＳＥ
本节将主要介绍其 中 几 种 代 表 方 法 ．为 了 介 绍 这 些 无法协同精确刻画 实 体 与 关 系 的 语 义 联 系 的 问 题 ．
方法，我们首先定义几种符号，便于下文使用 ．首先， ＳＬＭ 为每个三元组（ ｈ， ｔ）定义了如下评分函数：
ｒ，
我们将知识 库 表 示 为 Ｇ＝ （
Ｅ， Ｓ），其 中 Ｅ ＝ ｛
Ｒ， ｅ１ ， ｆｒ（
ｈ，ｔ）＝ ｕｒｇ（
Ｔ
Ｍｒ，１ｌｈ ＋ Ｍｒ，２ｌｔ），
ｅ｜Ｅ｜｝是知识库中的实体集合，其中包含｜Ｅ｜种
ｅ２ ，…， 其中， Ｍｒ，２ ∈Ｒｄ×ｋ 为投影 矩 阵，
Ｍｒ，１ ， ｕｒＴ ∈Ｒｋ 为 关 系ｒ
不同实体； Ｒ＝ ｛
ｒ１ ， ｒ｜Ｒ｜｝是知识库中的关系集
ｒ２ ，…， 的表示向量， ｇ（）是ｔ ａｎｈ 函数 ．
合，其中包含｜Ｒ｜种不同关系；而 ＳＥ×Ｒ×Ｅ 则代 虽然 ＳＬＭ 是 ＳＥ 模型的改进版本，但是它 的 非
表知识库中 的 三 元 组 集 合，我 们 一 般 表 示 为 （
ｈ，ｒ， 线性操作 仅 提 供 了 实 体 和 关 系 之 间 比 较 微 弱 的 联
ｔ），其中ｈ 和ｔ 表示头实体和尾实体，而ｒ 表示ｈ 和ｔ 系 ．与此同时，却引入了更高的计算复杂度 ．
之间的关系 ．例如三 元 组 （史 蒂 夫·乔 布 斯，创 始 人， ３　 能量模型
２．
苹果公司）就表示实体 “史 蒂 夫·乔 布 斯”和 “苹 果 公 语义 匹 配 能 量 模 型 （
ｓｅｍａｎ
ｔｉｃ　
ｍａｔ
ｃｈｉ
ｎｇ　
ｅｎｅ
ｒｇｙ，
司”之间存在“创始人”的关系 ． ＳＭＥ）３６－３７ 提出更复杂的操作，寻找实体和关系之间
［ ］

接下 来，我 们 介 绍 知 识 表 示 学 习 的 几 个 代 表 模 的语义联系 ．在 ＳＭＥ 中，每个实体和关系都用低维向

型，包括距离模型、单层神经网络模型、能量模型、双 量表示 ．在 此 基 础 上，
ＳＭＥ 定 义 若 干 投 影 矩 阵，刻 画
刘知远等：知识表示学习研究进展 ２５１

实体与关 系 的 内 在 联 系 ．更 具 体 地，
ＳＭＥ 为 每 个 三 值得注意的是，与 以 往 模 型 不 同，ＮＴＮ 中 的 实
元组（ｈ，ｒ，ｔ）定义了 ２ 种评分函数，分别是线性形式： 体向量是该实体中 所 有 单 词 向 量 的 平 均 值 ．这 样 做
ｆｒ（
ｈ，ｔ）＝ （
Ｍ１ｌｈ ＋Ｍ２ｌｒ＋ｂ１）
Ｔ
（
Ｍ３ｌｔ＋Ｍ４ｌｒ＋ｂ２） 的好处是，实体中的单词数量远小于实体数量，可以
和双线性形式： 充分重复利用单词 向 量 构 建 实 体 表 示，降 低 实 体 表
ｆｒ（
ｈ，ｔ）＝ （
Ｍ１ｌｈ Ｍ２ｌｒ＋ｂ１） Ｔ
（
Ｍ３ｌｔＭ４ｌｒ＋ｂ２）， 示学习的稀疏性问题，增强不同实体的语义联系 ．
其中 Ｍ１ ，
Ｍ２ ，Ｍ３ ，Ｍ４ ∈Ｒｄ×ｋ 为 投 影 矩 阵； 表 示 按 由于 ＮＴＮ 引入了张量操作，虽然能够更精确地
位相乘（即 Ｈａ
ｄａｍａ
ｒｄ积）； ｂ２ 为偏置向量 ．此外，也
ｂ１ ， 刻画实体和关系的复杂语义联系，但是计算复杂度非
有研究工作用三阶张量代替 ＳＭＥ 的双线性形式 ［
３６］
． 常高，需要大量三元组样例才能得到充分学习 ．实 验
４　 双线性模型
２． 表明，ＮＴＮ 在大规模稀疏知识图谱上的效果较差 ４１ ．
［ ］

隐变 量 模 型 （
ｌａｅｎ
ｔ ｔ
　ｆａ
ｃｔｏ
ｒ　ｍｏｄｅ
［
ｌ，ＬＦＭ ）３８－３９
］
６　 矩阵分解模型
２．
提出利用基于关系 的 双 线 性 变 换，刻 画 实 体 和 关 系 矩阵 分 解 是 得 到 低 维 向 量 表 示 的 重 要 途 径 ．因
ＬＦＭ 为 每 个 三 元 组 （
之间的二 阶 联 系 ． ｈ， ｔ）定 义
ｒ， 此，也有研究者提出 采 用 矩 阵 分 解 进 行 知 识 表 示 学
了如下双线性评分函数： 习 ．这方面的代表方法是 ＲＥＳＡＣＬ 模型 ［４２－４３］．
ｆｒ（
ｈ，ｔ）＝ｌｈＴ　Ｍｒｌｔ， 在该 模 型 中，知 识 库 三 元 组 构 成 一 个 大 的 张 量
其中，
Ｍｒ ∈Ｒ ｄ×ｄ
是 关 系ｒ 对 应 的 双 线 性 变 换 矩 阵 ． Ｘ，如果三元组 （
ｈ， ｔ）存 在，则 Ｘｈｒｔ ＝１，否 则 为 ０．
ｒ，
ＬＦＭ 取 得 巨 大 突 破：通 过 简 单 有
与以往模型相 比， 张量分解旨在将 每 个 三 元 组 （
ｈ， ｔ）对 应 的 张 量 值
ｒ，
效的方法刻画了实 体 和 关 系 的 语 义 联 系，协 同 性 较 Ｘｈｒｔ 分解为实体和关系表示，使得 Ｘｈｒｔ 尽量地接近 于
好，计算复杂度低 ． ｌｈＭｒｌｔ．
后来的 ＤＩＳＴＭＵＬＴ 模型 ［
还探索 了 ＬＦＭ 的
４０］ 可 以 看 到 ＲＥＳＡＣＬ 的 基 本 思 想 与 前 述 ＬＦＭ
简化形式：将 关 系 矩 阵 Ｍｒ 设 置 为 对 角 阵 ．实 验 表 类似 ．不 同 之 处 在 于，ＲＥＳＡＣＬ 会 优 化 张 量 中 的 所
明，这种简化不仅极大降低了模型复杂度，模型效果 有位置，包括值为 ０ 的 位 置；而 ＬＦＭ 只 会 优 化 知 识
反而得到显著提升 ． 库中存在的三元组 ．
５　 张量神经网络模型
２． ７　 翻译模型
２．
张量 神 经 网 络 模 型 （
ｎｅｕｒ
ａｌ　ｔ
ｅｎｓｏ
ｒ　ｎｅ ｒｋ，
ｔｗｏ 表示学习在自然语言处理领域受到广泛关注起
ＮＴＮ）３５ 的基本思 想 是，用 双 线 性 张 量 取 代 传 统 神
［ ］ 源于 Ｍｉ
ｋｏｏｖ 等人于 ２０１３ 年提出的 ｗｏ
ｌ ｃ词表
ｒｄ２ｖｅ
经网络中的线性变换层，在不同的维度下将头、尾实 示学习模型和 工 具 包 ［
８，４４］
．利 用 该 模 型，Ｍｉｋｏ
ｌｏｖ 等
体向量联系起来 ．其基本思想如图 １ 所示： 人发现词向量空间 存 在 有 趣 的 平 移 不 变 现 象 ．例 如
他们发现：
Ｃ（ｋｎｇ）－Ｃ（
ｉ ｅｎ）≈Ｃ（
ｑｕｅ ｍａｎ）－Ｃ（ ｗｏｍａｎ），
这里 Ｃ（
ｗ ）表 示 利 用 ｒｄ２ｖｅ
ｗｏ ｃ 学 习 得 到 的单词 ｗ
的词向量 ．也 就 是 说，词 向 量 能 够 捕 捉 到 单 词 ｋ
ｉｎｇ
ｅｎ 之间、
和 ｑｕｅ ｍａｎ 和 ｗｏｍａｎ 之间的某种相同的隐
含语义 关 系 ．Ｍｉ
ｋｏｌｏｖ 等 人 通 过 类 比 推 理 实 验 ８ ４４
［， ］

发现，这种平移不变 现 象 普 遍 存 在 于 词 汇 的 语 义 关
系和句法关系中 ．有 研 究 者 还 利 用 词 表 示 的 这 种 特
Ｆ
ｉｇ．１　Ｎｅｕ
ｒａｌ
　ｔｅｎｓ
ｏｒ　
ｎｅｔｗｏ
ｒｋ（
ＮＴＮ）ｍｏｄｅ
ｌ． 性寻找词汇之间的上下位关系 ［４５］．
图 １　 张量神经网络模型 受到该现 象 的 启 发，
Ｂｏｄ
ｒｅｓ等 人 提 出 了 Ｔ
ｒａｎ
ｓＥ
ＮＴＮ 为每个三元组（ ｈ，
ｒ，ｔ）定义了如下评分 函 模型 ［
，将知识库中的关系看作实 体 间 的 某 种 平 移
４１］

数，
评价２个实体之间存在某个特定关系ｒ 的可能性： 向量 ．对于每个三元组（
ｈ，ｒ，
ｔ），
ＴｒａｎｓＥ 用 关 系 ｒ 的
ｆｒ（ｈ，
ｔ）＝ｕｒＴｇ（
ｌｈＭｒｌｔ＋Ｍｒ，１ｌｈ ＋Ｍｒ，２ｌｔ＋ｂｒ）， 向量ｌｒ 作为头实体向 量ｌｈ 和 尾 实 体 向 量ｌｔ 之 间 的
其中 ｕ 是一个与关系相关的线性层，
Ｔ
ｒ ｇ（）是ｔ ａｎｈ 函 平移 ．我们也可以将ｌｒ 看 作 从ｌｈ 到ｌｔ 的 翻 译，因 此
数，
Ｍｒ∈Ｒ ｄ×ｄ×ｋ
是一个三阶张量， Ｍｒ，２ ∈Ｒｄ×ｋ 是
Ｍｒ，１ ， ａｎｓＥ 也被称为翻译模型 ．
Ｔｒ
与关系ｒ 有关的投 影 矩 阵 ．可 以 看 出，前 述 ＳＬＭ 是 如图 ２ 所 示，对 于 每 个 三 元 组 （
ｈ，ｒ，
ｔ），
ＴｒａｎｓＥ
ＮＴＮ 的简化版本，是 ＮＴＮ 将其 中 张 量 的 层 数 设 置 希望
为 ０ 时的特殊情况 ． ｌｈ ＋ｌｒ≈ｌｔ．
２５２ 计算机研究与发展 　２０１６，５３（
２）

ａｎｓＥ 模型定义了如下损失函数：
Ｔｒ 作来表 示 该 实 体 对 ．这 里，循 环 相 关 ＊ ：Ｒｄ ×Ｒｄ →
ｆｒ（ｈ，
ｔ）＝｜ｌｈ ＋ｌｒ－ｌｔ｜Ｌ１?Ｌ２ ， Ｒｄ 操作如下：
即向量ｌｈ ＋ｌｒ 和ｌｔ 的Ｌ１ 或 Ｌ２ 距离 ． ｄ－１

ｌｈ ＊ｌｔ］
［ ，
ｋ ＝
∑ｌｌ
ｉ＝０
ｈｉ ｔ（
ｉ＋ｋ）ｍｏｄ　
ｄ

循环相关操作可以 看 作 张 量 乘 法 特 殊 形 式，具 有 较
强的表达能力，具有 以 下 ３ 个 优 点：
１）不 可 交 换 性 ．
循环相关是不可交换的，即ｌｈ ＊ｌｔ≠ｌｔ＊ｌｈ ．而知识库
中很多关系是不可 交 换 的，因 此 该 特 点 具 有 重 要 意
２）相关性 ．循环相关操作得到的向量每一维都衡
义．
量了向量ｌｈ 和ｌｔ 的 某 种 相 似 性 ．例 如，循 环 相 关 的
ｄ－１
Ｆ
ｉｇ．２　Ｔｒ
ａｎｓＥ　
ｍｏｄｅ
ｌ．
第一位［
ｌｈ ＊ｌｔ］ 相当于向量ｌｈ 和ｌｔ 的内
图 ２　Ｔｒ
ａｎｓＥ 模型
０＝
∑ｌｌ
ｉ＝０
ｈｉ ｔ
ｉ

积 ．该性质处理头、尾实体比较相似的关系（例如“夫
在实 际 学 习 过 程 中，为 了 增 强 知 识 表 示 的 区 分
妻”关系）时具有重要意义 ．
３）计算效率高 ．循环相关
能力，
ＴｒａｎｓＥ 采用最 大 间 隔 方 法，定 义 了 如 下 优 化
操作还可以使用如下公式进行优化：
目标函数：
珚（
ｌｈ ＊ｌｔ＝Ｆ－１（
Ｆ ｌｈ ）⊙Ｆ（
ｌｔ）），
Ｌ＝ ∑ ∑ ｍａｘ（
０，ｆｒ（
ｈ，ｔ）＋ 这里 Ｆ（
ｘ）， ｘ）为傅里叶变换与逆傅里叶 变 换，
Ｆ－１（
（
ｈ，ｒ，
ｔ）∈Ｓ （ －
ｈ′，
′，
ｒ ′）∈Ｓ
ｔ
可以用快速傅里叶变换加速计算 ．
γ－ｆｒ′ （
ｈ′，
′）），
ｔ
其中， 对于 每 个 三 元 组 （
ｈ，ｒ，
ｔ），Ｈｏ
ｌｅ定 义 了 如 下 评
Ｓ 是合 法 三 元 组 的 集 合，
Ｓ－ 为 错 误 三 元 组 的
分函数：
集合，
ｍａｘ（
ｘ，ｙ）返 回 ｘ 和ｙ 中 较 大 的 值，
γ 为合法
ｆｒ（
ｈ，ｔ）＝σ（
ｌｒ （
ｌｈ ＊ｌｔ）），
Ｔ
三元组得分与错误三元组得分之间的间隔距离 ．
错误 三 元 组 并 非 随 机 产 生 的，为 了 选 取 有 代 表 这里σ（ １ 为
ｘ）＝ ｓ
ｉｇｍｏ
ｉｄ 函数 ．
１＋ｅ－ｘ
性的错误三元组，
ＴｒａｎｓＥ 将 Ｓ 中每个三元组的头实
由于该模型刚刚提出，尚未验证其效果，但是无
体、关系和尾实体其 中 之 一 随 机 替 换 成 其 他 实 体 或
疑为知识表示学习提供了全新的视角，值得关注 ．
关系来得到 Ｓ－ ，即：
Ｓ－ ＝ ｛（
ｈ′，
ｒ，ｔ）｝∪ ｛（
ｈ，′，
ｒ ｔ）｝∪ ｛（
ｈ，ｒ，
′）｝．
ｔ
３　 知识表示学习的主要挑战与已有解决方案
与以 往 模 型 相 比，
ＴｒａｎｓＥ 模 型 参 数 较 少，计 算
复杂度低，却能直接 建 立 实 体 和 关 系 之 间 的 复 杂 语 以 Ｔｒ
ａｎｓＥ 为代表的知识表示学习模型，已经在
义联 系 ．
Ｂｏ ｓ 等 人 在 Ｗｏ
ｒｄｅ ｔ 和 Ｆｒ
ｒｄＮｅ ｅｅｂａ
ｓｅ等 数 知识图谱补全、关系抽取等任务中取得了瞩目成果 ．
据集上进行链接预测等评测任务，实验表明 Ｔｒ
ａｎｓＥ 但是，知识表示学习仍然面临很多挑战 ．这里我们以
的性能较以往模型 有 显 著 提 升 ．特 别 是 在 大 规 模 稀 ａｎｓＥ 为代表模型，总 结 认 为 Ｔｒ
Ｔｒ ａｎｓＥ 面 临 的 ３ 个
疏知识图谱上，
ＴｒａｎｓＥ 的性能尤其惊人 ． 主要挑战，目前已有相关工作提出一些解决方案，具
由于 Ｔｒ
ａｎｓＥ 简单有 效，自 提 出 以 来，有 大 量 研 体介绍如下 ．
ａｎｓＥ 进行扩展和应用 ．可以说，
究工作对 Ｔｒ ＴｒａｎｓＥ １　 复杂关系建模
３．
已经成为知识表示学习的代表模型 ．在第 ３ 节，我们 ａｎｓＥ 由于模型简单，在大规模知识图谱上 效
Ｔｒ
ａｎｓＥ 为 例，介 绍 知 识 表 示 学 习 的 主 要 挑 战
将以 Ｔｒ ａｎｓＥ 在 处 理
果明显 ．但是也由于 过 于 简 单，导 致 Ｔｒ
与解决方案 ． 知识库的复杂关系时捉襟见肘 ．
８　 其他模型
２． 这里 的 复 杂 关 系 定 义 如 下 ．按 照 知 识 库 中 关 系
ａｎｓＥ 提出 之 后，大 部 分 知 识 表 示 学 习 模
在 Ｔｒ 两端连接 实 体 的 数 目，可 以 将 关 系 划 分 为 １－１，
１－
ａｎｓＥ 为基础的扩展 ．在 Ｔｒ
型是以 Ｔｒ ａｎｓＥ 扩展模型 Ｎ－１ 和 Ｎ－Ｎ 四种类型 ４１ ．例 如 Ｎ－１ 类 型 关 系 指
［ ］
Ｎ，
以外，这 里 主 要 介 绍 全 息 表 示 模 型 （
ｈｏｏｇ
ｌ ｒ
ａｐｈ
ｉｃ 的是，该类型关系中 的 一 个 尾 实 体 会 平 均 对 应 多 个
ｅｍｂｅｄｄ
ｉｎｇｓ，Ｈｏ
ｌｅ） ．
［
４６］
头实体，即 ｉ∈ ｛
０，１，…，
ｍ｝，（
ｈｉ，
ｒ，ｔ）∈Ｓ．我 们 将
Ｈｏ
ｌｅ提出使用头、尾实体向量的“循环相关”操 Ｎ－１ 和 Ｎ－Ｎ 称为复杂关系 ．
１－Ｎ ，
刘知远等：知识表示学习研究进展 ２５３

研究 发 现，各 种 知 识 获 取 算 法 在 处 理 ４ 种 类 型 于一个 三 元 组 （
ｈ，ｒ，
ｔ），
ＴｒａｎｓＨ 首 先 将 头 实 体 向 量
关系时的性能差异较大 ．以 Ｔｒ
ａｎｓＥ 为例，在处理 ｌｈ 和尾实体向量ｌｔ 沿 法 线 ｗｒ 投 影 到 关 系ｒ 对 应 的
［
４１］

复杂 关 系 时 性 能 显 著 降 低，这 与 Ｔｒ ａｎｓＥ 模 型 假 设 超平面上，用ｌｈｒ 和ｌｔｒ 表示如下：

有密 切 关 系 ．根 据 ＴｒａｎｓＥ 的 优 化 目 标，面 向 １－Ｎ ， ｌｈｒ ＝ｌｈ －ｗｒＴｌｈｗｒ，
Ｎ－１ 和 Ｎ－Ｎ 三 种 类 型 关 系，我 们 可 以 推 出 以 下 结 ｌｔｒ ＝ｌｔ－ｗｒＴｌｔｗｒ，
论：如果关 系 ｒ 是 Ｎ－１ 关 系，我 们 将 会 得 到ｌｈ０ ≈ｌｈ１ 因此 Ｔｒ
ａｎｓＨ 定义了如下损失函数：
≈ … ≈ｌｈｍ ．同 样，这 样 的 问 题 在 关 系 ｒ 是 Ｎ－１ 关 系 ｆｒ（
ｈ，ｔ）＝ ｌｈｒ ＋ｌｒ－ｌｔｒ Ｌ１?Ｌ２ ．
时也会发生，得到ｌｔ０ ≈ｌｔ１ ≈ … ≈ｌｔｍ ． 需要注意的是，由 于 关 系 ｒ 可 能 存 在 无 限 个 超
例如，假 如 知 识 库 中 有 ２ 个 三 元 组，分 别 是 （美 平面，
ＴｒａｎｓＨ 简单地令ｌｒ 与ｗｒ 近 似 正 交 来 选 取 某
国，总统，奥巴马）和（美国，总统，布什）．这里的关系 一个超平面 ．
ａｎｓＲ 模型 ４８
［ ］
“总统”是 典 型 的 １－Ｎ 的 复 杂 关 系 ．如 果 用 Ｔｒ
ａｎｓＥ ３．
１． ａｎｓＲ?ＣＴｒ
２　Ｔｒ
从这 ２ 个三元组学习知识表示，如图 ３ 所示，将会使 虽然 ＴｒａｎｓＨ 模型使每个实体在不同关系下 拥
奥巴马和布什的向量变得相同 ． 有了不同的表示，它 仍 然 假 设 实 体 和 关 系 处 于 相 同
的语义空间 Ｒｄ 中，这 一 定 程 度 上 限 制 了 Ｔｒ
ａｎｓＨ 的
表示能力 ．
ＴｒａｎｓＲ 模 型 则 认 为，一 个 实 体 是 多 种 属
性 的 综 合 体，不 同 关 系 关 注 实 体 的 不 同 属 性 ．
ａｎｓＲ 认为不同的关系拥有不同的语义空间 ．对每
Ｔｒ
个三元组，首先应将实体投影到对应的关系空间中，
然后再建立从头实体到尾实体的翻译关系 ．
ａｎｓＲ 模 型 的 简 单 示 例 ．对 于
如图 ５ 所 示 是 Ｔｒ
Ｆ
ｉｇ．３　Ｔｈｅ
　ｅｘａｍｐ
ｌｅ　
ｏｆｃ
　ｏｍｐ
ｌｅｘ　
ｒｅｌ
ａｔｉ
ｏｎｓ．
图 ３　 复杂关系示例 每个三元组（ ｈ， ｔ），我 们 首 先 将 实 体 向 量 向 关 系 ｒ
ｒ，
空间投影 ．原来在实 体 空 间 中 与 头、尾 实 体 （用 圆 圈
这显然不符合事实：奥巴马和布什除了作为美国
表示）相似的实体（用三角形表示），在关系ｒ 空间中
总统这个身份上比 较 相 似 外，其 他 很 多 方 面 都 不 尽
被区分开了 ．
相同 ．因此，由于这些复杂关系的存在，导致 Ｔｒ
ａｎｓＥ
学习得到的实体表示区分性较低 ．
那么应当如何实现表示学习对复杂关系的建模
呢？最近有大量关于 Ｔ
ｒ ｓＥ 的扩展模型尝试解决这
ａｎ
一挑战问题 ．这里我们简要介绍其中 ７ 个代表模型 ．
ａｎｓＨ 模型 ４７
［ ］
３．
１．１　Ｔｒ
为了 解 决 Ｔｒ
ａｎｓＥ 模 型 在 处 理 １－Ｎ ，
Ｎ－１，
Ｎ－Ｎ
复杂关系 时 的 局 限 性，
ＴｒａｎｓＨ 模 型 提 出 让 一 个 实
Ｆ
ｉｇ．５　Ｔｒ
ａｎｓＲ　
ｍｏｄｅ
ｌ．
体在不同的关系下拥有不同的表示 ．
图 ５　Ｔｒ
ａｎｓＲ 模型
如图 ４ 所示，对 于 关 系 ｒ，
ＴｒａｎｓＨ 模 型 同 时 使
具体而言，对 于 每 一 个 关 系 ｒ，Ｔｒ
ａｎｓＲ 定 义 投
用平移向量ｌｒ 和 超 平 面 的 法 向 量 ｗｒ 来 表 示 它 ．对
影矩阵 Ｍｒ∈Ｒｄ×ｋ ，将实体向量从实体空间投影 到 关
系ｒ 的子空间，用ｌｈｒ 和ｌｔｒ 表示如下：
ｌｈｒ ＝ｌｈＭｒ，
ｌｔｒ ＝ｌｔＭｒ，
然后使ｌｈｒ ＋ｌｒ ≈ｌｔｒ ．因 此， ＴｒａｎｓＲ 定 义 了 如 下 损 失
函数：
ｆｒ（
ｈ，ｔ）＝ ｌｈｒ ＋ｌｒ－ｌｔｒ Ｌ１?Ｌ２ ．
相关研 究 还 发 现，某 些 关 系 还 可 以 进 行 更 细
Ｆ
ｉｇ．４　Ｔｒ
ａｎｓＨ　
ｍｏｄｅ
ｌ． 致的 划 分 ．例 如 Ｆｒ
ｅｅｂａ
ｓｅ中的 “
?ｌｏｃ
ａｔｉ
ｏｎｌ
?ｏｃ
ａｔｉ
ｏｎ?
图 ４　Ｔｒ
ａｎｓＨ 模型 ｃｏｎ
ｔａｎｓ”关系，可能是一个国家包含一个城市，可能
ｉ
 ２５４ 计算机研究与发展 　２０１６，５３（
２）

是一个国家包含一 所 大 学，也 可 能 是 一 个 州 包 含 一 ３．
１．４　Ｔｒ
ａｎＳｐａ
ｒｓｅ模型 ５０
［ ］

个城市等 ．如果将该关系做更细致的划分，就可以更 知识库中实体和关系的异质性和不平衡性是制

精确地建立投影关系 ． 约知识表示学习的难题：
因此，Ｌ
ｉｎ 等 人 进 一 步 提 出 了 ＣＴｒａｎｓＲ 模 型， １）异质性 ．知识库中某些关系可能会与大量的
通过把关系ｒ 对应的实体对的向量差值ｌｈ －ｌｔ 进 行 实体有连接，而某些 关 系 则 可 能 仅 仅 与 少 量 实 体 有
聚类，将关系ｒ 细分为多个子关系ｒｃ． ＣＴｒａｎｓＲ 模型 连接 ．
为每一个子关系ｒｃ 分别学习向量表 示，对 于 每 个 三 ２）不 均 衡 性 ．在 某 些 关 系 中，头 实 体 和 尾 实 体
元组（
ｈ， ｔ），定义了如下损失函数：
ｒ， 的种类和数量可能差别巨大 ．例如，“国籍”这个关系
ｆｒ（
ｈ，ｔ）＝ ｌｈｒ ＋ｌｒｃ －ｌｔｒ Ｌ１?Ｌ２ ． 的头实体是成千上 万 不 同 的 人 物，而 尾 实 体 只 有 几
ａｎｓＤ 模型 ４９
［ ］
３．
１．３　Ｔｒ 百个国家 ．
虽然 ＴｒａｎｓＲ 模 型 较 Ｔｒ ａｎｓＥ 和 Ｔｒ ａｎｓＨ 有 显 为了解决实体和 关 系 的 异 质 性，
ＴｒａｎＳｐａ
ｒｓｅ提
著改进，它仍然有很多缺点：
出使用稀疏 矩 阵 代 替 Ｔｒ
ａｎｓＲ 模 型 中 的 稠 密 矩 阵，
１）在同一 个 关 系 ｒ 下，头、尾 实 体 共 享 相 同 的 其中矩阵 Ｍｒ 的稀疏度由 关 系ｒ 连 接 的 实 体 对 数 量
投影矩阵 ．然而，一 个 关 系 的 头、尾 实 体 的 类 型 或 属
决定 ．这里头、尾实体共享同一个投影矩阵 Ｍｒ．投影
性可能差异巨大 ．例 如，对 于 三 元 组 （美 国，总 统，奥
矩阵 Ｍｒ（
θｒ）的稀疏度θｒ 定义如下：
巴马），美国和奥巴马的类型完全不同，一个是国家，
θｒ＝１－ （ １－θｍｉｎ） Ｎｒ?Ｎｒ＊ ，
一个是人物 ．
０≤θｍｉｎ ≤１ 为 计 算 稀 疏 度 的 超 参 数，
其中， Ｎｒ 表 示
２）从实体空 间 到 关 系 空 间 的 投 影 是 实 体 和 关
关系ｒ 连接的实体 对 数 量， ｒ 表示连接实体对数量
＊

ａｎｓＲ 让 投 影 矩 阵 仅 与
系之间的交 互 过 程，因 此 Ｔｒ
最多的关系 ．这样，投影向量可定义为
关系有关是不合理的 ．
ｌｈｒ ＝ｌｈＭｒ（θｒ），
ａｎｓＥ 和 Ｔｒ
３）与 Ｔｒ ａｎｓＨ 相比， ａｎｓＲ 由于引
Ｔｒ
ｌｔｒ ＝ｌｔＭｒ θｒ）．
（
入了空间投影，使得 Ｔｒ ａｎｓＲ 模 型 参 数 急 剧 增 加，计
为了解决关系的 不 平 衡 性 问 题，
ＴｒａｎＳｐａ
ｒｓｅ对
算复杂度大大提高 ．
于头实体和 尾 实 体 分 别 使 用 ２ 个 不 同 的 投 影 矩 阵
为了 解 决 这 些 问 题，
Ｊ ａｎｓＤ 模
ｉ等 人 提 出 了 Ｔｒ
θｒ ）和 Ｍｒ（
θｒ）．两者的稀疏度定义如下：
ｈ ｈ ｔ ｔ
Ｍｒ （
型 ．如图 ６ 所示：
ｌ
１－θｍｉｎ）
θｒ＝１－ （ Ｎｌ ｌ
?Ｎｒ＊ ，
ｒ

其中， ｒ 表示关系ｒ 在位置ｌ 处 连 接 不 同 实 体 的 数

Ｎｌ
ｌ 可能是头实 体 或 尾 实 体），
量（ Ｎｌｒ＊ 表 示 Ｎｒ 中 最 大
ｌ

的数 ．这样，投影向量可定义为
ｈ ｈ
ｌｈｒ ＝ｌｈＭｒ （
θｒ ），
ｌｔｒ ＝ｌｔＭｔ
ｒ（
ｔ
θｒ）．
Ｔｒ
ａｎＳｐａ
ｒｓｅ对于以上 ２ 种 形 式，均 定 义 如 下 损
ｉ
Ｆｇ．６　Ｔｒ
ａｎｓＤ　
ｍｏｄｅ
ｌ．
失函数：
图 ６　Ｔｒ
ａｎｓＤ 模型 ｆｒ（ｈ，ｔ）＝ ｌｈｒ ＋ｌｒ－ｌｔｒ Ｌ１?Ｌ２ ．
ａｎｓＡ 模型 ５１
［ ］
给定三元组 （ ３．
１．５　Ｔｒ
ｈ，ｒ，
ｔ），
ＴｒａｎｓＤ 模 型 设 置 了 ２ 个
分别将头实体和尾实体投影到关系空间的投影矩阵 ａｏ 等人认为 Ｔｒ
Ｘｉ ａｎｓＥ 及其之后的扩展模 型均
１）损失函数只采用 Ｌ１ 或 Ｌ２ 距离，
存在２个重要问题：
Ｍｒｈ 和 Ｍｒｔ ，具体定义如下：
ｄ×ｋ
Ｍｒｈ ＝ｌｒｐｌｈｐ ＋Ｉ ， 灵活性不够；
２）损失函数过于简单，实体和关系向量
Ｍｒｔ ＝ｌｒｐｌｔｐ ＋Ｉｄ×ｋ ， 的每一维等同考虑 ．
这里ｌｈｐ ，
ｌｔｐ ∈Ｒｄ ，ｌｒｐ ∈Ｒｋ ，下标 ｐ 代表该向量为投影 为了解决 这 ２ 个 问 题，
Ｘｉａｏ 等 人 提 出 Ｔｒ
ａｎｓＡ
向量 ．显然， Ｍｒｈ 和 Ｍｒｔ 与实体和关系均相关 ．而且，利 模型，将损失函数中的距离度量改用马氏距离，并为
用 ２ 个投影向量 构 建 投 影 矩 阵，解 决 了 原 来 Ｔ
ｒａｎ
ｓＲ 每一维学习不同 的 权 重 ．对 于 每 个 三 元 组 （
ｈ，ｒ，
ｔ），
模型参数过 多 的 问 题 ．最 后，
ＴｒａｎｓＤ 模 型 定 义 了 如 ａｎｓＡ 模型定义了如下评分函数：
Ｔｒ
下损失函数： ｆｒ（
ｈ，ｔ）＝ （
ｌｈ ＋ｌｒ－ｌｔ）
Ｔ
Ｗｒ（
ｌｈ ＋ｌｒ－ｌｔ），
ｆｒ（
ｈ，ｔ）＝ ｌｈＭｒｈ ＋ｌｒ－ｌｔＭｒｔ　 Ｌ１?Ｌ２ ． 其中 Ｗｒ 为与关系ｒ 相关的非负权值矩阵 ．
刘知远等：知识表示学习研究进展 ２５５

如图 ７ 所示，（
ｈ１ ， ｔ１ ）和 （
ｒ１ ， ｈ２ ， ｔ２ ）两 个 合 法
ｒ２ ， Ｈｅ等人提出 ＫＧ２Ｅ，使 用 高 斯 分 布 来 表 示 实 体
此，
三元组， ｔ３ 是错误 的 尾 实 体 ．如 果 使 用 欧 氏 距 离，如 和关系 ．其中高斯分 布 的 均 值 表 示 的 是 实 体 或 关 系
ａ）所 示，错 误 的 实 体 ｔ３ 会 被 预 测 出 来 ．而 如
图 ７（ 在语义空间中的中 心 位 置，而 高 斯 分 布 的 协 方 差 则
ｂ）所示，
图 ７（ ＴｒａｎｓＡ 模 型 通 过 对 向 量 不 同 维 度 进 表示该实体或关系的不确定度 ．
行加权，正确的实体由于 在 ｘ 轴 或 者ｙ 轴 上 距 离 较 图 ９ 为 ＫＧ２Ｅ 模型示例，每个圆圈代表不同实体
近，从而能够被正确预测 ． 与关系的表示，它们分别与“比尔·克林顿”构成 三元
组，其中圆圈大小表示的是不同实体或关系的不确定
度，可以看到“国籍”的不确定度远远大于其他关系 ．

ｉ
　Ｆｇ．７　Ｃｏｍｐａ
ｒｉｓ
ｏｎ　
ｂｅｔｗｅ
ｅｎｔ
　ｒａｄ
ｉｔｉ
ｏｎａ
ｌ　ｍｏｄｅ
ｌｓａｎｄ
　
Ｔｒ
ａｎｓＡ．
ａｎｓＡ 模型比较
图 ７　 传统模型和 Ｔｒ

ａｎｓＧ 模型 ５２
［ ］
３．
１．６　Ｔｒ
ａｎｓＧ 模型提出使用高斯混合模型描述头、尾
Ｔｒ
ｉ
Ｆｇ．９　ＫＧ２Ｅ ｍｏｄｅ
ｌ．
实体之间的关系 ．该模型认为，一个关系会对应多种
图 ９　ＫＧ２Ｅ 模型
语义，每种语义用一个高斯分布来刻画，即：
Ｍ ＫＧ２Ｅ 使 用ｌｈ －ｌｔ 来 表 示 头、尾 实 体 之 间 的 关
ｌｔ －ｌｈ ｜ｌｒ ～ ∑πｒ，ｍＮ （
μｒ，ｍ ，
Ｉ）， 系 ．这里ｌｈ －ｌｔ 可以用一个概率分布来表示：
ｍ ＝１

其中Ｉ 表示单位矩阵 ． Ｐｅ～Ｎ（μｈ －μｔ，∑ｈ ＋∑ｔ），

ａｎｓＧ 模型与传统模型的对比如图 ８ 所示 ．其
Ｔｒ 而关系ｒ 同样是 一 个 高 斯 分 布 Ｐｒ ～Ｎ （
μｒ，∑ｒ ）．因
中三角形表示正确 的 尾 实 体，圆 形 表 示 错 误 的 尾 实 此，可以根据 ２ 个概率分布 Ｐｅ 和 Ｐｒ 的相 似 度 来 估

ａ）中 为 传 统 模 型 示 例，由 于 将 关 系 ｒ 的 所
体 ．图 ８（ ＫＧ２Ｅ 考 虑 ２ 种 计 算 概 率 相 似 度
计三元组的评分 ．
有语义混为一谈，导致错误的实体无法被区分开 ．而 的办法：ＫＬ 距离和期望概率 ．
如图 ８（
ｂ）所 示，
ＴｒａｎｓＧ 模 型 通 过 考 虑 关 系 ｒ 的 不 ＫＬ 距离是 一 种 不 对 称 相 似 度，其 得 分 函 数 定
同语义，形成多个高斯分布，就能够区分出正确和错 义如下：
误实体 ． Ｎ（ｘ；μｅ，∑ｅ）
ｆｒ（
ｈ，ｔ）＝ Ｎ（
ｘ；μｒ，∑ｒ）
∫ ｋ
ｘ∈Ｒｅ
ｌｏｇ （ ； ｄｘ＝
Ｎ ｘ μｒ，∑ｒ）
１ ｛ （ －１ ） （
ｔｒ ∑ｒ ∑ｅ ＋ μｅ－μｒ）
Ｔ
∑ｒ （
－１
μｅ－μｒ）－
２
ｄｅｔ（∑ｅ）
ｌ
ｏｇ ＋ｋｅ｝．
ｄｅｔ（∑ｒ）
期望 概 率 是 一 种 对 称 相 似 度，其 得 分 函 数 定 义
如下：

ｆｒ（
ｈ，ｔ）＝ Ｎ（
ｘ；μｒ，∑ｒ）
Ｎ（ｘ；
μｅ，∑ｅ）
ｉ
　Ｆｇ．８　Ｃｏｍｐａ
ｒｉｓ
ｏｎ　
ｂｅｔｗｅ
ｅｎｔ
　ｒａｄ
ｉｔｉ
ｏｎａ
ｌ　ｍｏｄｅ
ｌｓａｎｄ
　
∫ ｋ
ｘ∈Ｒｅ
ｄｘ＝

１ ｛（
ｅ － ｒ） （∑ｅ＋∑ｒ） （ μｅ－μｒ）＋
Ｔ －１
Ｔｒ
ａｎｓＧ．
２ μ μ
图 ８　 传统模型和 Ｔｒ
ａｎｓＧ 模型比较
ｏｇ（
ｌ ｄｅｔ（∑ｅ＋∑ｒ））＋ｋｅｌ
ｏｇ　２π｝．
３．
１．７　ＫＧ２Ｅ 模型 ５３
［ ］
需要注意的是，为了防止过拟合，
ＫＧ２Ｅ 使用了
Ｈｅ 等 人 认 为，知 识 库 中 的 关 系 和 实 体 的 语 义 对参数进行了强制限制：
本身具有不 确 定 性，这 在 过 去 模 型 中 被 忽 略 了 ．因 ｌ∈Ｅ∪Ｒ，
ｃｍｉｎＩ≤∑ｌ≤ｃｍａｘＩ，
ｃｍｉｎ＞０．
２５６ 计算机研究与发展 　２０１６，５３（
２）

３．
１．８　 小结 有一些研究工作，但总体来讲还处于起步状态，这里
可以看到，在 Ｔｒ
ａｎｓＥ 之 后，在 如 何 处 理 复 杂 关 简单介绍其中 ２ 个代表性工作 ．
系建 模 的 挑 战 问 题 上，提 出 了 ＴｒａｎｓＨ，ＴｒａｎｓＲ， ３．
２．１　ＤＫＲＬ 模型
ａｎｓＤ，
Ｔｒ ＴｒａｎＳｐａｒ
ｓｅ，Ｔｒ
ａｎｓＡ，ＴｒａｎｓＧ 和 ＫＧ２Ｅ 等 考虑实体描述的知识表示学习模型（
ｄｅｃ
ｓｒｉ
ｐｔｉ
ｏｎ－
［ ］
多种模型，从不同角度尝试解决复杂关系建模问题， ｅｍｂｏ
ｄｉｅ
ｄ　ｋｎｏｗｌ
ｅｄｅ
ｇ　ｒ
ｅｐｒ
ｅｓｅ
ｎｔａ
ｔｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ，ＤＫＲＬ）５４
可谓百花齐放 ．在相关数据集合上的实验表明，这些 提出在知识 表 示 学 习 中 考 虑 Ｆｒ ｅｅｂａｓｅ等 知 识 库 中
ａｎｓＥ 有 显 著 的 性 能 提 升，验 证 了 这 些
方法 均 较 Ｔｒ 提供的实体描述文本信息 ．在文本表示 方 面，
ＤＫＲＬ
方法的有效性 ． 考虑了 ２ 种模型：一种是 ＣＢＯＷ［８，４４］，将文本中的词
２　 多源信息融合
３． 向量简单相加作为 文 本 表 示；一 种 是 卷 积 神 经 网 络
ｋ，ＣＮＮ）５５－５６ ，能 够 考
［ ］
知识 表 示 学 习 面 临 的 另 外 一 个 重 要 挑 战，是 如 （
ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌｎ
　ｅｔｗｏ
ｒ
何实现多源信息融 合 ．现 有 的 知 识 表 示 学 习 模 型 如 虑文本中的词序信息 ．

ａｎｓＥ 等，仅利用知识图谱的三元组结构信息进行
Ｔｒ 如图 １０ 和图 １１ 所 示，
ＤＫＲＬ 可 以 利 用 ＣＢＯＷ
表示学习，尚有大量 与 知 识 有 关 的 其 他 信 息 没 有 得 和 ＣＮＮ 根据实 体 描 述 文 本 得 到 实 体 表 示，然 后 将
到有效利用，例如： ａｎｓＥ 的目标函数学习 ．
该实体表示用于 Ｔｒ

１）知识库中的其他信息，如实体和关系的描述
信息、类别信息等 ．
２）知识库外的海量信息，如互联网文本蕴含了
大量与知识库实体和关系有关的信息 ．
这些海量的多源异质信息可以帮助改善数据稀
疏问题，提高知识表示的区分能力 ．如何充分融合这
些多源异质信息，实现知识表示学习，具有重要意义 ． Ｆ
ｉｇ．１０　ＤＫＲＬ （
ＣＢＯＷ）ｍｏｄｅ
ｌ．
图 １０　ＤＫＲＬ（
ＣＢＯＷ）模型
在融 合 上 述 信 息 进 行 知 识 表 示 学 习 方 面，已 经

Ｆ
ｉｇ．１１　ＤＫＲＬ （
ＣＮＮ）ｍｏｄｅ
ｌ．
图 １１　ＤＫＲＬ（
ＣＮＮ）模型

　　ＤＫＲＬ 的优势在 于，除 了 能 够 提 升 实 体 表 示 的 可能接近，从而实现文本与知识库融合的表示学习 ．

区分能力外，还能实现对新实体的表示 ．当新出现一 ｎｇ等人还将类似的想法用于融合实体描述信息 ５７ ．
Ｗａ
［ ］

ＤＫＲＬ 可 以 根 据 它 的
个未曾在知识库中 的 实 体 时， ３．
２．３　 小结
简短描述产生它的 实 体 表 示，用 于 知 识 图 谱 补 全 等 已有 工 作 表 明，多 源 信 息 融 合 能 够 有 效 提 升 知
任务 ．这对于不断扩充知识图谱具有重要意义 ． 识表示的性能，特别 是 可 以 有 效 处 理 新 实 体 的 表 示
２　 文本与知识库融合的知识表示学习 问题 ．但是，也可以 看 出，多 源 信 息 融 合 的 知 识 表 示
［
４７］
３．
２．
Ｗａｎｇ等人提出在表示学习中考虑文本数据，利 学习仍处于非常起步的阶段，相关工作较少，考虑的
用 ｗｏ
ｒｄ２ｖ
ｅｃ 学 习 维 基 百 科 正 文 中 的 词 表 示，利 用 信息源非常有限，有大量的信息（如实体类别等）未被
Ｔ
ｒ ｓＥ 学习知识库中的知识表示 ．同时，利用维基百
ａｎ 考虑，具有广阔的研究前景 ．
科正文中的链接信息（锚文本与实体的对应关系），让 ３　 关系路径建模
３．
文本中实体对应的词表示与知识库中的实体表示尽 在知 识 图 谱 中，多 步 的 关 系 路 径 也 能 够 反 映 实
刘知远等：知识表示学习研究进展 ２５７

体之间的语义关系 ．
Ｌａｏ 等人曾提出 Ｐａ
ｔｈ－Ｃｏｎ
ｓｔｒ
ａｉｎ
ｔ 的 ．为 此， ａｎｓＥ 提 出 Ｐａ
ＰＴｒ ｔｈ－Ｃｏｎｓ
ｔｒａ
ｉｎｔ　
Ｒｅｓｏｕｒ
ｃｅ
ｈｍ 等算法， ｏｎ 图算法度量关系路径的可靠性 ．
［
５８］ ［
５９］
Ｒａｎｄｏｍ　，
Ｐａ
Ｗａｌ
ｋｔｈ　
Ｒａｎｋｉｎｇ　
Ａｌｇｏｒ
ｉｔ Ａｌ
ｌｏｃ
ａｔｉ
利用两实体间的关 系 路 径 信 息 预 测 它 们 的 关 系，取 ２）ＰＴｒａｎｓＥ 需要建立关系路径的向量表示，参
得显著效果，说明关系路径蕴含着丰富的信息 ． 与从头实体到尾实 体 的 翻 译 过 程 ．这 是 典 型 的 组 合
ａｎｓＥ 等模型 孤立学习每个三元 组
为了突破 Ｔｒ 语义问题，需要对路 径 上 所 有 关 系 的 向 量 进 行 语 义
的局限性，
Ｌｉｎ等人提出考虑关系路径的表示学习 组合产生路径向 量 ． ａｎｓＥ 尝 试 了 ３ 种 代 表 性 的
ＰＴｒ
ａｎｓＥ 作 为 扩 展 基 础，提 出 Ｐａ
方 法，以 Ｔｒ ｔｈ－ｂａ
ｓｅｄ 语义组合操作，分别是相加、按位相乘和循环神经网
ａｎｓＥ（
Ｔｒ ＰＴｒａｎｓＥ）模型 ． 络 ．相关数据实验表明，相加的组合操作效果最好 ．
图 １２ 展示的是 ＰＴｒ
ａｎｓＥ 考虑 ２ 步 关 系 路 径 的 几乎 同 时，也 有 其 他 研 究 团 队 在 知 识 表 示 学 习
示例 ． ａｎｓＥ 模型面临的挑战在于：
ＰＴｒ 中成功考虑了关系路径的建模 ［６０］．关 系 路 径 的 表 示
１）并不是所 有 的 实 体 间 的 关 系 路 径 都 是 可 靠 学习也被用来进行基于知识库的自动问答 ［６１］．

Ｆ
ｉｇ．１２　ＰＴｒ
ａｎｓＥ　
ｍｏｄｅ
ｌ．
图 １２　ＰＴｒ
ａｎｓＥ 模型

ａｎｓＥ 等研究 的 实 验 表 明，考 虑 关 系 路 径 能

　　ＰＴｒ
够极大提升知识表 示 学 习 的 区 分 性，提 高 在 知 识 图
谱补全等任务上的 性 能 ．关 系 路 径 建 模 工 作 还 比 较
初步，在关系路径的可靠性计算、关系路径的语义组
合操作等方面，还有很多细致的考察工作需要完成 ．
４　 知识表示学习未来研究方向展望
近年 来 知 识 表 示 学 习 已 经 崭 露 头 角，在 很 多 任
ａｎｓＥ 等 模 型
务中 展 现 了 巨 大 的 应 用 潜 力 ．对 于 Ｔｒ
面临的挑战，也已 经 提 出 了 很 多 改 进 方 案 ．然 而，知
识表示学习距离真 正 实 用 还 很 远，本 节 将 对 知 识 表
示学习的未来方向进行展望 ．
１　 面向不同知识类型的知识表示学习
４．
如 ３．
１ 节 所 述，已 有 工 作 将 知 识 库 的 关 系 划 分
为 １－１， Ｎ－１ 和 Ｎ－Ｎ 四 类，并 面 向 复 杂 关 系 建
１－Ｎ ，
模开展了大量研究工作 ．研究表明，面向不同类型的
关系，需要设计专门的知识表示模型 ．
然而，
１－１， Ｎ－１ 和 Ｎ－Ｎ 的 关 系 类 型 划 分
１－Ｎ ，
略显粗糙，无法直观地解释知识的本质类型特点 ．我
们需要面向知识表 示 任 务，有 针 对 性 地 设 计 知 识 类
型划分标准 ．
近期发表在 Ｓｃ
ｉ ｅ等 权 威 期 刊 的 认 知 科 学 研
ｅｎｃ
究成果 ［６２－６３］总结认为，人类知识包括以下 ４ 种结构：
１）树状关系，表示实体间的层次分类关系（如生物界
的分类系统等）；２）二 维 网 格 关 系，表 示 现 实 世 界 的
空间信息（如地理位置信息等）；
３）单维顺序关系，表
示实体间的偏序关 系 （如 政 治 家 的 左 右 倾 谱 系 分 布
等）；
４）有向网络关系，表示实体间的关联或因果关系
（如疾病之间的传染关系等）．
认知 科 学 关 于 人 类 知 识 类 型 的 总 结，与 许 多 知
识库的组织形式有一定契合之处，但不完全相同 ．例
如 Ｆｒ
ｅｅｂａ
ｓｅ等大部分知识库采用有 向 网 络 结 构（即
三元组形 式 ）组 织 人 类 知 识 ［２］；Ｗｏ ｔ则 首 先 将
ｒｄＮｅ
同义词聚集成 同 义 词 集 合 （
Ｓｙｎｓ
ｅｔ），然 后 再 以 同 义
词集合为单位用有向网络结构表示集合之间的关系
（如上下位 关 系、整 体 －部 分 关 系 等）［１］．在 大 部 分 知
识库中，树状关系等类型的知识均用有向网络表示，
这并不利于在知识表示中充分利用不同类型知识的
结构特点 ．
认知 科 学 对 人 类 知 识 类 型 的 总 结，有 助 于 对 知
识图谱中知识类型 的 划 分 和 处 理 ．未 来 有 必 要 结 合
 ２５８ 计算机研究与发展 　２０１６，５３（
２）

人工智能和认知科 学 的 最 新 研 究 成 果，有 针 对 性 地 信性，实现知识融合，建成统一的大规模知识库及其

设计知识类型划分 标 准，开 展 面 向 不 同 复 杂 关 系 类 融合表示 ．
型的知识表示学习研究 ． ３　 考虑复杂推理模式的知识表示学习
４．
２　 多源信息融合的知识表示学习
４． 考虑 关 系 路 径 的 知 识 表 示 学 习，实 际 上 是 充 分
在多 元 融 合 的 知 识 表 示 学 习 方 面，相 关 工 作 还 利用了两 实 体 间 的 关 系 和 关 系 路 径 之 间 的 推 理 模
比较有限，主要是考 虑 实 体 描 述 的 知 识 表 示 学 习 模 式，来为表 示 学 习 模 型 提 供 更 精 确 的 约 束 信 息 ．例
型，以及文本与知识库融合的知识表示学习，这些模 如，根据三元组（康熙，父亲，雍正）和（雍正，父亲，乾
型无论是信息来源，还是融合手段都非常有限 ． 隆）构成的“康熙”和“乾 隆”之 间“父 亲 ＋ 父 亲”的 关
我们认为在多源信息融合的知识表示学习方 系路径，再结合三元组（康熙，祖父，乾 隆）， ａｎｓＥ
ＰＴｒ
面，有以下 ３ 个方面的工作需要开展： 实际上 额 外 提 供 了 “父 亲 ＋ 父 亲 ＝ 祖 父”的 推 理 模
１）融合知识库中实体和关系的其他信息 ．知识 式，从而提升知识表示的精确性 ．
库中拥有关于实体和关系的丰富信息，如描述文本、 实际 上，关 系 路 径 只 是 复 杂 推 理 模 式 中 的 一 种
层次类型等 ．有机融合这些信息，将显著提升知识表 特殊形式，它要求头实体和尾实体必须保持不变 ．但
示学习的表示能力 ． 实际上，知识库中还有其他形式的推理模式，例如三
２）融合互联网文本信息 ．互联网海量文本数据 元组（美国，总统，奥巴马）和（奥巴马，是，美国人）之
是知识库的重要知识来源．人们提出远程监督（ｄ
ｉｓｔ
ａｎｔ 间就存在着推理关系，但是两者的头、尾实体并不完
ｓｕｐｅｒｖ
ｉｓｉ
［
６４－６８］
ｏｎ） 、开放 信 息 抽 取 （
ｏｐｅｎｉ
　ｎｆｏｒｍａｔ
ｉ ｏｎ 全一致 ．如果能将这 些 复 杂 推 理 模 式 考 虑 到 知 识 表
ｅｘｔｒ
ａｃｔｉ
ｏｎ ）［
６９－７３］
等技术， 从开放文本 中 抽 取 知 识 ．这 示学习中，将能更进一步提升知识表示的性能 ．
个过程也自然而然地建立起了知识库和文本之间的 在该 问 题 中，如 何 总 结 和 表 示 这 些 复 杂 推 理 模
联系，如何充分利用这些联系融合互联 网文本信息， 式 是 关 键 难 题 ．目 前 来 看，一 阶 逻 辑 （
ｆｉｓ
ｒｔ－ｏ
ｒｄｅ
ｒ
意义重大 ．值得一提的是，目前大部分工 作 主 要 关 注 ｌ
ｏｇｃ，ＦＯＬ）是对复杂推理模式的较佳表示方案，未
ｉ
面向实体表示的融合 ．实际上，若干研究工作已经利 来我们需要探索一阶逻辑的分布式表示及其融合到
ＣＮＮ）建 立 起 了 关 系 表 示 ７４－７６ ，这
用卷积神经网络（ ［ ］
知识表示学习中的技术方案 ．
为面向关系表示的 信 息 融 合 提 供 了 技 术 基 础，最 终 ４　 其他研究方向
４．
实现融合文本信息和知识库的知识表示 ． 除了 以 上 ３ 个 主 要 研 究 方 向，还 有 很 多 关 于 知
３）融合多知识库信息 ．人们利用不同的信息源 识表示学习的研究工作亟待开展，简单总结如下：
构建了不同的知识 库 ．如 何 对 多 知 识 库 信 息 进 行 融 １）面向大规模知识库的在线学习和快速学习 ．
合表示，对于建立统一的大规模知识库意义重大 ．融 大规模知识库稀疏性很强 ．初步实验表明，已有表示
合多源知识库信息，主要涉及实体融合、关系融合与 学习模型在大规模 知 识 库 上 效 果 堪 忧，特 别 是 对 低
事实融合 ． 频实体和关系的表 示 效 果 较 差，而 且 知 识 库 规 模 不
首先，由于存在大量别名现象，需对多信息源进 断扩大，我们需要设计高效的在线学习方案 ．除了充
行实体对齐和关系对齐 ．这在分布式表示中，是典型 分融合多源信息降 低 稀 疏 性 之 外，我 们 还 可 以 探 索
的 多 表 示 空 间 投 影 问 题，可 以 采 用 学 习 匹 配 如 何 优 化 表 示 学 习 的 样 例 顺 序，借 鉴 Ｃｕｒ
ｒｉｃｕ
ｌｕｍ
ｈ） 等 思 想，利 用 ＰＳ ｎｇ 等算法 思 想，优 先 学 习 核 心 知 识，然 后
［
７７］ ［
８１］
（
ｌｅｒ
ａｎｉ
ｎｇ　ｔｏ　ｍａ
ｔｃ Ｉ（ ｌ
ｐｏｙｎｏｍｉ
ａｌ Ｌｅ
ａｒｎｉ
ｓ
ｅｍａｎｔｉｃ
　ｉｎｄｅｘｉ
［
７８］
ｎｇ） ，ＳＳＩ（ｓｕｐｅｒ
ｖｉｓ
ｅｄ　ｓｅｍａｎｔ
ｉｃ 学习外围知识，也许能够一定程度改善表示效果 ．
ｎｇ）７９ 等技 术，建 立 多 源 表 示 空 间 投 影 关 系， ２）基于知识分布式表示的应用 ．知识表示 学 习
［ ］
ｉ
ｎｄｅｘ
ｉ
实现实体对齐与关系对齐 ．此外，还可以充分利用多 还处于起步阶段，在知识获取、融合和推理等方向均
表 示 空 间 之 间 的 一 致 性，实 现 多 空 间 协 同 映 射 有广阔的应用空间 ．我 们 需 要 在 若 干 重 要 任 务 上 探
（
ｃｏｌ
ｌｅｃ
ｔｉｖｅ
　ｆｕｓ
ｉｏｎ）． 索和验证知识表示学习的有效性 ．例如，关系抽取任
然后，在实体对齐和关系对齐的基础上，可对多 务如果能 够 基 于 知 识 表 示 学 习 有 效 利 用 知 识 库 信
信息源获取的知识 进 行 融 合 ．由 于 大 量 知 识 来 自 海 息，将能够极大提 升 抽 取 性 能 和 覆 盖 面 ．再 如，我 们
量互联网文本，无法确保获取知识的真实性，存在大 可以充分利用表示 学 习 在 信 息 融 合 上 的 优 势，实 现
量互相矛盾的知识 ．可以综合考虑信息源可信性、多 跨领域和跨语言的知识融合 ．此外，人脑强大的学习
信息源一致性 等 要 素，利 用 Ｔｒｕｓ
ｔＲａｎｋ
［
８０］
等可信性 与推理能力 ［８２］，说明在低维语义空 间 中 进 行 知 识 的
度量技术，检测实体 间 知 识 的 矛 盾 并 分 别 度 量 其 可 学习与推理极具潜力，相关机理值得深入探索 ．
刘知远等：知识表示学习研究进展 ２５９

［
９］ Ｚｈａｏ　
Ｙ，Ｌ
ｉ Ｚ，Ｓｕｎ　
ｕ　 Ｍ．Ｐｈｒ
ａｓｅ
　ｔｙｐｅ
　ｓｅｎｓ
ｉｔｉ
ｖｅｔ
　ｅｎｓ
ｏｒｉ
　ｎｄｅｘ
ｉｎｇ
ｏｎ ［
Ｃ］?
５　 结束语 ｍｏｄｅ
ｌ　ｆ
ｏｒｓ
　ｅｍａｎ
ｔｉｃ
　ｃｏｍｐｏ
ｓｉｔ
ｉ ?Ｐｒ
ｏｃ　
ｏｆ　
ＡＡＡＩ．Ｍｅｎ
ｌｏ
ｒｋ，ＣＡ：ＡＡＡＩ，２０１５：２１９５－２２０２
Ｐａ
［
１０］ Ｚｈａｏ　Ｙ， Ｌ
ｉｕ　Ｚ， Ｓｕｎ　Ｍ． Ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎ ｅ
　ｌａｒ
ｎｉｎｇ
　ｆｏ
ｒ
通过以上对知识表示学习相关代表方法的梳 ｍｅ
ａｓｕｒ
ｉｎｇ　
ｅｎｔ
ｉｔｙ
　ｒｅ
ｌａｔ
ｅｄｎｅ
ｓｓ　
ｗｉｔ
ｈ　ｒ
ｉｃｈ
　ｉｎ
ｆｏｒｍａ
ｔｉｏｎ ［
Ｃ］?
?Ｐｒ
ｏｃ
理，我们认为知识表示学习具有重要意义：现有知识 ｏ
ｆ　Ｉ
ＪＣＡＩ．Ｓａｎ　Ｆｒ
ａｎｃ
ｉｓｏ，ＣＡ： Ｍｏ
ｃ ｒ ｆｍａｎｎ，２０１５：
ｇａｎ　Ｋａｕ
库的构建与应用主 要 依 赖 于 离 散 符 号 表 示，而 分 布 １４１２－１４１８
［
１１］ Ｈｕ　
Ｂ，Ｌｕ　Ｚ，Ｌ
ｉ　Ｈ，ｅ
ｔ　ａ
ｌ．Ｃｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌ　ｎｅ
ｔｗｏ
ｒｋ
式表示方案则为实体与关系的语义信息的统一精确
ａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅｓｆ
　ｏｒ　
ｍａｔ
ｃｈｉ
ｎｇ　
ｎａｔ
ｕｒａ
ｌ　ｌ
ａｎｇｕａｇｅ
　ｓｅｎ
ｔｅｎｃ
ｅｓ［
Ｃ］?
?
表示提供了可行方案 ．在分布式表示学习的支持下，
Ｐｒ
ｏｃ　ｏ
ｆ　ＮＩＰＳ．Ｓａｎ　Ｆｒ
ａｎｃ
ｉｓｏ， ＣＡ： Ｍｏ
ｃ ｒ ｆｍａｎｎ，
ｇａｎ　Ｋａｕ
将极大推动知识的自动获取、融合与推理能力，实现 ２０１４：２０４２－２０５０
知识库更加广泛而深入的应用 ． ［
１２］ Ｌｅ　
Ｑ　Ｖ，Ｍｉ
ｋｏｌ
ｏｖ　
Ｔ．Ｄｉ
ｓｔｒ
ｉｂｕ
ｔｅｄ
　ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓ　
ｏｆｓ
　ｅｎ
ｔｅｎｃ
ｅｓ

本文 还 对 知 识 表 示 学 习 面 临 的 主 要 挑 战、已 有 ａｎｄ　ｄｏ
ｃｕｍｅｎ
ｔｓ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ ｒｋ： ＡＣＭ，
　ＩＣＭＬ． Ｎｅｗ　Ｙｏ
２０１４：８７３－８８２
解决方案以及未来 研 究 方 向 进 行 了 总 结 ．我 们 认 为
１３］ Ｂ
［ ｌ ｏｍ　Ｐ， Ｇｒ
ｕｎｓ ｅｆｅｎｓ
ｔｅｔ
ｔｅ　Ｅ， Ｋａ
ｌｃｈｂｒ ｒ　Ｎ，ｅ
ｅｎｎｅ ｔ　ａ
ｌ． Ａ
知识表示学习虽然 展 现 出 巨 大 的 潜 力，但 距 离 广 泛
ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌｎｅ
　 ｔｗｏ
ｒｋｆ
　ｏｒ　
ｍｏｄｅ
ｌｌ
ｉｎｇ　
ｓｅｎ
ｔｅｎｃ
ｅｓ［
Ｃ］?
?
应用还有很长的路要走 ．可以说，大规模知识表示学 Ｐｒ
ｏｃ　ｏ
ｆ　ｔ
ｈｅ　５２ｎｄ　Ａｎｎｕａ
ｌ　Ｍｅ
ｅｔｉ
ｎｇ　ｏ
ｆ　ｔ
ｈｅ　Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ
　ｆｏ
ｒ
习是人工智能学科 发 展 的 学 术 前 沿 问 题，是 智 能 信 Ｃｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　Ｌ
ｉｎｇｕ
ｉｓｔ
ｉｃｓ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１４．
ｏｕｄｓｂｕｒ

息处理和服务发展 的 基 础 技 术 保 障 ．知 识 表 示 学 习 ａ ｖ：１４０２．
ｒＸｉ ２１８８
［
１４］ Ｐｅ
ｒｏｚ
ｚｉＢ，Ａｌ－Ｒｆ
　 Ｒ，Ｓｋ
ｏｕ　 ｉｅｎａ　
Ｓ．Ｄｅ
ｅｐｗａ
ｌｋ：Ｏｎ
ｌｉｎｅ
　ｌｅ
ａｒｎ
ｉｎｇ
技术将推动人工智 能 学 科、智 能 信 息 服 务 产 业 以 及
ｏ
ｆ　ｓ
ｏｃｉ
ａｌ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ ｒｋ：
ｆ　ＫＤＤ．Ｎｅｗ　Ｙｏ
创新社会管理与社会服务的发展 ．
ＡＣＭ，２０１４：７０１－７１０
期待更多研究者加入到知识表示学习的研究行 １５］ Ｔａｎｇ　Ｊ， Ｑｕ　Ｍ， Ｗａｎｇ　Ｍ， ｅ
［ ｔ ｌ． ＬＩＮＥ： Ｌａ
　ａ ｒｇｅ－ｓ
ｃａｌ
ｅ
列中来，希望本文对 于 知 识 表 示 学 习 在 国 内 的 研 究 ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
ｎｅｔｗｏ
ｒｋ　
ｅｍｂｅｄｄ
ｉｎｇ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆＩ
　ｎｔ　
Ｗｏｒ
ｌｄ　
Ｗｉｄｅ

发展提供一些帮助 ． Ｗｅｂ　
Ｃｏｎ
ｆｅｒ
ｅｎｃ
ｅｓ　Ｓ
ｔｅｅ
ｒｉｎｇ　Ｃｏｍｍｉ
ｔｔｅ ｒｋ： ＡＣＭ，
ｅ．Ｎｅｗ　Ｙｏ
２０１５：１０６７－１０７７
１６］ Ｙａｎｇ　Ｃ，Ｌ
［ ｉｕ　Ｚ，Ｚｈａｏ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｎｅ
ｔｗｏ
ｒｋ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
参 考 文 献
ｌ
ｅａｒ
ｎｉ ｗｉ
ｎｇ　 ｔ
ｈ　ｒ
ｉｃｈ
　ｔｅｘ
ｔ　ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆＩ
　ＪＣＡＩ．Ｓａｎ
Ｆｒ
ａｎｃ
ｉｓｏ，ＣＡ：Ｍｏ
ｃ ｒｇａｎ　 ｆｍａｎｎ，２０１５
Ｋａｕ
［
１］ Ｍｉ
ｌｌｅ
ｒ　Ｇ　
Ａ．Ｗｏ
ｒ ｔ：Ａ　
ｄＮｅ ｌｅｘ
ｉｃａ
ｌ　ｄａ
ｔａｂａ
ｓｅｆ
　ｏｒ　
Ｅｎｇ
ｌｉｓｈ ［
Ｊ］． ［
１７］ Ｈｕａｎｇ　
Ｅ　Ｈ，Ｓｏ
ｃｈｅ
ｒ　Ｒ，Ｍａｎｎ
ｉ Ｃ　
ｎｇ　 Ｄ，ｅ
ｔ　ａ
ｌ．Ｉｍｐ
ｒｏｖ
ｉ ｗｏ
ｎｇ　 ｒ
ｄ
Ｃｏｍｍｕｎ
ｉｃａ
ｔｉｏｎｓ　
ｏｆｔ
　 ＡＣＭ，１９９５，３８（
ｈｅ　 １１）：３９－４１ ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ　ｖ
ｉａ　ｇ
ｌｏｂａ
ｌ ｏｎ
　ｃ ｔ
ｅｘｔ
　ａｎｄ　ｍｕ
ｌｔｉ
ｐｌｅ　ｗｏ
ｒｄ
［
２］ Ｂｏ
ｌｌａ ｒ　Ｋ， Ｅｖａｎｓ　Ｃ， Ｐａ
ｃｋｅ ｒｉｔ
ｏｓｈ　Ｐ，ｅ
ｔ　ａ
ｌ．Ｆｒ
ｅｅｂａ
ｓｅ： Ａ ｒ
ｐｏｔ
ｏｔ ｓ［
ｙｐｅ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ： ＡＣＬ，
ｏｕｄｓｂｕｒ
ｃ
ｏｌｌ
ａｂｏ
ｒａｔ
ｉｖｅ
ｌ ｃ
ｙ　ｒｅ
ａｔｅｄ　
ｇｒａｐｈ　
ｄａｔ
ａｂａ
ｓｅｆ
　ｏｒ
　ｓｔ
ｒｕｃ
ｔｕｒ
ｉ ｈｕｍａｎ
ｎｇ　 ２０１２：８７３－８８２
ｅｄｇｅ ［
ｋｎｏｗｌ Ｃ］?
?Ｐｒ
ｏｃ　ｏ ｒｋ：ＡＣＭ，２００８：
ｆ　ＫＤＤ．Ｎｅｗ　Ｙｏ ［
１８］ Ｒｅ
ｉｓｉ
ｎｇｅ
ｒ　Ｊ， Ｍｏｏｎｅｙ　Ｒ　Ｊ． Ｍｕ
ｌｔｉ－ｐ
ｒｏｏ
ｔｔｙｐｅ　ｖｅ
ｃｔｒ－ｓ
ｏ ｐａｃ
ｅ
１２４７－１２５０ ｍｏｄｅ
ｌｓ　ｏ
ｆ　ｗｏ
ｒｄ　ｍｅ
ａｎｎｇ ［
ｉ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＨＬＴ－ＮＡＡＣＬ．
［
３］ Ｍｉ
ｌｌｅ
ｒ　Ｅ． Ａｎ
　ｉｎ
ｔｒｏｄｕｃ
ｔｉｏｎ
　ｔｏ
　ｔｈｅ
　ｒｅ
ｓｏｕｒ
ｃｅ　ｄｅ
ｓｃｒ
ｉｐｔ
ｉｏｎ Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１０：１０９－１１７
ｏｕｄｓｂｕｒ
ｆ
ｒ ｒｋ ［
ａｍｅｗｏ Ｊ］． Ｂｕ
ｌｌｅ
ｔｉｎ　ｏ
ｆ ｈｅ　Ａｍｅ
　ｔ ｒｉｃ
ａｎ　Ｓｏ
ｃｉｅ
ｔｙ　ｆ
ｏｒ ［
１９］ Ｔｉ Ｆ，Ｄａ
ａｎ　 ｉ　Ｈ，Ｂ
ｉａｎ　Ｊ，ｅ
ｔ　ａ
ｌ．Ａ　ｐ
ｒｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ　ｍｏｄｅ
ｌ　ｆ
ｏｒ
Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｓｃｉ
ｅｎｃ
ｅ　ａｎｄ　
Ｔｅｃｈｎｏ
ｌｏｇｙ，１９９８，２５（
１）：１５－１９ ｌ
ｅａｒ
ｎｉｎｇ　ｍｕ
ｌｔｉ－ｐ
ｒｏｏ
ｔｔｙｐｅ　ｗｏ
ｒｄ　ｅｍｂｅｄｄ
ｉｎｇｓ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ
［
４］ Ｂｅｎｇ
ｉｏ　Ｙ． Ｌｅ
ａｒｎ
ｉｎｇ　 ｄｅ
ｅｐ　 ａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅｓ ｏ
　ｆｒ　ＡＩ ［
Ｊ］． ＣＯＬＩＮＧ．Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１４：１５１－１６０
Ｆｏｕｎｄａ
ｔｉｏｎｓ
　ａｎｄ　
Ｔｒｅｎｄｓ
　ｉｎ　
Ｍａｃｈ
ｉｎｅ　
Ｌｅａ
ｒｎｎｇ，２００９，２（
ｉ １）： ２０］ Ｓｏ
［ ｒ　Ｒ， Ｂａｕｅ
ｃｈｅ ｒ　Ｊ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｐａ
ｒｓｉ
ｎｇ　ｗｉ
ｔｈ
１－１２７ ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｖｅ
ｃｔｏ
ｒ ｒ
　ｇａｍｍａ
ｒｓ ［
Ｃ］ ?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＡＣＬ．
［
５］ Ｂｅｎｇ
ｉ Ｙ，Ｃｏｕｒ
ｏ　 ｖｉｌ
ｌ Ａ，Ｖｉ
ｅ　 ｎｃｅｎ
ｔ　Ｐ．Ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｌ
　ｅａ
ｒｎｎｇ：
ｉ Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１３：４５５－４６５
ｏｕｄｓｂｕｒ
Ａ　
ｒｅｖ
ｉｅｗ　
ａｎｄ　
ｎｅｗ　
ｐｅｒ
ｓｐｅ
ｃｔｉ
ｖｅｓ［
Ｊ］．ＩＥＥＥ　
Ｔｒａｎｓ　
ｏｎ　
Ｐａｔ
ｔｅｒ
ｎ ［
２１］ Ｓｏ ｒ　Ｒ，Ｐｅ
ｃｈｅ ｒｅｌ
ｙｇｎ　Ａ， Ｗｕ　Ｊ　Ｙ，ｅ
ｉ ｔ　ａ
ｌ．Ｒｅ
ｃｕｒ
ｓｉｖｅ　ｄｅ
ｅｐ
Ａｎａ
ｌｙｓ
ｉｓａｎｄ　
　 Ｍａｃｈ
ｉｎｅ
　Ｉｎ
ｔｅｌ
ｌｉ ｅ，２０１３，３５（
ｇｅｎｃ ８）：１７９８－１８２８ ｍｏｄｅ
ｌｓ ｏ
　ｆｒ ｅｍａｎ
　ｓ ｔｉｃ
　ｃｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌｉｔ
ｙ　ｏｖｅ
ｒ　ａ
　ｓｅｎ
ｔｉｍｅｎ
ｔ
［
６］ Ｔｕｒ
ｉａｎ　Ｊ，Ｒａ
ｔｉ Ｌ，Ｂｅｎｇ
ｎｏｖ　 ｉｏ　
Ｙ．Ｗｏ
ｒｄ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ：Ａ ｔ
ｒｅｅｂａｎｋ ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＥＭＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，
ｏｕｄｓｂｕｒ
ｓ
ｉｍｐ
ｌｅａｎｄ　
　 ｇｅｎｅ
ｒａｌ　
ｍｅｔ
ｈｏｄ
　ｆｏ
ｒ　ｅｍｉ－ｓｕｐｅ
ｓ ｒｖｉ
ｓｅｄ
　ｌｅ
ａｒｎ
ｉｎｇ［
Ｃ］?
? ２０１３：１６４２－１６５３
Ｐｒ
ｏｃ　
ｏｆ　
ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１０：３８４－３９４
ｏｕｄｓｂｕｒ ［
２２］ Ｓｏ ｒ　Ｒ， Ｈｕｖａ
ｃｈｅ ｌ　Ｂ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ， ｅ
ｔ ｌ． Ｓｅｍａｎ
　ａ ｔｉｃ
［
７］ Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ， Ｒａｇｈａｖａｎ　Ｐ，Ｓｃｈü
ｔｚｅ　Ｈ．Ｉ
ｎｔｒ
ｏｄｕｃ
ｔｉｏｎ
　ｔｏ ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌｉｔ
ｙ　ｔ
ｈｒｏｕｇｈ　
ｒｅｃｕｒ
ｓｉｖｅ　
ｍａｔ
ｒｉｘ－ｖｅ
ｃｔｏ
ｒ　ｓ
ｐａｃ
ｅｓ［
Ｃ］
Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　Ｒｅ
ｔｒｉ ｌ ［Ｍ］． Ｃａｍｂｒ
ｅｖａ ｉｄｇｅ， ＵＫ： Ｃａｍｂｒ
ｉｄｇｅ ?Ｐｒ
? ｏｃ　
ｏ ＥＭＮＬＰ－ＣｏＮＬＬ．Ｓ
ｆ　 ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１２：
ｏｕｄｓｂｕｒ
Ｕｎ
ｉｖｅ
ｒｓｉ
ｔ Ｐｒ
ｙ　 ｅ
ｓｓ，２００８ １２０１－１２１１
［
８］ Ｍｉ
ｋｏｏｖ　Ｔ， Ｓｕ
ｌ ｔｓｋｅｖｅ
ｒ　Ｉ， Ｃｈｅｎ　Ｋ， ｅ
ｔ ｌ． Ｄｉ
　ａ ｓｔｒ
ｉｂｕ
ｔｅｄ ［
２３］ Ｌｕｏｎｇ　 Ｍ， Ｓｏ ｒ　 Ｒ， Ｍａｎｎ
ｃｈｅ ｉｎｇ　 Ｃ． Ｂｅ
ｔｔｅ
ｒ　 ｗｏ
ｒｄ
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ　 ｏ
ｆ　 ｗｏ
ｒｄｓ
　 ａｎｄ　 ｐｈｒ
ａｓｅ
ｓ　 ａｎｄ
　 ｔ
ｈｅｉ
ｒ ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ　 ｗｉ
ｔｈ　 ｒ
ｅｃｕｒ
ｓｉｖｅ　 ｎｅｕｒ
ａｌ　 ｎｅ
ｔｗｏ
ｒｋｓ
　ｆｏ
ｒ
ｃ
ｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌｉｙ［
ｔ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＮＩＰＳ．Ｃａｍｂｒ
ｉｄｇｅ，ＭＡ：ＭＩＴ ｍｏ
ｒｐｈｏ
ｌｏｇｙ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＣｏＮＬＬ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，
ｏｕｄｓｂｕｒ
Ｐｒ
ｅｓｓ，２０１３：３１１１－３１１９ ２０１３：１０４－１１３
２６０ 计算机研究与发展 　２０１６，５３（
２）

［
２４］ Ｂｏ
ｔｈａ
　 Ａ，Ｂ
Ｊ　 ｌｕｎｓ
ｏｍ　
Ｐ．Ｃｏｍｐｏ
ｓｉｔ
ｉｏｎａ
ｌ　ｍｏ
ｒｐｈｏ
ｌｏｇｙ
　ｆｏ
ｒ　ｗｏ
ｒｄ ［
４０］ Ｙａｎｇ　Ｂ， Ｙｉ
ｈ　Ｗ， Ｈｅ　Ｘ，ｅ
ｔ　ａ
ｌ．Ｅｍｂｅｄｄ
ｉｎｇ　ｅｎ
ｔｉｔ
ｉｅｓ
　ａｎｄ
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ
　ａｎｄ
　ｌａｎｇｕａｇｅ　
ｍｏｄｅ
ｌｌ
ｉｎｇ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆＩＣＭＬ．
　 ｒ
ｅｌａ
ｔｉｏｎｓ
　ｆｏ
ｒ　ｌ
ｅａｒ
ｎｉｎｇ　
ａｎｄ
　ｉｎ
ｆｅｒ
ｅｎｃ
ｅ　ｉ
ｎ　ｋｎｏｗｌ
ｅｄｇｅ　
ｂａｓ
ｅｓ［
Ｃ］?
?
Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１４ Ｐｒ
ｏｃ　ｏｆＩ
　ｎｔ　
Ｃｏｎ
ｆ　ｏｎ　
Ｌｅａｒ
ｎｉｎｇ　Ｒｅｐ
ｒｅｓｅｎ
ｔａｔ
ｉｏｎｓ （
ＩＣＬＲ）．２０１５
［
２５］ Ｃｈｅｎ　
Ｘ，Ｘｕ　
Ｌ，Ｌ
ｉ Ｚ，ｅ
ｕ　 ｔ　ａ
ｌ．Ｊ
ｏｉｎ
ｔ　ｌ
ｅａｒ
ｎｉｎｇ　
ｏｆｃｈａ
　 ｒａｃ
ｔｅｒ
　ａｎｄ ［
４１］ Ｂｏｒｄｅ
ｓ　Ａ，Ｕｓｕｎ ｉ
ｅｒ　Ｎ，Ｇａｒｃａ－Ｄｕｒ
ｉ ａｎ　Ａ，ｅｔａ
　ｌ．Ｔｒａｎｓ
ｌａｔ
ｉｎｇ
ｗｏ
ｒｄ　
ｅｍｂｅｄｄ
ｉｎｇｓ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆＩ
　ＪＣＡＩ．Ｓａｎ　
Ｆｒａｎｃ
ｉｓｏ，ＣＡ：
ｃ ｅｍｂｅｄｄ
ｉｎｇｓ
　ｆｏ
ｒ　ｍｏｄｅ
ｌｉｎｇ　
ｍｕｌ
ｔｉ－ｒ
ｅｌａ
ｔｉｏｎａ
ｌ　ｄａ
ｔａ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ
Ｍｏ
ｒｇａｎ　 ｆｍａｎｎ，２０１５：１２３６－１２４２
Ｋａｕ ＮＩＰＳ．Ｃａｍｂｒ
ｉｄｇｅ，ＭＡ：ＭＩＴ　
Ｐｒｅ
ｓｓ，２０１３：２７８７－２７９５

［ ［
４２］ Ｎｉ
ｃｋｅ
ｌ　Ｍ， Ｔｒ
ｅｓｐ　Ｖ， Ｋｒ
ｉｅｇｅ
ｌ　Ｈ．Ａ　ｔ
ｈｒｅ－ｗａｙ　ｍｏｄｅ
ｅ ｌ　ｆ
ｏｒ
２６］ Ｋｌ
ｅｍｅｎ
ｔｉ Ａ，Ｔｉ
ｅｖ　 ｔ 　Ｉ，Ｂｈａ
ｏｖ ｔｔａ
ｒａｉ
　Ｂ．Ｉ
ｎｄｕｃ
ｉｎｇ　ｃ
ｒｏｓ
ｓｌｉ
ｎｇｕａ
ｌ
ｄ
ｉｓｔ
ｒｉｂｕ
ｔｅｄ
　ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓ　
ｏｆ　
ｗｏｄｓ［
ｒ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＣＯＬＩＮＧ． ｃ
ｏｌｌ
ｅｃｔ
ｉｖｅ
　ｌｅ
ａｒｎ
ｉｎｇ　ｏｎ　ｍｕ
ｌｔｉ－ｒ
ｅｌａ
ｔｉｏｎａ
ｌ　ｄａ
ｔａ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ

Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１２：１４５９－１４７４ ＩＣＭＬ．Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１１：８０９－８１６
４３］ Ｎｉ
［ ｃｋｅ
ｌ　Ｍ，Ｔｒ
ｅ Ｖ，Ｋｒ
ｓｐ　 ｉｅｇｅ
ｌ　Ｈ．Ｆａ
ｃｔｏ
ｒｉｚ
ｉ ＹＡＧＯ：Ｓｃ
ｎｇ　 ａｌａｂ
ｌｅ
［
２７］ Ｌａｕ
ｌ Ｓ，Ｌａ
ｙ　 ｒｏｃｈｅ
ｌｌ Ｈ，Ｋｈａｐ
ｅ　 ｒ Ｍ，ｅ
ａ　 ｔ　ａ
ｌ．Ａｎ　
ａｕｔ
ｏｅｎｃ
ｏｄｅ
ｒ
ｍａ
ｃｈｉ
ｎｅｌ
　ｅａ
ｒｎｉ
ｎｇｆ
　ｏｒ
　ｌｉ
ｎｋｅｄ　
ｄａａ［
ｔ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＷＷＷ．Ｎｅｗ
ａｐｐ
ｒｏａ
ｃｈｔ
　ｏ　ｌ
ｅａｒ
ｎｉｎｇ　ｂ
ｉｌｉ
ｎｇｕａ
ｌ　ｗｏ
ｒｄ　ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ［
Ｃ］?
?
ｒｋ：ＡＣＭ，２０１２：２７１－２８０
Ｙｏ
Ｐｒ
ｏｃ　ｏ
ｆ　ＮＩＰＳ．Ｓａｎ　Ｆｒ
ａｎｃ
ｉｓｏ， ＣＡ： Ｍｏ
ｃ ｒ ｆｍａｎｎ，
ｇａｎ　Ｋａｕ
［
４４］ Ｍｉ
ｋｏｌ Ｔ，Ｃｈｅｎ　
ｏｖ　 Ｋ，Ｃｏ
ｒｒ Ｇ，ｅ
ａｄｏ　 ｔ　ａ
ｌ．Ｅｆ
ｆｉｃ
ｉｅｎ
ｔ　ｅ
ｓｔｉｍａ
ｔｉｏｎ
２０１４：１８５３－１８６１
ｏ
ｆ　ｗｏ
ｒｄｒ
　ｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓ
　ｉｎ　
ｖｅｃ
ｔｏｒ
　ｓｐａ
ｃｅ［
Ｊ］．Ｐｒ
ｏｃ　
ｏｆＩＣＬＲ．
　
［
２８］ Ｓｈ
ｉ　Ｔ，Ｌ
ｉｕ　Ｚ，Ｌ
ｉｕ　Ｙ，ｅ
ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉｎｇ　ｃ
ｒｏｓ－ｌ
ｓ ｉｎｇｕａ
ｌ　ｗｏ
ｒｄ
ａ ｖ：１３０１．
ｒＸｉ ３７８１．２０１３
ｅｍｂｅｄｄ
ｉｎｇｓ　
ｖｉａ　ｍａ
ｔｒｉ ｏ－ｆ
ｘ　ｃ ａｃｔ
ｏｒｉ
ｚａｔ
ｉｏｎ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＡＣＬ．
［
４５］ Ｆｕ　
Ｒ，Ｇｕｏ
　Ｊ，Ｑｉ
ｎ　Ｂ，ｅ
ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉｎｇ　
ｓｅｍａｎ
ｔｉｃ　
ｈｉｅ
ｒａｒ
ｃｈｉ
ｅｓ　
ｖｉａ
Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：５６７－５７４
ｏｕｄｓｂｕｒ
ｗｏ
ｒｄ　ｅｍｂｅｄｄ
ｉｎｇｓ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ：
ｏｕｄｓｂｕｒ
２９］ Ｌｕｏ　Ｈ， Ｌ
［ ｉｕ　Ｚ， Ｌｕａｎ　Ｈ， ｅ
ｔ ｌ． Ｏｎ
　ａ ｌｉｎｅ
　ｌｅ
ａｒｎ
ｉｎｇ　ｏ
ｆ
ＡＣＬ，２０１４：１１９９－１２０９
ｉ
ｎｔｅ
ｒｐｒ
ｅｔａｂ
ｌｅ　ｗｏ
ｒｄ　ｅｍｂｅｄｄ
ｉｎｇｓ ［
Ｃ］ ?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＥＭＮＬＰ． ［
４６］ Ｎｉ
ｃｋｅ
ｌ　Ｍ，Ｒｏ
ｓａｓ
ｃ Ｌ，Ｐｏｇｇ
ｏ　 ｉｏ　
Ｔ．Ｈｏ
ｌｏｇ
ｒａｐｈ
ｉｃｅｍｂｅｄｄ
　 ｉｎｇｓ　
ｏｆ
Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：１６８７－１６９２
ｏｕｄｓｂｕｒ
ｋｎｏｗｌ
ｅｄｇｅ　
ｇｒａｐｈｓ ［
Ｊ］．ａ
ｒＸｉ
ｖ　ｐ
ｒｅｐ
ｒｉｎ
ｔ　ａ ｖ：
ｒＸｉ １５１０．
０４９３５．
［
３０］ Ｍｕｒ Ｂ，Ｔａ
ｐｈｙ　 ｌｕｋｄａ
ｒ　 Ｐ，Ｍｉ
Ｐ　 ｔｃｈｅ
ｌｌ　
Ｔ　Ｍ．Ｌｅ
ａｒｎ
ｉｎｇ　
ｅｆｆ
ｅｃｔ
ｉｖｅ ２０１５
ａｎｄ
　ｉｎ
ｔｅｒ
ｐｒｅ
ｔａｂ
ｌｅｓ
　ｅｍａｎ
ｔｉｃ　
ｍｏｄｅ
ｌｓ　
ｕｓｉ
ｎｇ　
ｎｏｎ－ｎｅ
ｇａｉ
ｔｖｅ
　ｓｐａ
ｒｓｅ ［
４７］ Ｗａｎｇ　Ｚ， Ｚｈａｎｇ　Ｊ， Ｆｅｎｇ　Ｊ， ｅ
ｔ ｌ． Ｋｎｏｗｌ
　ａ ｅｄｇｅ　ｇ
ｒａｐｈ
ｅｍｂｅｄｄ
ｉｎｇ ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＣＯＬＩＮＧ．Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１２： ｅｍｂｅｄｄ
ｉｎｇ　ｂｙ
　ｔｒ
ａｎｓ
ｌａｔ
ｉｎｇ　ｏｎ　ｈｙｐｅ
ｒｐｌ ｓ［
ａｎｅ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ
１９３３－１９５０ ＡＡＡＩ．Ｍｅｎ
ｌｏ　
Ｐａｒｋ，ＣＡ：ＡＡＡＩ，２０１４：１１１２－１１１９
［
３１］ Ｆｙｓｈｅ　
Ａ，Ｔａ
ｌｕｋｄａ ｐｈｙ　Ｂ，ｅ
ｒ　Ｐ　Ｐ， Ｍｕｒ ｔ　ａ
ｌ．Ｉ
ｎｔｅ
ｒｐｒ
ｅｔａｂ
ｌｅ ［
４８］ Ｌ
ｉ Ｙ，Ｌ
ｎ　 ｉ Ｚ，Ｓｕｎ　Ｍ，ｅ
ｕ　 ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉｎｇ　ｅｎ
ｔｉｙ　ａｎｄ
ｔ 　ｒｅ
ｌａｔ
ｉｏｎ
ｓ
ｅｍａｎ
ｔｉｃ　
ｖｅｃ
ｔｏｒ
ｓ　ｆ
ｒｏｍ　
ａ　ｏ
ｊｉｎ
ｔ　ｍｏｄｅ
ｌ　ｏ
ｆ　ｂｒ
ａｉｎ－ａｎｄ
　ｔｅｘ
ｔ－ｂａ
ｓｅｄ ｅｍｂｅｄｄ
ｉｎｇｓ
　ｆｏ
ｒ　ｋｎｏｗｌ
ｅｄｇｅ　ｇ
ｒａｐｈ　ｃ
ｏｍｐ
ｌｅｔ
ｉｏｎ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ
ｍｅ
ａｎｎｇ ［
ｉ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１４：
ｏｕｄｓｂｕｒ ＡＡＡＩ．Ｍｅｎ
ｌｏ　
Ｐａｒｋ，ＣＡ：ＡＡＡＩ，２０１５
４８９－４９９ ［
４９］ Ｊ
ｉ　Ｇ，Ｈｅ　
Ｓ，Ｘｕ　
Ｌ，ｅ
ｔ　ａ
ｌ．Ｋｎｏｗｌ
ｅｄｇｅ　
ｇｒａｐｈ　
ｅｍｂｅｄｄ
ｉ ｖ
ｎｇ　ｉａ
［
３２］ Ｆａ
ｒ ｉ　Ｍ， Ｔｓ
ｕｑｕ ｖｅｋｏｖ　Ｙ， Ｙｏｇａ
ｔ ｔａｍａ　Ｄ， ｅ
ｔ ｌ． Ｓｐａ
　ａ ｒｓｅ ｄｙｎａｍｉ
ｃ　ｍａｐｐ
ｉ ｍａ
ｎｇ　 ｔ
ｒｉｘ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＣＬ．Ｓ
ｔｒ ｇ，
ｏｕｄｓｂｕｒ
ｏｖｅ
ｒｃｏｍｐ
ｌｅｔ
ｅ　ｗｏ
ｒｄ　ｖｅ
ｃｔｏ
ｒ ｅｐ
　ｒ ｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ ＰＡ：ＡＣＬ，２０１５：６８７－６９６
ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：１４９１－１５００
ｏｕｄｓｂｕｒ ５０］ Ｊ
［ ｉ　Ｇ，Ｌ
ｉ Ｋ，Ｈｅ　
ｕ　 Ｓ，ｅ
ｔ　ａ
ｌ．Ｋｎｏｗｌ
ｅｄｇｅ　
ｇｒａｐｈ　
ｃｏｍｐ
ｌｅｔ
ｉｏｎ　
ｗｉｔ
ｈ
［
３３］ Ｈａｗｋ
ｉ 　Ｊ， Ｂ
ｎｓ ｌａｋｅ
ｓｌｅ
ｅ　Ｓ． Ｏｎ
　Ｉｎ
ｔｅｌ
ｌｉ ｅ ［Ｍ］．Ｌｏｎｄｏｎ：
ｇｅｎｃ ａｄａｐ
ｔｉｖｅ
　ｓｐａ
ｒｓｅ
　ｔｒ
ａｎｓ
ｆｅｒ　
ｍａｔ
ｒｉｘ［
Ｊ］．ＡＡＡＩ．２０１６
［
５１］ Ｘｉ Ｈ， Ｈｕａｎｇ　Ｍ， Ｈａｏ　Ｙ，ｅ
ａｏ　 ｔ　ａ ａｎｓＡ：Ａｎ　ａｄａｐ
ｌ．Ｔｒ ｔｉｖｅ
Ｍａ
ｃｍｉ
ｌｌａｎ，２００７
［ ａｐｐ
ｒｏａ
ｃｈｆ
　ｏｒ　
ｋｎｏｗｌ
ｅｄｇｅ　
ｇｒａｐｈ　
ｅｍｂｅｄｄ
ｉｎｇ［
Ｊ］．ａ
ｒＸｉ
ｖ　ｒ
ｐｅｐ
ｒｉｎ
ｔ
３４］ Ｂｏ
ｒｄｅ
ｓ　Ａ，Ｗｅ
ｓｔ Ｊ，Ｃｏ
ｏｎ　 ｌｌｏｂｅ
ｒ Ｒ，ｅ
ｔ　 ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉ ｓ
ｎｇ　ｔｒ
ｕｃｔ
ｕｒｅｄ
ａ ｖ：
ｒＸｉ １５０９．
０５４９０．２０１５
ｅｍｂｅｄｄ
ｉｎｇｓ　
ｏｆｋｎｏｗｌ
　 ｅｄｇｅ　
ｂａｓ
ｅｓ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＡＡＩ．Ｍｅｎ
ｌｏ
［
５２］ Ｘｉ Ｈ，Ｈｕａｎｇ　Ｍ，Ｈａｏ　Ｙ，ｅ
ａｏ　 ｔ　ａ ａｎｓＧ：Ａ　ｇｅｎｅ
ｌ．Ｔｒ ｒａｔ
ｉｖｅ
ｒｋ，ＣＡ：ＡＡＡＩ，２０１１：３０１－３０６
Ｐａ
ｍｉ
ｘｔｕｒ
ｅ　ｍｏｄｅ
ｌ　ｆ
ｏｒ　ｋｎｏｗｌ
ｅｄｇｅ　ｇ
ｒａｐｈ　ｅｍｂｅｄｄ
ｉｎｇ ［
Ｊ］．ａ
ｒＸｉ
ｖ
３５］ Ｓｏ
［ ｃｈｅ
ｒ　Ｒ，Ｃｈｅｎ　Ｄ， Ｍａｎｎ
ｉｎｇ　Ｃ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ａｓｏｎ
ｉｎｇ　ｗｉ
ｔｈ
ｒ
ｐｅｐ
ｒｉｎ
ｔ　ａ ｖ：
ｒＸｉ １５０９．
０５４８８．２０１５
ｎｅｕｒ
ａｌｔ
　ｅｎｓ
ｏｒ　
ｎｅｔｗｏ
ｒｋｓ
　ｆｏ
ｒ　ｋｎｏｗｌ
ｅｄｇｅ　
ｂａｓ
ｅ　ｃ
ｏｍｐ
ｌｅｔ
ｉｏｎ ［
Ｃ］?
?
［
５３］ Ｈｅ　
Ｓ，Ｌ
ｉ Ｋ，Ｊ
ｕ　 ｉ　Ｇ，ｅ
ｔ　ａ
ｌ．Ｌｅ
ａｒｎ
ｉｎｇ
　ｔｏ
　ｒｅｐ
ｒｅｓ
ｅｎｔ
　ｋｎｏｗｌ
ｅｄｇｅ
Ｐｒ
ｏｃ　
ｏｆ　
ＮＩＰＳ．Ｃａｍｂｒ
ｉｄｇｅ，ＭＡ：ＭＩＴ　
Ｐｒｅ
ｓｓ，２０１３：９２６－９３４
ｒ
ｇａｐｈｓ　
ｗｉｔ
ｈ　Ｇａｕｓ
ｓｉａｎ　
ｅｍｂｅｄｄ
ｉｎｇ ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＣＩＫＭ．Ｎｅｗ
［
３６］ Ｂｏ
ｒｄｅ
ｓ　Ａ，Ｇｌ
ｏｒｏ
ｔ　Ｘ，Ｗｅ
ｓｔ Ｊ，ｅ
ｏｎ　 ｔ　ａ
ｌ．Ａ　
ｓｅｍａｎ
ｔｉｃ　
ｍａｔ
ｃｈｉ
ｎｇ
ｒｋ：ＡＣＭ，２０１５：６２３－６３２
Ｙｏ
ｅｎｅ
ｒｇｙ
　ｆｕｎｃ
ｔｉｏｎ
　ｆｏ
ｒ　ｌ
ｅａｒ
ｎｉｎｇ　ｗｉ
ｔｈ　ｍｕ
ｌｔｉ－ｒ
ｅｌａ
ｔｉｏｎａ
ｌ　ｄａ
ｔａ［
Ｊ］．
［
５４］ Ｘｉ
ｅ　Ｒ， Ｌ
ｉｕ　Ｚ，Ｊ
ｉａ　Ｊ，ｅ
ｔ　ａ
ｌ． Ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎ　ｌ
ｅａｒ
ｎｉｎｇ　ｏ
ｆ
Ｍａ
ｃｈｉ
ｎｅ　
Ｌｅａ
ｒｎｎｇ，２０１４，９４（
ｉ ２）：２３３－２５９
ｋｎｏｗｌ
ｅｄｇｅ　ｇ
ｒａｐｈｓ　ｗｉ
ｔｈ　ｅｎ
ｔｉｔ
ｙ　ｄｅ
ｓｃｒ
ｉｐｔ
ｉｏｎｓ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ
［
３７］ Ｂｏ
ｒｄｅ
ｓ　Ａ，Ｇｌ
ｏｒｏ
ｔ　Ｘ，Ｗｅ
ｓｔ Ｊ，ｅ
ｏｎ　 ｔ　ａ
ｌ．Ｊ
ｏｉｎ
ｔ　ｌ
ｅａｒ
ｎｉｎｇ　
ｏｆ　
ｗｏｒ
ｄｓ
ＡＡＡＩ．Ｍｅｎ
ｌｏ　
Ｐａｒｋ，ＣＡ：ＡＡＡＩ，２０１６
ａｎｄ　
ｍｅａｎ
ｉｎｇ
　ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎｓ
　ｆｏ
ｒ　ｏｐｅｎ－ｔ
ｅｘｔ
　ｓｅｍａｎ
ｔｉｃ　
ｐａｒ
ｓｉｎｇ ［
５５］ Ｃｏ
ｌｌｏｂｅ
ｒｔ　Ｒ， Ｗｅ
ｓｔｏｎ　Ｊ．Ａ　ｕｎ
ｉｆｉ
ｅｄ　ａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅ　ｆ
ｏｒ　ｎａ
ｔｕｒ
ａｌ
［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＩＳＴＡＴＳ．Ｃａｄ
ｉｚ，Ｓｐａ
ｉｎ：ＪＭＬＲ，２０１２：１２７－ ｌ
ａｎｇｕａｇｅ　
ｐｒｏ
ｃｅｓ
ｓｉｎｇ：Ｄｅ
ｅｐ　ｎｅｕｒ
ａｌ　ｎｅ
ｔｗｏ
ｒｋｓ　ｗｉ
ｔｈ　ｍｕ
ｌｔｉ
ｔａｓｋ
１３５ ｌ
ｅａｒ
ｎｉｎｇ［
Ｃ］? ｒｋ：ＡＣＭ，２００８：１６０－
?Ｐｒ
ｏｃ　
ｏｆＩＣＭＬ．Ｎｅｗ　
　 Ｙｏ
［
３８］ Ｊ
ｅｎａ
ｔｔ Ｒ，Ｒｏｕｘ　Ｎ　Ｌ，Ｂｏ
ｏｎ　 ｒ ｓ　Ａ，ｅ
ｄｅ ｔ　ａ
ｌ．Ａ　ｌ
ａｔｅｎ
ｔ　ｆ
ａｃｔ
ｏｒ １６７
ｍｏｄｅ
ｌ　ｆ
ｏｒ　ｈ
ｉｇｈ
ｌｙ　ｍｕ
ｌｔｉ－ｒ
ｅｌａ
ｔｉｏｎａ
ｌ　ｄａ
ｔａ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＮＩＰＳ． ［
５６］ Ｃｏ
ｌｌｏｂｅ
ｒｔ　Ｒ， Ｗｅ
ｓｔｏｎ　Ｊ， Ｂｏ
ｔｔｏｕ　Ｌ　Ｅ　Ｏ，ｅ
ｔ　ａ
ｌ． Ｎａ
ｔｕｒ
ａｌ
Ｃａｍｂｒ
ｉｄｇｅ，ＭＡ：ＭＩＴ　
Ｐｒｅ
ｓｓ，２０１２：３１６７－３１７５ ｌ
ａｎｇｕａｇｅ　ｐ
ｒｏｃ
ｅｓｓ
ｉｎｇ （
ａｌｍｏ
ｓｔ）ｆ
ｒｏｍ　ｓ
ｃｒａ
ｔｃｈ ［
Ｊ］．ＪＭＬＲ，
［
３９］ Ｓｕ
ｔｓｋｅｖｅ
ｒ　Ｉ，Ｔｅｎｅｎｂａｕｍ　
Ｊ　Ｂ，Ｓａ
ｌａｋｈｕ
ｔｄｉ
ｎｏｖ　
Ｒ．Ｍｏｄｅ
ｌｌ
ｉｎｇ ２０１１，１２：２４９３－２５３７
ｒ
ｅｌａ
ｔｉｏｎａ
ｌ　ｄａ
ｔａ　ｕｓ
ｉｎｇ　Ｂａｙｅ
ｓｉａｎ　ｃ
ｌｕｓ
ｔｅｒ
ｅｄ　ｔ
ｅｎｓ
ｏｒ　ｆ
ａｃｔ
ｏｒｉ
ｚａｔ
ｉｏｎ ［
５７］ Ｚｈｏｎｇ　
Ｈ，Ｚｈａｎｇ　
Ｊ，Ｗａｎｇ　
Ｚ，ｅ
ｔ　ａ
ｌ．Ａｌ
ｉｇｎ
ｉｎｇ　
ｋｎｏｗｌ
ｅｄｇｅ
　ａｎｄ
［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＮＩＰＳ．Ｃａｍｂｒ
ｉｄｇｅ， ＭＡ： ＭＩＴ　Ｐｒ
ｅｓｓ，２００９： ｔ
ｅｘｔ
　ｅｍｂｅｄｄ
ｉｎｇｓ　ｂｙ　ｅｎ
ｔｉｔ
ｙ　ｄｅ
ｓｃｒ
ｉｐｔ
ｉｏｎｓ ［
Ｃ］ ?
?Ｐｒ
ｏｃ　ｏ
ｆ
１８２１－１８２８ ＥＭＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：２６７－２７２
ｏｕｄｓｂｕｒ
刘知远等：知识表示学习研究进展 ２６１

［
５８］ Ｌａｏ　
Ｎ，Ｃｏｈｅｎ　
Ｗ　Ｗ．Ｒｅ
ｌａｔ
ｉｏｎａ
ｌ　ｒ
ｅｔｒ
ｉｅｖａ
ｌ　ｕｓ
ｉｎｇ　
ａ　ｃ
ｏｍｂ
ｉｎａ
ｔｉｏｎ ｒｋｓ［
ｔｗｏ
ｎｅ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＥＭＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，
ｏｕｄｓｂｕｒ
ｏ
ｆ　ｐａ
ｔｈ－ｃ
ｏｎｓ
ｔｒａ
ｉｎｅｄ
　ｒａｎｄｏｍ　ｗａ
ｌｋｓ ［
Ｊ］．Ｍａ
ｃｈｉ
ｎｅ　Ｌｅ
ａｒｎ
ｉｎｇ， ２０１５：１７５３－１７６２
１）：５３－６７
２０１０，８１（ ［
７５］ Ｚｅｎｇ　Ｄ，Ｌ
ｉｕ　Ｋ，Ｌａ
ｉ　Ｓ，ｅ
ｔ　ａ
ｌ．Ｒｅ
ｌａｔ
ｉｏｎ　ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ　ｖ
ｉａ
［
５９］ Ｌａｏ　
Ｎ，Ｍｉ
ｔｃｈｅ
ｌ Ｔ，Ｃｏｈｅｎ　
ｌ　 Ｗ　Ｗ．Ｒａｎｄｏｍ　
ｗａｌ
ｋ　ｉ
ｎｆｅ
ｒｅｎｃ
ｅ　ａｎｄ ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｄｅ
ｅｐ　
ｎｅｕｒ
ａｌｎｅ
　 ｒｋ ［
ｔｗｏ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＣＯＬＩＮＧ．
ｌ
ｅａｒ
ｎｉｎｇ
　ｉｎ　ａ
　ｌａ
ｒｇｅ
　ｓｃ
ａｌｅ　ｋｎｏｗｌ
ｅｄｇｅ　ｂａ
ｓｅ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２０１４：２３３５－２３４４
ＥＭＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１１：５２９－５３９
ｏｕｄｓｂｕｒ ［
７６］ Ｄｏ
ｓ　Ｓａｎ
ｔｏｓ　
Ｃ　Ｉ　
Ｃ　Ｎ，Ｘｉ Ｂ，Ｚｈｏｕ　
ａｎｇ　 Ｂ．Ｃ
ｌａｓ
ｓｉｆ
ｙｉｎｇ
　ｒｅ
ｌａｔ
ｉｏｎｓ
［
６０］ Ｇａ
ｒｃＩ　Ａ－Ｄｕｒ　Ａ　Ｎ　Ａ，Ｂｏ
　 ｒ ｓ　Ａ，Ｕｓｕｎ
ｄｅ ｉｅｒ　Ｎ．Ｃｏｍｐｏ
ｓｉｎｇ ｂｙ
　ｒａｎｋ
ｉｎｇ　
ｗｉｔ
ｈ　ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　ｎｅｕｒ
ａｌｎｅ
　 ｒｋｓ［
ｔｗｏ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ
ｒ
ｅｌａ
ｔｉｏｎｓｈ
ｉｐｓ　ｗｉ
ｔｈ ｒ
　ｔａｎｓ
ｌａｔ
ｉｏｎｓ ［
Ｃ］ ?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＥＭＮＬＰ． ＡＣＬ－Ｉ
ＪＣＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：６２６－６３４
ｏｕｄｓｂｕｒ
Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１５：２８６－２９０
ｏｕｄｓｂｕｒ ７７］ Ｌ
［ ｉ　Ｈ，Ｘｕ　
Ｊ．Ｓｅｍａｎ
ｔｉｃ　
ｍａｔ
ｃｈｉ
ｎｇｉ
　ｎ　
ｓｅａ
ｒｃｈ ［
Ｊ］．Ｆｏｕｎｄａ
ｔｉｏｎｓ
［
６１］ Ｇｕ　
Ｋ，Ｍｉ
ｌｌｅ
ｒ　Ｊ，Ｌ
ｉａｎｇ　
Ｐ．Ｔｒ
ａｖｅ
ｒｓｉ
ｎｇ　
ｋｎｏｗｌ
ｅｄｇｅ　
ｇｒａｐｈｓ
　ｉｎ ａｎｄ　
Ｔｒｅｎｄｓ? ｉ
ｎ　Ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
Ｒｅｔ
ｒｉ ｌ，２０１３，７（
ｅｖａ ５）：３４３－４６９
ｖｅ
ｃｔｏ
ｒ　ｓｐａ
ｃｅ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＥＭＮＬＰ．Ｓ
ｔｒ ｇ， ＰＡ：
ｏｕｄｓｂｕｒ ［
７８］ Ｂａ
ｉ　Ｂ， Ｗｅ
ｓｔｏｎ　Ｊ，Ｇｒ
ａｎｇ
ｉｅｒ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｐｏ
ｌｙｎｏｍｉ
ａｌ　ｓ
ｅｍａｎ
ｔｉｃ
ＡＣＬ，２０１５ ｉ
ｎｄｅｘ
ｉｎｇ ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　ＮＩＰＳ．Ｓａｎ　Ｆｒ
ａｎｃ
ｉｓｏ，ＣＡ： Ｍｏ
ｃ ｒｇａｎ
［
６２］ Ｔｅｎｅｎｂａｕｍ　
Ｊ　Ｂ，Ｋｅｍｐ　
Ｃ，Ｇｒ
ｉｆｆ
ｉｔｈｓ　
Ｔ　Ｌ，ｅ
ｔ　ａ
ｌ．Ｈｏｗ　
ｔｏ　
ｇｒｏｗ ｆｍａｎｎ，２００９：６４－７２
Ｋａｕ
ａ　
ｍｉｎｄ：Ｓ
ｔａｔ
ｉｓｔ
ｉｃｓ，ｓ
ｔｒｕｃ
ｔ ｅ，ａｎｄ　
ｕｒ ａｂｓ
ｔｒａ
ｃｔｏｎ ［
ｉ Ｊ］．Ｓｃ
ｉ ｅ，
ｅｎｃ ［
７９］ Ｂａ
ｉ　Ｂ， Ｗｅ
ｓｔｏｎ　Ｊ，Ｇｒ
ａｎｇ
ｉｅｒ　Ｄ，ｅ
ｔ　ａ
ｌ．Ｓｕｐｅ
ｒｖｉ
ｓｅｄ　ｓ
ｅｍａｎ
ｔｉｃ
６０２２）：１２７９－１２８５
２０１１，３３１（ ｉ
ｎｄｅｘ
ｉｎｇ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ ｒｋ： ＡＣＭ，２００９：
ｆ　ＣＩＫＭ．Ｎｅｗ　Ｙｏ
［
６３］ Ｋｅｍｐ　
Ｃ，Ｔｅｎｅｎｂａｕｍ　Ｊ　Ｂ．Ｓ
ｔｒｕｃ
ｔｕｒ
ｅｄ　ｓ
ｔａｔ
ｉｓｔ
ｉｃａ
ｌ　ｍｏｄｅ
ｌｓ　ｏ
ｆ １８７－１９６
ｉ
ｎｄｕｃ
ｔｉｖｅ
　ｒｅ
ａｓｏｎ
ｉｎｇ ［
Ｊ］．Ｐｓ
ｙｃｈｏ
ｌｏｇ
ｉｃａ
ｌ　Ｒｅｖ
ｉｅｗ，２００９，１１６ ［
８０］ Ｇｙ　
Ｏ　Ｎｇｙ
ｉ　Ｚ　
Ａ　Ｎ，Ｇａ
ｒｃｉ
ａ－Ｍｏ
ｌｉ Ｈ，Ｐｅｄｅ
ｎａ　 ｒｓｅｎ　
Ｊ．Ｃｏｍｂａ
ｔｉｎｇ
１）：２０
（ Ｗｅｂ　ｓｐａｍ　ｗｉ
ｔｈ ｒ
　ｔｕｓ
ｔｒａｎｋ ［
Ｃ］ ?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＶＬＤＢ． Ｓａｎ
［
６４］ Ｍｉ
ｎｔ Ｍ，Ｂ
ｚ　 ｉｌｓ　Ｓ，Ｓｎｏｗ　Ｒ，ｅ
ｌ ｔ　ａ
ｌ．Ｄｉ
ｓｔａｎ
ｔ　ｓｕｐｅ
ｒｖｉ
ｓｉｏｎ
　ｆｏ
ｒ Ｆｒ
ａｎｃ
ｉｓｏ，ＣＡ：Ｍｏ
ｃ ｒｇａｎ　 ｆｍａｎｎ，２００４：５７６－５８７
Ｋａｕ
ｒ
ｅｌａ
ｔｉｏｎ　
ｅｘｔ
ｒａｃ
ｔｉｏｎ　
ｗｉｔ
ｈｏｕ
ｔ　ｌ
ａｂｅ
ｌｅｄ　
ｄａａ［
ｔ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＣＬ－ ［
８１］ Ｂｅｎｇ
ｉｏ　Ｙ， Ｌｏｕｒ 　Ｊ　Ｅ　Ｒ　Ｏ， Ｃｏ
ａｄｏｕｒ ｌｌｏｂｅ
ｒｔ　Ｒ， ｅ
ｔ ｌ．
　ａ
ＪＣＮＬＰ．Ｓ
Ｉ ｔｒ ｇ，ＰＡ：ＡＣＬ，２００９：１００３－１０１１
ｏｕｄｓｂｕｒ Ｃｕｒ
ｒｉｃｕ
ｌｕｍ　
ｌｅａ
ｒｎｎｇ［
ｉ Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆＩＣＭＬ．Ｎｅｗ　
　 Ｙｏｒｋ：ＡＣＭ，
［
６５］ Ｓｕｒ
ｄｅ Ｍ，Ｔｉ
ａｎｕ　 ｂｓｈ
ｉｒａｎ
ｉ　Ｊ，Ｎａ
ｌｌａｐａ
ｔ Ｒ，ｅ
ｉ　 ｔ　ａ
ｌ．Ｍｕ
ｌｔ－ｉ
ｉ ｎｓ
ｔａｎｃ
ｅ ２００９：４１－４８
ｍｕ
ｌｔ－ｌ
ｉ ａｂｅ
ｌ　ｌ
ｅａｒ
ｎｉｎｇ
　ｆｏ
ｒ　ｒ
ｅｌａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｏｎ ［
ｉ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ ［
８２］ Ｌａｋｅ　
Ｂ　Ｍ，Ｓａ
ｌａｋｈｕ
ｔｄｉ Ｒ，Ｔｅｎｅｎｂａｕｍ　
ｎｏｖ　 Ｊ　Ｂ．Ｈｕｍａｎ－ｌ
ｅｖｅ
ｌ
ＥＭＮＬＰ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１２：４５５－４６５
ｏｕｄｓｂｕｒ ｃ
ｏｎｃ
ｅｐｔ
　ｌｅ
ａｒｎ
ｉｎｇ
　ｔｈｒ
ｏｕｇｈ　
ｐｒｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ　ｒ
ｐｏｇ
ｒａｍ　
ｉｎｄｕｃ
ｔｉｏｎ ［
Ｊ］．
６６］ Ｓｅｂａ
［ ｓｔｉ Ｒ，Ｙａｏ　
ａｎ　 Ｌ， Ｍｃ
ｃａｌ
ｌｕｍ　Ａ．Ｍｏｄｅ
ｌｉ 　ｒ
ｎｇ ｅ
ｌａｔ
ｉｏｎｓ
　ａｎｄ Ｓｃ
ｉｅｎｃ ６２６６）：１３３２－１３３８
ｅ，２０１５，３５０（
ｔ
ｈｅｉ
ｒ　ｍｅｎ
ｔｉｏｎｓ　ｗｉ
ｔｈｏｕ
ｔ　ｌ
ａｂｅ
ｌｅｄ
　ｔ ｔ［
ｅｘ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＥＣＭＬ－
ＰＫＤＤ．Ｂｅ
ｒｌｎ：Ｓｐ
ｉ ｒｉ ｒ，２０１０：１４８－１６３
ｎｇｅ Ｌ
ｉ Ｚｈ
ｕ　 ｙｕａｎ，ｂｏ
ｉ ｒｎｉ
　 １９８４．ＰｈＤ，ａ
ｎ　 ｓｓｉ
ｓｔａｎ
ｔ
６７］ Ｈｏ
［ ｆ Ｒ，Ｚｈａｎｇ　Ｃ，Ｌ
ｆｍａｎｎ　 ｉｎｇ　Ｘ，ｅ
ｔ　ａ ｅｄｇｅ－ｂａ
ｌ．Ｋｎｏｗｌ ｓｅｄ ｒ
ｅｓｅ
ａｒｃｈｅ
ｒ． Ｓｅｎ
ｉｏｒ　 ｍｅｍｂｅ
ｒ　ｏ
ｆ　 Ｃｈ
ｉｎａ
ｗｅ
ａｋ　
ｓｕｐｅ
ｒｖｉ
ｓｉｏｎ
　ｆｏ
ｒ　ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｉ
ｏｎ　ｏ
ｆ　ｏｖｅ
ｒｌａｐｐ
ｉｎｇ Ｃｏｍｐｕ
ｔｅｒ　 Ｆｅｄｅ
ｒａｔ
ｉｏｎ． Ｈｉ
ｓ　 ｒ
ｅｓｅ
ａｒｃｈ
ｒ
ｅｌａ
ｔｉｏｎｓ［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ　
ＡＣＬ－ＨＬＴ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，
ｏｕｄｓｂｕｒ ｉ
ｎｔｅ
ｒｅｓ
ｔｓ　 ｉ
ｎｃｌ
ｕｄｅ　 ｎａ
ｔｕｒ
ａｌ　 ｌ
ａｎｇｕａｇｅ
２０１１：５４１－５５０ ｒ
ｐｏｃ
ｅｓｓ
ｉｎｇ，ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ，ａｎｄ
［
６８］ Ｔａｋａｍａ
ｔ Ｓ，Ｓａ
ｓｕ　 ｔｏＩ，Ｎａｋａｇａｗａ　
　 Ｈ．Ｒｅｄｕｃ
ｉ ｗｒ
ｎｇ　 ｏｎｇ
　ｌａｂｅ
ｌｓ ｃ
ｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　ｓ
ｏｃｉ
ａｌｓ
　ｃｉ
ｅｎｃ
ｅｓ．
ｉ
ｎ　ｄ
ｉｓｔ
ａｎｔ
　ｓｕｐｅ
ｒｖｉ
ｓｉｏｎ
　ｆｏ
ｒ　ｒ
ｅｌａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｏｎ ［
ｉ Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ
ＡＣＬ－ＨＬＴ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１２：７２１－７２９
ｏｕｄｓｂｕｒ Ｓ Ｍａ
ｕｎ　 ｏ
ｓｏｇ，ｂｏ
ｎ ｒｎｉ
　 １９６２．ＰｈＤ，ｐ
ｎ　 ｒｏｆ
ｅｓｓ
ｏｒ
［
６９］ Ｅｔ
ｚｉ ｉ　Ｏ， Ｃａ
ｏｎ ｆａｒ
ｅｌａ　Ｍ， Ｄｏｗｎｅｙ　Ｄ， ｅ
ｌ ｔ ｌ． Ｗｅｂ－ｓ
　ａ ｃａｌ
ｅ ａ
ｎｄ　
ＰｈＤ　
ｓｕｐ
ｅｒｖ
ｉｓｏ
ｒ．Ｓ
ｅｎｉ
ｏｒ　
ｍｅｍｂ
ｅｒｏ
　ｆ　
Ｃｈｉ
ｎａ
ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　
ｅｘｔ
ｒａｃ
ｔｉｏｎ
　ｉｎ　
ｋｎｏｗｉ
ｔａｌ：（
ｌ ｐｒｅ
ｌｉｍｉ
ｎａｒ
ｙ　ｒ
ｅｓｕ
ｌｔｓ）［
Ｃ］ Ｃｏｍｐｕ
ｔｅｒ　
Ｆｅｄ
ｅｒａ
ｔｉｏｎ．Ｈｉ
ｓ　ｒ
ｅｓｅ
ａｒｃ
ｈ　ｉ
ｎｔｅ
ｒｅｓ
ｔｓ
?Ｐｒ
? ｏｃ　
ｏｆ　
ＷＷＷ．Ｎｅｗ　
Ｙｏｒｋ：ＡＣＭ，２００４：１００－１１０ ｉ
ｎｃｌ
ｕｄｅ　 ｎａｔ
ｕｒａｌ
　ｌａｎｇｕａｇｅ　 ｐ ｒ
ｏｃｅｓｓ
ｉｎｇ，
［
７０］ Ｙａ
ｔｅ Ａ，Ｃａ
ｓ　 ｆａｒ
ｅｌｌ
ａ　Ｍ，Ｂａｎｋｏ　
Ｍ，ｅ
ｔ　ａ
ｌ．Ｔｅｘ
ｔｒ ｒ：Ｏｐｅｎ
ｕｎｎｅ ， ，
Ｃｈｉ
ｎｅｓｅ
　ｃｏｍｐｕｔ
ｉｎｇ Ｗｅｂ　ｉｎｔ
ｅｌｌ
ｉｇｅｎｃ
ｅ ａｎｄ
ｉ
ｎｆｏ
ｒｍａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｉ
ｏｎ　ｏｎ
　ｔｈｅ　Ｗｅｂ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＨＬＴ－
ｃ
ｏｍｐｕ
ｔａｔ
ｉｏｎａ
ｌ　ｓ
ｏｃｉ
ａｌｓ
　ｃｉ
ｅｎｃ
ｅｓ．
ＮＡＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２００７：２５－２６
ｏｕｄｓｂｕｒ
［
７１］ Ｃａ
ｒｌｏｎ　Ａ， Ｂｅ
ｓ ｔｔｅ
ｒｉ 　Ｊ， Ｋｉ
ｄｇｅ ｓｉｅ
ｌ　Ｂ， ｅ
ｔ　ａ
ｌ． Ｔｏｗａ
ｒｄ　ａｎ Ｌ
ｉ ｉ，ｂｏ
Ｙａｎｋａ
ｎ　 ｒｎｉ
　ｎ　
１９９１．ＰｈＤ　
ｃａｎｄ
ｉｄａ
ｔｅ．
ａ
ｒｃｈ
ｉｔｅ
ｃｔｕｒ
ｅ　ｆ
ｏｒ　 ｉ
ｒ－ｅｎｄ
ｎｅｖｅ ｎｇ
　ｌａｎｇｕａｇｅ
　ｌｅ
ａｒｎ
ｉｎｇ．［
Ｃ］?
?Ｐｒ
ｏｃ　
ｏｆ Ｓ
ｔｕｄｅｎ
ｔ　 ｍｅｍｂｅ
ｒ　ｏ
ｆ　 Ｃｈ
ｉｎａ　 Ｃｏｍｐｕ
ｔｅｒ
ＡＡＡＩ．Ｓ
ｔｒ ｇ，ＰＡ：ＡＣＬ，２０１０：３－１０
ｏｕｄｓｂｕｒ
Ｆｅｄｅ
ｒａｔ
ｉｏｎ．Ｈｉ
ｓ　ｒ
ｅｓｅ
ａｒｃｈ
　ｉｎ
ｔｅｒ
ｅｓｔ
ｓ　ｉ
ｎｃｌ
ｕｄｅ
［
７２］ Ｗｕ　
Ｗ，Ｌ
ｉ　Ｈ， Ｗａｎｇ　Ｈ，ｅ
ｔ　ａ
ｌ．Ｐｒ
ｏｂａ
ｓｅ： Ａ　ｐ
ｒｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃ
ｋｎｏｗｌ
ｅｄｇｅ　 ｇ
ｒａｐｈｓ
　 ａｎｄ
　ｒｅｐ
ｒｅｓ
ｅｎｔ
ａｔｉ
ｏｎ
ｔ
ａｘｏｎｏｍｙ
　ｆｏ
ｒ　ｔ
ｅｘｔ
　ｕｎｄｅ
ｒｓｔ
ａｎｄ
ｉｎｇ ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ｔ
ｈｅ　２０１２
ｌ
ｅａｒ
ｎｉｎｇ．
ＡＣＭ　Ｓ
ＩＧＭＯＤ　Ｉ
ｎｔ　Ｃｏｎ
ｆ　ｏｎ　Ｍａｎａｇｅｍｅｎ
ｔ　ｏ
ｆ　Ｄａ
ｔａ． Ｎｅｗ
ｒｋ：ＡＣＭ，２０１２：４８１－４９２
Ｙｏ
ｅ　Ｒｕｏｂ
Ｘｉ ｉｎｇ， ｂｏ
ｒｎ ｎ　１９９２． Ｍａ
　ｉ ｓｔｅ
ｒ
［
７３］ Ｗｕ　Ｆ， Ｗｅ
ｌｄ　Ｄ　Ｓ． Ｏｐｅｎ
　ｉｎ
ｆｏｒｍａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｉ
ｏｎ　ｕｓ
ｉｎｇ
ｃ
ａｎｄ
ｉｄａ
ｔｅ． Ｓ
ｔｕｄｅｎ
ｔ　ｍｅｍｂｅ
ｒ ｆ　Ｃｈ
　ｏ ｉｎａ
Ｗｉ
ｋｉｐｅｄ
ｉａ［
Ｃ］?
?Ｐｒ
ｏｃ　ｏ
ｆ　ＡＣＬ．Ｓ
ｔｒ ｇ，ＰＡ： ＡＣＬ，
ｏｕｄｓｂｕｒ
Ｃｏｍｐｕ
ｔｅｒ　 Ｆｅｄｅ
ｒａｔ
ｉｏｎ． Ｈｉ
ｓ　 ｒ
ｅｓｅ
ａｒｃｈ
２０１０：１１８－１２７
［ ｉ
ｎｔｅ
ｒｅｓ
ｔｓ　ｉ
ｎｃｌ
ｕｄｅ　ｋｎｏｗｌ
ｅｄｇｅ　ｇ
ｒａｐｈｓ
　ａｎｄ
７４］ Ｚｅｎｇ　
Ｄ，Ｌ
ｉｕ　Ｋ，Ｃｈｅｎ　Ｙ，ｅ
ｔ　ａ
ｌ．Ｄｉ
ｓｔａｎ
ｔ　ｓｕｐｅ
ｒｖｉ
ｓｉｏｎ
　ｆｏ
ｒ
ｒ
ｅｌａ
ｔｉｏｎ　ｅｘ
ｔｒａ
ｃｔｉ
ｏｎ　 ｖ
ｉａ　 ｐ
ｉｅｃ
ｅｗｉ
ｓｅ　ｃ
ｏｎｖｏ
ｌｕｔ
ｉｏｎａ
ｌ　 ｎｅｕｒ
ａｌ ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎ
　ｌｅ
ａｒｎ
ｉｎｇ．