密 级 保 密 期 限

： 

：

观 ｉ ｆ ｆ Ａｆ



硕 士学位论文



题 目 ： 基于事理 图 谱 的 辅助 判 案技术 的研 究 与 实现



学 号 ：

２０ １ ８ １ １ ０７３ １




姓 名 ：
 誣佳 



专 业  计 算 机 科 学 与 技 术
： 


导 师 ：

吴斌 



学 院 ： 计算机学 院 （ 国 家示范性软件学 院 

）

２０２ １ 年 ３ 月 ３ 

日

中国 ■

北京


 密 级 保密 期 限
： 

：

ｔｆ ＿ 會 大聲
ｒ 

硕 士 学 位论文





典
题 目 ： 基于 事理 图 谱 的 辅助判 案技术 的 研 究 与 实现



学 号 ：

２０１８１ １ ０７ ３ １ 



姓名 ：
 郭佳 



专业  计算机科 学 与 技 术
： 


导 师 ：
 ｇａ 



学 院 ： 计 筧机 学 院 （ 国 家 示 范 性 软 件 学 院 ）

２ ０２ １ 年 ３ 月 ３ 

日
 Ｃｏｎｄ ｉ ｆｅ ｎ ｔ ｉ ａ ｌ ｉ ｔ
ｙ ｌ ｅｖ ｅ ｌ ： Ｃｏｎ ｆｉ ｄ ｅ ｎ ｔ ｉ ａ ｌ ｉ ｔｙ  ｐ ｅ ｒ ｉ ｏ ｄ 

：

Ｂ ｅｕ ｉ ｎ ｇ  Ｕ ｎ ｖ ｅ ｒ ｓ ｔｙ  ｏ ｆ
ｉ
 ｉ

Ｐ ｏ ｓ ｔｓ  ａ ｎ ｄ



Ｔ ｅ ｌ ｅ ｃ ｏ ｍ ｍ ｕ ｎ ｃ ａｔ ｏ ｎ ｓ

 ｉ ｉ

Ｔ ｈ ｅ ｓ ｉ ｓ  ｆｏ ｒ Ｍ ａ ｓ ｔ ｅ ｒ Ｄ ｅ ｇ ｒ ｅ ｅ

  

Ｔ ｏ ｐ ｉ ｃ  Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈａ ｎ ｄ
： Ｉ ｍ ｐ ｌ ｅ ｍ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｏ ｆ  Ａｕｘ ｉｌｉ ａ ｒｙ



Ｊ ｕ ｄ ｇ ｍ ｅ ｎ ｔ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇｙ ｂ ａ ｓ ｅ ｄ ｏ ｎ  Ｅ ｖ ｅ ｎ ｔＧ ｒ ａ ｐ ｈ ｓ



Ｓ ｔ ｕ ｄ ｅ ｎ ｔＩＤ  ：

２ ０ １ ８ １ １ ０７３ １ 



Ｃａｎｄ ｉ ｄ ａ ｔｅ  ：

Ｊ ｉ ａ Ｇ ｕ ｏ 



Ｓ ｕ ｂｊ ｅ ｃ ｔ ：  Ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ  Ｓ ｃ ｉ ｅ ｎ ｃ ｅ  ａ ｎ ｄ  Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ



Ｓ ｕ ｐ ｅ ｒｖ ｉ ｓ ｏ ｒ  ：

Ｂ ｉ ｎＷ ｕ 



Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ： Ｓ ｃ ｈｏｏ ｌ ｏｆ  Ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ  Ｓ ｃ ｉ ｅ ｎ ｃ ｅ（ Ｎａｔ ｉ ｏｎａｌ




Ｐ ｉｌ ｏ ｔ  Ｓ ｏ ｆｔ ｗ ａ ｒ ｅ  Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ  Ｓ ｃ ｈ ｏ ｏ ｌ ）




Ｍａ ｒ ．  ３ ｒｄ ，２ ０ ２ １


 独创性 （ 或创 新 性 ） 声明



本 人声 明 所呈 交 的 论文 是本人在 导 师指 导 下 进 行 的 研 究 工作及取得 的 研 究



成果 。 尽 我所知 ， 除 了 文 中 特别 加 以 标注和 致 谢 中 所罗 列 的 内 容 以 外 ， 论文 中 不


包 含 其 他 人 已 经 发 表 或 撰 写 过 的 研 宄 成 果 也 不 包 含 为 获得 北 京 邮 电 大 学 或 其 他
， 

教 育 机 构 的 学 位或证 书 而 使 用 过 的 材 料 与 我 同 工 作 的 同 志对本研 究所做 的 任


一

何 贡献均 己 在 论 文 中 作 了 明 确 的 说 明 并表 示 了 谢 意 

．

申 请 学 位 论 文 与 瑪 料 若 有 不 实 之处 本人承担 切 相关责任
一

，


。

本 人签 名 ：

亦 名 日 期 ：

與 中 ， ／ 

屈

关 于 论 文 使 用 授权 的 说 明



本人完 全 了 解并 同 意 北 京 邮 电大学有关保 留 、 使用 学位论文 的 规定 ， 即 ： 


北
京 邮 电 大 学 拥 有 以 下 关 于 学 位 论 文 的 无偿使用 权 ， 具体包括 ： 学校有权保 留 并 向



国 家 有 关 部 门 或 机 构 送 交 学 位 论文 ， 有 权 允 许学位论 文 被查 阅 和 借 阅 ； 学校可 以



公 布 学 位论 文 的 全 部 或 部 分 内 容 有权 允 许采 用 影 印 缩 印 或 其 它 复制 手段 保 存
， 、 

、

汇编 学位 论文 ，
将 学 位 论文 的 全 部 或 部 分 内 容 编 入 有关 数据 库 进 行 检 索 。 （ 保密


的 学 位 论 文 在解 密 后 遵 守 此 规 定 

）

本 人签名 ：

為 孤 日 期 ： ｙ〇 ｙ ＼
＾ｒ  ｂ ｌ Ｅ？



导 师签名 ： Ｈ  日 期 ： ｓ ．


Ｗ
 基于 事理 图 谱 的 辅助 判 案技术 的 研究 与 实 现



摘 

要

随着 人工 智 能技 术 的 发 展 ， 各个 领 域 都 利 用 人 工 智 能 提 高 了 自 

动
“ ”

化水平 和 效率 。
司 法领域也 不例 外 ， 我 国 积 极推进 智 慧法 院 建设 

，

致力 于 用 科技 手段提 高 司 法 机 关 办 案 水平 进 步确 保 司 法 的 公平 性


一

和 效率 ， 同 时 也为 人 民群众普法用 法提供 帮助 。 因此 ， 研究人工智 能



在 司 法 领 域 的 应 用 具 有 重 要 的 社会 价 值 本 课 题 的 研 宄 内 容 主 要 包 括

 。

三部分 

：

１ 、 基于 预 训 练模 型 提 取特 征 的 混 合 深 度 罪 名 预 测 模 型 。 受益于


预训 练模型新颖 的模型 架构 ， 训 练方 式和 海量语料支 持 ， 预训 练模型


在 自 然语 言 处理任务上获得 了 优异 的 结果 因 此本课题使 用 多 种 预训

 ，

练模 型对法律 判 决 书 文本进 行特 征提取 ， 提取到 的特征输入基于



Ｃ ＮＮ 以及 Ｌ Ｓ ＴＭ 的 分类模 型 中 对 判 决 书 进行 罪 名 预 测 。 本课题将预


训 练模 型 提取 的 特征 和 传 统模 型 提 取 的 特 征 做对 比 ， 基 于预 训 练模 型


的 特 征 明 显 超 过 传 统模 型 

。

２ 、 基 于 刑 事 判 决 书 的 事 理 图 谱 构 建 和 刑 期 预测 模 型 。
传统知 识


图 谱 大 多 关注 实 体 的 属 性和 关 系 知 识 ， 而 忽 视 了 事件 之 间 的 演 化 规律 

，

事理 图谱弥补 了 这
一

点 ， 事理 图 谱 中 的节 点为事件 ， 边为事件 之 间 的


演化关系 。 本 课 题 通 过对 判 决 书 的 文 本 进 行 预 处 理 ， 事 件抽 取 ， 事件


关系 抽 取 完成 了 事理 图 谱 的 构 建 通过计 算节 点 之 间 相 似度 的 方法 完

 。

成刑 期预测 

。

３ 、 基于事理 图 谱 的 辅助判 决方案生成系 统 。 在本课题提 出 的 两



个模 型 的 基础 上 使用 实现 个可视化系 统 接 收案情 描 述 作


一

， Ｐｙ Ｑｔ ，

为输 入 ， 输 出 包含 罪名 和 刑 期 预测 的 辅助 判 决方案结 果 ， 给司 法人员


和 人 民 群 众提供 法律 辅 助 

。

关键 词 ： 预 训 练模 型 事理 图 谱 辅助判 案 罪名 预测 刑 期 预测





１
 ＲＥ Ｓ Ｅ Ａ Ｒ Ｃ Ｈ Ａ ＮＤ  Ｉ Ｍ Ｐ Ｌ Ｅ Ｍ Ｅ Ｎ Ｔ Ａ Ｔ Ｉ Ｏ Ｎ Ｏ Ｆ Ａ Ｕ ＸＩ Ｌ Ｉ ＡＲ Ｙ

  

Ｊ ＵＤ ＧＭ Ｅ Ｎ Ｔ  ＴＥ Ｃ Ｈ Ｎ Ｏ Ｌ Ｏ ＧＹ  Ｂ Ａ Ｓ Ｅ Ｄ  Ｏ Ｎ  Ｅ Ｖ Ｅ Ｎ Ｔ  Ｇ Ｒ Ａ Ｐ Ｈ Ｓ



Ａｂ ｓ ｔｒａｃ ｔ



Ａ ｓ ｔ ｈ ｅｄ ｅｖ ｅ ｌ ｏｐ ｍ ｅｎｔ  ｏ ｆ ＡＩ  ｔｅ ｃｈ ｎ ｏ ｌ ｏ ｇ ｙ ， ｈ ｉ
ｇ ｈ ｅ ｒ  ｅ ｆｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙ  ａ ｎ ｄ



＂
ａｕ ｔ ｏ ｍ ａｔ ｉ ｏ ｎ  ｌ ｅ ｖ ｅ ｌ  ａ ｒ ｅ  ａ ｃ ｈ ｉ ｅ ｖ ｅ ｄ  ｉ ｎ  ｖ ａｒ ｉ ｏ ｕ ｓ  ｆｉ ｅ ｌ ｄ ｓ  Ｆ ｏ ｒ  ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ  ａｒ ｅ ａ  ．
，
Ｔｈｅ



＂
Ｓ ｍ ａｒｔ  Ｃ ｏ ｕ ｒｔ ｓ  ｉ ｓ  ｂ ｅ ｎｇｅｎｅｒｇｅｔ
ｉ ｉ ｃ ａｌ ｌ
ｙ  ｄ ｅ ｖ ｅ ｌ ｏｐ ｅ ｄ ｉ ｎ  Ｃ ｈ ｉ ｎ ａ ， ａ ｉ ｍ ｉｎ ｇ  ｔ ｏ



ｉ ｍ ｐ ｒ ｏ ｖ ｅ  ｔ ｈ ｅ  ａ ｂ ｉ ｌ ｉ ｔ ｉ ｅ ｓ  ｏ ｆ  ｃ ａ ｓ ｅ  ｈ ａｎ ｄ ｌ ｉ ｎ ｇ  ｆｏ ｒ  ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ  ｏ ｒｇ ａ ｎ ｓ  ｏ ｆ  Ｃ ｈ ｉ ｎ ｅ ｓ ｅ



＂ ＂

ｇ ｏ ｖ ｅ ｒ ｎｍ ｅ ｎ
ｔ  ． Ａｄｄ ｉｔ ｉ ｏ ｎ ａｌ ｌ
ｙ ，  Ｔ ｈ ｅ  Ｓ ｍ ａｒｔ  Ｃ ｏ ｕ ｒｔ ｓ  ｃ ａ ｎ  ｆ ｕ ｒ ｔｈ ｅ ｒ  ｅ ｎ ｓ ｕ ｒ ｅ
ｊ
ｕ ｄ ｉ ｃ ｉ ａ ｌ

ｎ ｅ ｓ ｓ  ａ ｎ ｄ  ｅ ｆｆｉ ｃ ｉ ｅ ｎ ｃ ｙ  ａ ｓ  ｗ ｅ ｌ ｌ  ａ ｓ
ｆａ ｉ ｒ

ｎ
ｐ ｏ ｐ ｕ ａ ｒ ｉ ｚ ｉ ｇ  ｔｈ ｅ  ｌ
ｌ ａｗ  ｔ ｏ  ｔ ｈ ｅ
ｐ
ｕｂ ｌ ｃ ｉ ．  Ｔ ｈ ａ ｔ

ｉ ｓｔ ｈ ｅｉ ｍ
ｐ ｏｒ
ｔａ ｎ ｔ  ｖ ａ ｌ ｕ ｅ ｓ  ｔ ｈ ａｔ  ｓ ｔ ｕ ｄ ｉ ｅ ｓ  ｏ ｎ  ａ
ｐｐ ｌ ｉ
ｃ ａｔ ｉ ｏ ｎ  ｏ ｆ  ＡＩ  ｉ ｎ  ｔ ｈ ｅ  ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ

ａｒ ｅ ａ ．  Ｔｈ ｉ ｓ  ａｒ ｔ ｉ ｃｌ ｅｍ ａｉ ｎ ｌ
ｙ  ｉ ｎ ｃ ｌ ｕ ｄ ｅ ｓ  ｔ ｈ ｅ  ｆｏ ｌ ｌ ｏ ｗ ｉ ｎ ｇ  ｔ ｈｒ ｅ ｅ  ｐ ａ ｒ ｔ ｓ 

：

１ ．  Ｈｙ ｂ ｒ ｉ ｄ  ｄ ｅ ｅｐ  ｌ ｅ ａｒ ｎ ｉ ｎ
ｇｍ ｏ ｄ ｅ ｌ ｂ ａ ｓ ｅ ｄｏ ｎ ｐ ｒ ｅ
－

ｔｒ ａｉｎ ｅ ｄ ｍ ｏ ｄ ｅ ｌ 

．

Ｐｒｅ ｔｒ ａ ｉ ｎ ｉ ｎ ｇ ｍ ｏ ｄ ｅ ｇ ｅｔｓｅ ｘ ｃ ｅ ｅ ｎｔ
 ｐ ｅ ｒ ｆｏ ｒ ｍ ａｎ ｃ ｅ  ｏ ｎ ｎ ａｔ ｕ ｒ ａ  ａｎ
ｇ ｕ ａｇ ｅ


－

ｌ ｌ ｌ ｌ ｌ

ｔ ａ ｓ ｋ ｓ  ｂ ｅ ｎ ｅ ｆｉ ｔ ｉ ｎ ｒ ｔ ｓ  ｏ ｆ ｎ ｏｖ ｅ ｌ  ｍ ｏ ｄ ｅ ｌ  ａｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ
ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｎ ｇ ｇ  ｆｒ ｏ ｍ  ｔ ｈ ｅ  ｓ ｕ ｐ ｐ ｏ
ｉ 


，

ｔｒ ａ ｉ ｎ ｉ ｎ ｇ  ｍ ｅ ｔ ｈ ｏ ｄ ｓ  ａ ｎ ｄ  ｍ ａ ｓ ｓ ｉ ｖ ｅ ｃ ｏ ｒ ｐ ｕ ｓ  Ｔ ｈ ｅ ｒ ｅ ｆｏ ｒ ｅ  ｖ ａ ｒ ｉ ｅ ｔ ｙ  ｏ ｆ  ｐ ｒ ｅ ．
，
－

ｔｒ ａｉ ｎ ｉ ｎ


ｇ

ｍ ｏ ｄ ｅ ｌ ｓ  ａ ｒ ｅ  ｕ ｓ ｅ ｄ  ｏ ｎ  ｆｅ ａ ｔ ｕ ｒ ｅ  ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ  ｏ ｎ  ｌ ｅ ｇ ａ ｌ  ｊ ｕ ｄ ｇ ｍ ｅ ｎ ｔ  ｔ ｅ ｘ ｔ ｓ  Ｃ ｈ ａｒ ｇ ｅ

 ．

ｗ ｉ ｌ ｌ  ｂ ｅ  ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｅ ｄ  ａ ｆ ｔ ｅ ｒ  ｉ ｎ ｐ ｕ ｔｔ ｉ ｎ ｇ  ｔ ｈ ｅ ｓ ｅ  ｆｅ ａ ｔ ｕ ｒ ｅ ｓ  ｉ ｎ ｔ ｏ  ｃ ｌ ａ ｓ ｓ ｉ ｆ ｃ ａ ｔ ｉ ｏ ｎ  ｍ ｏ ｄ ｅ ｌ ｓ

 ｉ

ｂ ａ ｓ ｅ ｄ  ｏ ｎ  Ｃ ＮＮ  ａ ｎ ｄ  Ｌ Ｓ Ｔ Ｍ  Ｔ ｈ ｉ ｓ  ｍ ｏ ｄ ｅ ｌ  ｉ ｓ  ｓ ｕ ｐ ｅ ｒ ｉ ｏ ｒ  ｔ ｏ  ｔ ｈ ｅ  ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏｎ ａ ｌ
．

ｍｏ ｄｅ ｌ 

．

２  Ｔｈ ｅｐ ｒｅ ｄ ｃ ｔ ｉ ｏｎ ｍ ｏ ｄ ｅ ｌｏ ｆ ｓ ｏ ｎ  ｔ ｅ ｒｍ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  Ｅ ｖ ｅ ｎ ｔ  Ｇ ｒ ａｐ ｈ  Ｏ ｎ ｅ


ｐｒ
． ｉ ｉ ．

ｄ ｉ ｓ ａ ｄｖ ａｎ ｔ ａ ｇ ｅ  ｏ ｆ  ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏｎ ａ ｌ  Ｋ ｎ ｏ ｗ ｌ ｅ ｄ ｇ ｅ  Ｇ ｒ ａ ｐ ｈ ｓ  ｉ ｓ  ｔ ｈ ａ ｔ  ｉ ｔ  ｉ ｇ ｎ ｏ ｒ ｅ ｓ  ｔ ｈ ｅ



ｅ ｖ ｏ ｌｕ ｔ ｉ ｏ ｎ ａｒ
ｙ  ａ ｗ ｓ  ｂ ｅ ｔ ｗ ｅ ｅ ｎ  ｅ ｖ ｅ ｎ ｔ ｓ  ｗ ｈ ｉ ｌ ｅ  ｍ ａ ｉ ｎ ｙ  ｆｏ ｃ ｕ ｓ ｅ ｓ  ｏ ｎ  ｔ ｈ ｅ  ａ ｔ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｓ
ｌ 
 ｌ

ａｎ ｄ  ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ ｓ ｈ ｉ ｐ  ｋ ｎ ｏ ｗ ｌ ｅ ｄ ｇ ｅ  ｏ ｆ  ｅ ｎ ｔ ｉ ｔｉ ｅ ｓ  ． Ｈ ｏ ｗ ｅ ｖ ｅ ｒ  Ｅ ｖ ｅ ｎ ｔ  Ｇ ｒ ａｐ ｈ
， ，  ｏ ｆ  ｗｈ ｉ ｃ ｈ



ｎ ｏ ｄ ｅ ｓ  ｄ ｅ ｆｉ ｎ ｅ ｄ  ｅ ｖ ｅ ｎ ｔ ｓ  ａ ｎ ｄ  ｌ ｉ ｎ ｅ ｓ  ｄ ｅ ｆｉ ｎ ｅ ｄ  ｅ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａｒ ｙ  ｒ ｅ ｌ ａ ｔ ｉ ｏｎ ｓ ｈ ｉ ｐ ｓ  ｍ ａ ｋ ｅ

 ，

ｕ ｐ  ｆｏ ｒ  ｔ ｈ ｉ ｓ  ｄ ｉ ｓ ａ ｄ ｖ ａｎ ｔ ａ ｇ ｅ  Ｔ ｈ ｉ ｓ  ａｒ ｔ ｉ ｃ ｌ ｅ  ｂ ｕ ｉ ｌ ｄ ｓ  ｔｈ ｅ  Ｅ ｖ ｅ ｎ ｔ  Ｇ ｒ ａ ｐ ｈ  ｔ ｈｒ ｏ ｕ ｇ ｈ
． 


ｆｅ ａｔ ｕ ｒ ｅ  ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ  ａ ｎ ｄ  ｅ ｖ ｅ ｎ ｔ  ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ
ｒｅ
ｐ ｒｏ ｃ ｅ ｓ ｓ ｎ ｇｔ ｅ ｘｔ ｓ ｏ ｆ ｈｅ ｕ ｄｇｍ ｅ ｎｔ 

－

ｉ ｔ
ｐ

ｊ ， 

ｅｘ ｔｒ ａｃ ｔ ｉ ｏ ｎ ．  Ｔ ｈ ｅｎ ， 
ｔ ｈ ｅ  ｐ ｒ ｉ ｓ ｏ ｎ  ｔ ｅ ｒｍ  ｉ ｓ
 ｐ ｅｄｉｃ
ｒ ｔｅ ｄｂ
ｙ  ｃ ａｌ ｃ ｕ ｌ ａ ｔ ｉ ｎ ｇ  ｔ ｈ ｅ  ｓ ｉ ｍ ｉ ｌ ａｒ ｉ ｔｙ



ｂ ｅ ｔｗ ｅ ｅ ｎ  ｎ ｏ ｄ ｅ ｓ 

．



ｌ
 ３ ．  Ａ ｕ ｘ ｉ ｌ ａｒ ｙ  ｊ ｕ ｄ ｇ ｍ ｅ ｎ ｔ  ｓ ｙ ｓ ｔ ｅ ｍ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  Ｅ ｖ ｅ ｎ ｔ  Ｇ ｒ ａ ｐ ｈ ｓ  Ｗ
ｉ ． ｉ ｔ ｈ  ｔｈ ｅ



Ａｐ ｐ ｌ ｉ ｃ ａｔ ｉ ｏ ｎ  ｏ ｆ  Ｐ
ｙ Ｑｔ ａｖ ，
ｉ ｓｕ ａｌ ｉ ｚ ａｔ ｉ ｏ ｎ  ｓ
ｙ ｓ ｔ ｅ ｍ  ｉ ｓ  ｂ ｕ ｉ ｌ ｔ  ｏ ｎ  ｔｈ ｅ  ｂ ａ ｓ ｉ ｓ  ｏ ｆ  ｔｈ ｅ



ｔ ｗ ｏ ｍ ｏ ｄ ｅ ｌ ｓ  ｍ ｅ ｎ ｔ ｉ ｏ ｎ ｅ ｄ ａｂ ｏ ｖ ｅ ．  Ｉ ｎ ｐ ｕ ｔｔ ｎ ｇ  ｄ ｅ ｓ ｃ ｒ ｐ ｔ
ｉ ｉ ｉ ｏ ｎ  ｏ ｆ  ａ ｃ ｃ ｄ ｅ ｎ ｔ ｗ ｈ ｉ ｌ ｅ
ｉ 


ｏ ｕ ｔｐ ｕ ｔ ｔｉ ｎ ｇ

ｔ ｈ ｅ  ａ ｕ ｘ ｉ ｌ ｉ ａｒｙ  ｊ ｕ ｄ ｇ ｍ ｅ ｎ ｔ  ｗ ｉ ｔ ｈ  ｂ ｏ ｔ ｈ  ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｅ ｄ  ｃ ｈ ａｒ ｇ ｅ  ａ ｎ ｄ  ｐ ｒ ｉ ｓ ｏｎ



ｔｅｒ ｍ ．  Ｔｈ ｉ ｓｓ
ｙ
ｓ ｔ ｅ ｍｗ ｉ ｌ ｌ  ｅ ｆｆｉ ｃ ｉ ｅ ｎｔ ｌ
ｙ  ｐ ｒ ｏ ｖ ｉ ｄ ｅ  ｌ ｅ ｇ ａ ｌ  ａ ｓ ｓ ｉ ｓ ｔ ａ ｎ ｃ ｅ  ｔ ｏ  ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ  ｓ ｔ ａ ｆｆ



ａ ｓ  ｗ ｅ ｌ ｌ  ａ ｓ  ｔｈ ｅ  ｐ ｕ ｂ ｌ ｉ ｃ 

．

Ｋ Ｅ Ｙ  Ｗ Ｏ ＲＤ Ｓ ：
ｐ ｒｅ
－

ｔｒ ａｉ ｎ ｉｎ
ｇ
ｍ ｏ ｄ ｅ ｌ  Ｅ ｖ ｅ ｎ ｔ  Ｇ ｒ ａ ｈ  ａｕ ｘ ｉ ｌ ｉ ａｒ  ｊ ｕ ｄ ｍ ｅ ｎ ｔ
；
ｐ ｙ ｇ ； 

；

ｃ ｈ ａｒ
ｇ ｅ  ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏｎ ；  ｐ ｒ ｅ ｄ ｉ ｃｔｉ ｏ ｎ  ｏ ｆ ｐ ｒ ｉ ｓ ｏ ｎ 
 ｔ ｅ ｒｍ





２
 目录



第 章 引言
一

 

１

１ ． １ 研究背景和 目 的及意义  

１

１ ． ２ 国 内 外研究现状  

３

１ ． ２ ． １ 人工智 能 在 司 法领域应用 现状  

３

１ ． ２ ２ ．
深度学 习 在 ＮＬＰ 以 及 司 法 领 域 的 研 究 现 状  

４

１ ． ２ ３ ．
事理 图 谱在 ＮＬ Ｐ 以 及 司 法领 域 应 用 现 状  

５

１ ＿ ３ 本课题 的 研 宄 内 容  

７

１ ． ４ 论文 的 组织结构  

７

第 二 章 相 关 技术  

９

２ ． １ 文本处理  

９

２ ２ ．
文本 分类  １ 

２

２ ２ ． ． １ Ｃ ＮＮ ｂ ａ ｓ ｅ ｄ
－

 Ｍ ｏ ｄｅ ｌ  １ 

２

２ ２ ２Ｌ Ｓ Ｔ
． ． Ｍ －

ｂ ａ ｓ ｅ ｄ Ｍ ｏ ｄ ｅ ｌ  １ 

３

２ ２ ３  Ａ ｔ ｔ ｅ ｎｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ  Ｍ ｏ ｄ ｅ ｌ
． ．
－

 １ 

５

２ ３ ．
知识 图谱  １ 

７

２ ． ３ ． １ 知识 图谱  １ 

７

２ ． ３ ． ２ 事理 图 谱  １ 

８

２ ． ３ ． ３ Ｎｅｏ４ ｊ
 ２０



２ ４ ．
本章小结  ２０



第 三 章 基于 预训 练模 型 提取特征 的 混合深 度 罪名 预测 模 型  ２ 

１

３ ． １ 数据 获取与 预处理  ２ 

１

３ ． １ ． １ 数据 获取  ２ 

１

３ 丄２ 数据预处理  ２２



３ ． ２ 模型 介 绍  ２３



３ ． ２ ． １ Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ  模型  ２３



３ ． ２ ２  Ｂ Ｅ ＲＴ 
．
模型  ２５



３ ２ ３ ． ． ＸＬＮ Ｅ Ｔ  模型  ２７



３ ． ３ 基于 预训 练模 型 提取特征 的 混合深度 罪名 预测 模 型  ３ 

１

３ ． ４ 实验及结果  ３ 

４

３ ． ４ ． １ 实验环境  ３４





１
 ３ ＿ ４ ２ ．
实验数据  ３ 

４

３ ． ４ ． ３ 基线模型  ３ 

４

３ ． ４ ４ ．
实 验 设置 和 评价 指 标  ３ 

４

３ ． ４ ５ ．
实验结 果及分析  ３ ５



３ ． ５ 本章小结  ３ ５



第 四 章 基 于 刑 事判 决书 的 事 理 图 谱构 建和 刑 期 预测 模型  ３ ７



４ ． １ 基于 刑 事 判 决书 事理 图 谱 的 构 建方 案  ３ ７



４ ２ ．
事件抽 取  ３ ８



４ ． ３ 事件关 系 抽 取  ３ ９



４ ４ ．
构建 图谱  ４０



４ ５ ．
图 谱可视化  ４０



４ ６ ．
刑 期 预测 与 实验  ４２



４ ６ ． ． １ 实验数据和 实验环境  ４２



４ ６ ２
． ．
刑 期 预测  ４３



４ ６ ３
． ．
评价指标  ４４



４ ６ ４
． ．
基线模型  ４４



４ ６ ５ ． ．
实验结果  ４４



４ ７ ．
本章小结  ４５



第 五 章 基 于 事理 图 谱 的 辅助 判 决方案生成系 统  ４６



５ ． １ 需求分析  ４６



５ ． １ ． １ 上传 案 情 描 述  ４６



５ ． １ ． ２ 罪 名 预测  ４６



５ ． １ ． ３ 刑 期 预测  ４７



５ ． ２ 其他 预测 系 统  ４７



５ ． ３ 系 统架构  ４８



５ ． ４ 系 统实现  ４８



５ ４ ． ． １ ＰｙＱ ｔ 介绍  ４８



５ ． ４ ２． ＵＩ  设计  ４９



５ ４ ３ ． ．
功 能实现  ５ ０



５ ． ５ 系 统展示与测 试  ５２



５ ． ６ 本章小结  ５ 

４

第六章 结论  ５５



参 考文献  ５６





２
麵  ６ 

１

攻读硕 士 学 位期 间 发表论文  ６３





３
 第 章 引言
一

 



第 一

章 引言



研 究背 景 和 目 的 及 意 义


＊

１ ． １

在当今时代 方面随 着我 国 法律体系 体制 的 发展与 健全 普通 民 众对法



一

， 、 ，

律的 了解 认 知 程度 不 断提 高 另 方面历 史遗 留 案 件在 不 断 累 积 各类 新 的 案


一

、 ， ，

件层 出 不 穷 Ｗ 。 根据 最新版 的 《 最高人 民法院工作报告 》 ， ２０ １ ９ 年最 高人 民法 院




共 受理案件 ３ ８４９ ８ 件 ， 已经审 结 的 案件有 ３ ４４ ８ １ 件 ， 同 比 分别 上升 １ ０ ７

．
个百 分


点和 ８ ２ ．
个百分点 ； 地方各级法 院 受理案件共计 ３ １ ５６ ７ ．
万件 ， 审结 、 执结案件共


计 ２９０２ ２ ．
万件 ， 同 比分别 上升 １ ２ ７ ．
个百分 点和 １ ５ ． ３ 个百分点 。
而 随着这些各类


法 律 案 件 的 裁 决 书 或 判 决 书 数 量 的 不 断 增 加 各 类 司 法相 关 工 作 者 在 了 解 法 律 案

 ，

件 的 过程 中 或是 在进 行 司 法学 习 的 过程 中 都 需要针对这些海量 的 相 关 真实 案例

 ，

的 记 录 以 及 审 理 文 件进 行 查 阅 和 分析 这 就使 得 司 法相 关 人 员 的 工 作 任 务 越 来越

 。

繁杂 ， 不仅 增 加 了 相 关 工作 的 失 误率 ， 也会使得执行相 关法律法规 的 效率变得越



来越低 下 。 此外 ， 广 大 有 监 督 权 利 的 人 民 群众 、 案件 的 相 关 人 员 以 及对法律 案例



有学 习 需求 的人员 都需要 个合 理 的 法律平 台 环 境 去 了 解法律 工作 执 行 的 进度



一

以 及结果 ， 方 便 快捷 的 了 解相 关法 律 法规 或是类 似 的 法律 案 例 。
所 以 利用 海量 的



法律判 决书 文件进 行信 息 收集 以 及信 息 过滤 并从 中 发掘 出 与 ，
目 标案例 相 关 的 相


似案例 并进 辅助判案 ， 这成为 了 解决该类 问 题 的 行 之有 效 的 手段 

。

我 国 现有 的 司 法体系 架构 表 明 ，
我 国 的 所有法律条例 均 属 于 制 定 法 ， 也称为


成文法Ｍ 成 文 法主 要 是 指 具 有 编 写 或 修 改法 律权利 的 国 家 机 构 依 照 定 的流程


一

制 度颁布 出 的 表现为 明 确 条文样式 的 规 范 性 的 法律相 关 文件Ｗ 。 也有说法将其特



指 为 国 家 立法相 关机构 以 公开 的 方式赋 予 法律 文 书 以 规 范 性 的 效 力 成文法不仅

 。

仅包括 国 家权 力 机构 颁布 的法律法规 也包括 国 家 中 央行政机关和 地方 国 家权 力


 ，

机关和 行政机关 在 职权范 围 制 定 发布 的 规范 性 法律文件 现有针对法律 案件



２
内 ［ ］
。

的判决 ，
往往 只 是 司 法工作 者根据 自 身 对 该 案件 的 理 解 ， 依 据 过往 的 判 决经验 选


择合适 的 法律法规进 行判 决 。 而不 是依 靠与 历 史案例 的 审 理 、 办理 以及裁定结果


进 行对 比来辅助 当 前 需 审 判 结 果 的 案 例 的 最 终判 决结 果 这 也 就造 成 了 以 下 的 后

 。

果 

：

（
１
） 司 法工作者没有充分 以 历 史案例 为辅 ，
新产生 的 案例 也大 多 仅仅作为案


例 记录而存 在 。
随着 时 间 的 推移 ， 司 法案例 的 累 积会给 司 法 工作 者找 寻 相 关 历 史


案例 记录带来 困 扰 。
同时 ， 大数据 时 代 的 环境 背 景 下 ， 海量 级 的 案例 ， 使得相 关


人 员 无 法快 速 并 充 分 利 用 相 似 的 历 史 案 例 的 数 据 资 源 间 接 的 造 成 了 资 源 浪 费 和

 ，



１
 北京 邮 电大学工 学硕士学位论文 




数据鸿沟 

。

司 法工作 的 主观化 我国现只 有 套完成 的法律体系 基于我 国 法律体



一

２ 。 ，
（ ）

系下 ，
各个地方 的 司 法系 统 因 地域 的 相 对 性均 具 有 自 己独特 的 适用 方法 。 不同地


域 的 司 法 工作 者 对法律 的 认知 、 犯罪情节 的 判 定 、 对 案 件 的 审 判 结 果 的 理 解均 具



有 定 的主观性 不 同 地方 的 地方文化 人文 因 素 等差 异 也会 间 接导 致相 同 案情


一

。 ，

不 同 的 量刑 结果 

。

随着数字 时 代 的 到 来 ， 人 民法 院等 司 法机构 的 信 息化程度 的 不 断提高 ， 云平



台 大 数据 等技术 的 飞 速 发展 以 及对应 硬件存储 设施 的 性 能提升 ，
使 得 将 司 法记 录



文件 电 子化成为 了 现实 时 间 累 积 下 的 大量 的 司 法案件产 生 了 海量 的 司 法相 关数

 。

据 这 些数据 成为 了 引 入人工 智 能辅助 司 法判 决 的 基础 另 方面 随着 中 国 司



一

，
。 ，

法体系 不 断 的 深化 改革 ， 增 加 了 应 用 人工 智 能 的 可 能 。 ２０ １ ２ 年 １ ０ 月 ９ 日 ， 中 国



国 务 院新 闻 办公室发表 的 中 国 的 司 法改革 》 书 强调 切 实 维护 社会 的 公平 正


一

《 ：

义 需 要法 院 在 办 理每 件刑 事 案件 的 时 候 以 司 法准 则 作 为 准 绳 由 于 中 国 现有


一

， 。

国 情 决 定 了 司 法人 员 司 法水 平 存 在 明 显 差 异 ， 地 方 保护 主 义 依 然 盛 行 。 近年来 

，

法律主 管 单 位 致 力 于 量刑 规划 ，
试 图 建立起 司 法案 例 体系 ， 极大的规范化 了 司 法


进程 。 量 刑 协商 是认罪认 罚 从宽 制 度 的 关键所在 。
缺 乏规范性 的 量刑 协商 不利 于



认罪认 罚 从宽 制 度 的 发展 并有损 司 法公 正 ，
。 案例 指 导 制 度 契合 了 规 范量刑 的 需



要 有 利 于 促进 量 刑 协 商 结 果 的 公 正 性
，
我 国 作 为 成文法 国 家 ， 追求量刑 的 精确


无法 以 不 断修 改 制 定 法 的 形 式来 实现 而 相 对 宽 松 的 量刑 幅度 又让法 官拥 有 了 较

 ，

大的 自 由 裁量权 。 且 我 国 现 行 刑 事 诉 讼 中 的 量 刑 模 式 量 刑 程序 的 独 立 性 不 足 ，


，

量刑 过程不够 公开和 透 明 ， 法官量刑 方面 的 自 由 裁量权缺 乏 必 要 的 限 制 和 监 督



［
４］
。 不 同 地域 、 不 同 时 期 和 不 同 个案 间 的 量刑 偏差 现 象依然存 在 并表现 出 非合理

 ，

因 素影 响 量 刑 的 异 常 状态 其原因 方 面 是 由 于 量 刑 规 范化 改革 的 规 范程度 不


一

方面 量 刑 规 范化 改革 既 不 能 消 除法 官
“

足 量 刑 程序存 在 形式化 缺陷 另 

一

， ； ，

个体 的 差别 ， 也 无 法抑 制 非 合 理 因 素 的 影 响 。 为此 ， 应 当 完 善量刑 诉讼构 造 ，


有
效 实 现量 刑 监 督 与 制 约 合理配置 审 判 资 源 保证 审 判 管 理科学 与 统 加 强量


一

， ，
，

刑 活动 指 导 ， 抑 制 案外 因 素干扰与 影 响



随着近年来大数据 以 及 云 计算平 台 等现代科技 的 高速发展 ，

国 内 外司 法机


关 、 律师事务所 、 公 司 纷 纷 将 人 工 智 能 引 入 司 法领 域及 法律服 务 领 域 ， 法律 智 能



应用 系 统从基于规则 的 法律专 家系 统过渡 到 基于 大数据 的 法律人工 智 能系 统 在


 ，

辅助法官 办案 、 服务 律师 、 社会 公众方面正 在 不 断取得新 的 成就 。

但是 ， 因系统


建 设 整 体规 划 、 顶层 设 计相 对缺 乏 ， 功 能上存在很 大提升 空 间 ，
尤其 是对 案件预


判 预测 的 功 能 存在 缺 失 ， 数据 收 集 共 享 应 用 上 存 在 诸 多 薄 弱 环 节 ，
技术上面临诸


多挑战 不 少 学者 在 司 法领域 中 开 发 了 各类辅 助判 案系 统 但大 多 存在功


［
６６ ６７ ６８］
， ，

。 ，



２
 第 章 引言
一

 



能单 等问题
一



。

为 了 更 好地 利 用 历 史法 律 案 例 的 判 决 数 据 来 辅 助 司 法 人 员 的 工 作 本课题 以

 ，

刑 事 案 件判 决书 中 的 案情 描 述作 为 模 型 的 输 入 输 出 相 应 刑 事 案 例 的 罪 名 与 刑 期

 ，

预测 ， 多 种 历 史案例 之 间 的 事理体系 等 问 题进 行 了 研 究 。
本课题 的 研 究对 象 是 司



法 数 据 中 的 案 件判 决 书 ， 由 于 历 史案例 文本数量庞 大 、 案情复杂 、 文本 内 容冗余



较 多 以 及 案件重 点 分 布 不均 匀 等 问 题 采 用 传 统 的 人工 方法无法 有 效地将 其 转 换

 ，

为 决定判 决 案件 的 关键信 息 本课题 正 是对 收集 到 的 案例 判 决文件进 行 文 本 内 容


 。

信 息挖掘 ， 结 合文本预 处理 、 双 向 深度神经 网 络 、 注意 力 机制 以 及事 理 图 谱等 模



型 方法 来 研 究 ，
并最终实现基于 事理 图 谱 的 辅助判 决方 案生成模 型 

。

１ ． ２ 国 内 外 研 究现状



本课 题分别对人工智 能 在 司 法领域 中 的 研 究现状 、 深度学习 架构 Ｃ ＮＮ 


、

Ｌ Ｓ ＴＭ 以及 ａｔ ｅ ｎ ｔ ｉ ｏ ｎ 机制 在 自 然语 言 处理领域 以 及 司 法领域 的 研 究 现状 知 识 图

 ，

谱 、 事 理 图 谱 在 司 法领域 的 应用 现状做 出 了 汇总 分析 ， 本节将对 上 述相 关 内 容 的




国 内 外 研 究 结 果进 行 汇 总 分析 

。

１ ． ２ ． １ 人 工 智 能 在 司 法 领域 应 用 现 状



国 外 的 相 关研 究 者 早 在 ９０ 年代就 己 经开始 对人工 智 能 在 司 法领域 的 应用 研



究进行 了 开 展 ， 在案件 的逻辑推理方面 ， 所有基于案例 的推理 （ Ｃ ａｓ ｅｂ ａｓ ｅ ｄ



ＣＢＲ 都采用 了 些 从案例 进 行 归 纳 的 方法 以 支持索 引 编制和 相 关



一

ｒｅ ａｓ ｏ ｎｉ ｎ ）
ｇ ，
，

性评估 ， 并 证 明 了 两 种 基本 的 推 理 方法 ： 通过跟踪过去 案例 的 解决方案来 限制 搜



索 ， 或者 通 过将 案 例 与 过 去 案例 进 行 比 较来评估 案例 Ｗ 。 在 历 史 案例 分类方面 

，

等人 ７］
使 用 决策树算法 构建了 个使 用 历 史案例 数据进 行推理分析 

从
一

Ｓ ｃ ｈｉ ｌ ｄ
［

， ，

而预测 最 终 的 量刑 结 果 的 模型 系 统 该模型 主 要 是根据 用 户 的 输 入 案 例 判 决 书 进


 。

行相 似度 匹配 ， 与 历 史案件进行 匹配 ， 从而 依 据 历 史案例 的 判 决对 新 的 刑 事 案 例


进行预测 。 Ａ ｓｈ ｌ ｅ
ｙ 等 人 ％构 建 了 历 史 案 件 的 数 据 存 储 系 统 ， 当 用 户 输入新 的 刑 事


案例 ，
使 用 决 策树算 法从数据 库 中 选择相 似 的 案例 ， 并给 出 相 应 的 判 罚 结果 。


在
法律法规 的 逻辑推 理方面 ， Ｐａ ｌ ａｕ 等 人Ｍ 重 点 关 注 了 法律 判 决书 中 的 律 师辩 论环



节的文本资料的信息挖掘 ， 通过 自 然语 言 处理等技术 ， 对 相 应 的 文本 内 容进 行 界


ｎ
定 ， 最 后通过使用 贝 叶斯 分类 网 络 等模型 〖
１ Ｑ ， ］

来验 证输 出 结 果 的 准确 性 

。

在 司 法数据 收集 及 预 处 理方面 ，
Ｑ ｉ ｎ 等人 从 数据 需 求 的 定 义 ，
数据 列 表 的



生成 ，
数据标准 的 制 定 ，
数据标 准 的 批准 以 及数据使用 的 标准等方面研 究 司 法数


据标准 的制 定 。 该标 准 可 用 作 司 法 数 据 仓 库 的 基 础 ， 可 以 提 高司 法数据 系 统 的 数


据 致性和 数据 可用 性 为 了 准确 描述 案件信 息 的 性质 及其各 个维度 Ｌ ａｎ 等人


一

。 ， ｉ



３

北京 邮 电大 学工学硕士学位论 文 



［
１ ３ ］

借助 六元信 息 论和 粗糙集相 关 知 识 ，
构 建并 量化 了 文 件 的 数据质 量评价标准 

。

等人 提出 了 种 基 于 数据和 文本 的 挖掘 技 术 以 支 持法律 从业者 和 研 宄 学



一

Ｔａ ｌ ｉ ｂ

者进 行追踪所 需 的 信 息 ，
并 确 定 与 其 相 关 案例 有 关 的 所有 案例 

。

国 内 针对 司 法领域 人 工 智 能 算法 的 应 用 方 面 ， 主 要集 中 在对 刑 事 案件 的 分类


上 。
髙 菲 等 将 机器 学 习 中 的 经 典 分类 算 法支 持 向 量 机 （ Ｓ ｕｐｐ ｏ ｒ
ｔ Ｖｅ ｃ ｔ ｏｒ Ｍ ａｃ ｈ ｉ ｎｅ 

，

Ｓ ＶＭ ） 用 于 辅助 量刑 中 ，
试 图 通过构 建 以 ＳＶ Ｍ 为 核 心 的 量刑 分类模 型 来辅助相


关法律从业人 员 ， 减少 量刑 过程 中 的 地域偏 差 和 不 公 正 的 行为 。 主要 的做法是通



过构建辅助量刑 专家系 统 的 架构 ， 以 盗窃 罪作为研 究 文本集 ， 重 点探索 了 系 统实



Ｗ
现 的步骤 以及细节 ［
１ ６
。
针对不 同 案件 文本 的 信 息 分布 不 均 匀 等特 点 ，
程春 惠 等


人 提 出 了 针 对 法律文 本 的 预 处 理方 法 ， 并 对 比 了 不 同 的 法 律 文 本 特征 选择 方法 

。

程春 惠 等人主 要使用 的 模 型 是 改进 的 多 变量 贝 努里模型 该模 型可 以 有 效地解



［
１ ８］
，

决 不 同 法律案 件 的 所属 类别 分布 不均 匀 的特点
［
１ ９］


。

通过对 国 内 外在 司 法领域 引 入传 统人工 智 能 算法 的 研 究汇 总 ， 可 以看 出 过去




学 者 往 往 依 靠 简 单 的 分类 模 型 对法 律 罪 名 、 法 律 分类 等 方 向 进 行 了 研 究 。 在整个


处理过程 中 ， 需 要对历 史相 似案例 进 行界 定 ， 或者依靠简 单 的 深度 网 络等模 型进


行 预测 ， 这 也就造成 了 对 人力 资源 的 过度使用 。 随着神 经 网 络 的 发展 以 及 自 然语


言 处理 （ Ｎａ ｔ ｕ ｒ ａ ｌ  Ｌ ａｎ ｇ ｕ ａｇ ｅ  Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ， ＮＬ Ｐ ） 技术 的 进步 ，
将二 者有机地结合起来 

，

可 以 表现 出 更好 的分类效果 

。

１ ． ２ ２ ．
深度 学 习 在 ＮＬ Ｐ 以 及 司 法 领域 的 研 究现状



ＮＬ Ｐ 从本质 上来说 ，
是 人工 智 能 领域 的 分支 领域 ， 主要专注于对人类 自 

然
语 言 的 理解 以 及 人机交互等 方面 。 ＮＬ Ｐ 最早 的 研 究可 以 追溯 到 图 灵 计算机时代 

，

也 就 是传 统 意 义上 的 以 规则 为 背 景 的 研 究方法 包括现在 仍然流行 的 统计学模型


 ，

方法 。 ＮＬＰ 领域 的 模型从最开始 的 传 统概率学分类 网 络 ， 到 现在主流 的卷积神



经 网 络等深 度 学 习 方法 。
随着 ＮＬＰ 领域 的 不 断进步 ， 越来越 多 的 学 者 将 ＮＬ Ｐ 

模
型 与 司 法领 域 的 大量文 本 内 容 有 机 结 合 通过对 司 法判 决过 程 中 产生 的 文 本 数据

 ，

信 息进行处理 ， 提取 中 其 中 有用 的 关 键信 息 ， 结 合深度神 经 网 络等 算法是 目 前司




法领域较 为 主流 的 研 究 方 向 之 一



。

在 国外对 ＮＬ Ｐ 与深度学 习 结合 的研 究 中 Ｌ ａｍ ｅ 等人 介绍 了 种 识别 本体


一

组件 的 方 法 。 该 方法依赖于 自 然 语 言 处理 （ ＮＬ Ｐ ） 技术 来 提取概念 以 及 这些概念



之间 的关系 。 该 方法在法律领域得到 了 应 用 ，
以 构 建专 门 用 于信 息 检索 的 本体 

。

Ｍ ｉ ｋｏ ｌ ｏ ｖ 等人Ｗ构 建 了 从大规模 的 数据集 中 构 建文本单词 的 矢量表示 的 模 型 。



在
单 词 意 义 相 似 度 检测 的 任 务 中 ，
将其 与 不 同 类 型 的深 度神 经 网 络进 行对 比 ， 表现


出 最佳 的 分类性 能 。
在 经 典 文本数据 集与 深度 神 经 网 络 结 合 的 方面上 ，
Ｃｏ ｌ ｌ ｏｂ ｅｒ


ｔ



４
 第 章 引言
一






等人
２
提出 了 个句 子含 义 识 别 的 卷 积 神 经 网 络 模 型 通过输入 的 句 子 识别句


一
１
［ ］
， ，

子 中 的 词 语标签 、 词 语 性质 、 以 及找寻 相 似结 构 的 句 子 。 整个 网 络 进 行 训 练 ， 

联
合使用 重量共享 实例 所有这些任务 多 任务 学 习 Ｚ ｈ ａｎ ｇ 等人 提出 了 种字符


一

，
。

级卷 积 网 络 （ Ｃ ｏ ｎｖＮ ｅ ｔ ｓ ） 进 行文本分类 的 实证研 究 。 Ｌ ａｉ 等人 ［

２ ３
］

使用 经典 的 递归



卷积 神 经 网 络 （ Ｒ ＮＮ ） 来进行 文本 分类 。 在模型 训 练过程 中 ，

当 学 习 单词 表示



时 ， 使用 特定 的 递归 结构 来 识别 文本 之 间 的 关系 ， 该方法与 传 统 的 固 定 大 小 的 卷


积窗 口 相比 这可 能会 引 入更少 的 噪 声 同 时还采用 了 个最大池化层 该层可


一

，
。 ，

以 自 动 判 断 哪 些 单 词 在 文 本 分 类 中 起 关 键作 用 ， 以 捕 获 文 本 中 的 关键组成 部 分 

。

等人 提出 了 个新颖 的 统 模型 Ｃ Ｌ Ｓ ＴＭ 用 于句 子 表示和 文 本 分类
２４］ 一 一

Ｚｈｏｕ ［ －

， 

。

Ｃ Ｌ Ｓ ＴＭ 利用 Ｃ ＮＮ 提取 系 列 高级短语表示 形 式 并馈入长期 短期 记忆 递归 神


一

经网络 （ Ｌ Ｓ ＴＭ ） 中 以 获取句 子表示形 式 。 Ｃ Ｌ Ｓ ＴＭ－

能 够捕获短 语 的 局 部特征 以



及全局 和 时 间 句 子语义 。 Ｊｏ ｔ
ｙ 等人 ［
２５］
提 出 使用 深度神经 网 络 （ Ｄ ＮＮ ） 学习 有意



义 的 特定 于 任 务 的 嵌入 ， 然 后 将 其合 并 到 用 于 多 任 务 设置 的 条件 随 机场 （ Ｃ ＲＦ 

）

模型 中 ， 从而对复杂 的 图 结构进行联合学 习 。 尽管 Ｄ ＮＮ 在接受训 练 以 生成嵌入




时 获得 了 竞 争性 的 结 果 ， 但是利 用 嵌入和 任务之 间 的 依存关系 的 Ｃ ＲＦ 可 以在各



种 评估指 标上 显着 ， 持续地 改 善结 果 

。

现有 ＮＬＰ 领域与 深度神 经 网 络结合 的研 究 中 ， 可 以 发现无论 是 Ｃ ＮＮ 还是



ＲＮＮ 模型 ， 当 输入 的 文本信 息 数据 级非常庞大 的 时候 ， 模型难 以 有 效 的 学 习 到



合理 的 文本含义表达 ， 有 学者 在此基础 上 引 入 了 注 意 力 （ Ａｔｅｎ ｔｉ ｏｎ ） 机制 。 注意




力 机 制 是深度 网 络 中 的 个模 块 通过对 不 同 的 词 向 量 赋 予 不 同 的 权重 值 对不


一

， ，

同 的 句 子 赋 予 不 同 的 权 重 表示 ，
能 够 直观地 观察 到 句 子 中 不 同 词 语 之 间 的 联系 

，

文本 中 不 同 句 子 的 上下 文关系 可 以 有 效地提高文本分类准 确 率 Ｙａ ｎ ｇ 等人 ［
２６］


， 。

提出 了 个用 于 文档 分类 的 分层 注 意 力 网 络 他 们 的 模 型 具 有 两 个鲜 明 的 特 征
一

。 

：

具 有反 映文档 层 次结 构 的 层 次 设计 具 有 在 单词 和 句 子层次上应 用 的 两 个层 次 的

 ；

注 意 力 机制 ， 使其 能够越来越少 地参 与 构 建 文档 表 示形 式 时 的 重 要 内 容 。 Ｓ ａ ｃ ｈ ａｎ



等 人＠提 出 自 学 习 框架 ， 分别 构建 了 迭代训 练 问 题 生成模型 与 答案选择模型 。 


在

模 型 的 训 练过程 中 ， 也 引 入 了Ａ ｔ ｅ ｎｔ
ｔ ｉ ｏｎ 机制 的序列 间 模型 ， 用 以 解决文本段落


生成等 问 题 。 整个模 型 的 训 练采 用 了 无标签 的 数据 来标 记 隐 标 签 ， 从而达 到 了 扩


充 训 练数 据 集 的 目 的 ， 整体模 型 的 效 果要 比 同 类型 模 型 更好 

。

１ ． ２ ３ ．
事理 图 谱 在 ＮＬＰ 以 及 司 法 领域 应 用 现 状



基于 不 同 任 务和 不 同 知 识 的 答 案选 择方法有 效地 扩增 了 数据集 所蕴 含 的 有


效信 息 通过外部 些逻辑信 息 的 辅助 将 问 答 模 型 或 是 分类 模 型 的 效 果 提 高 到


一

， ，

新 的层次 ， 是 近年 司 法 领 域 研 究 的 热 点 与 突 破 点 。 为 了 探讨职业法律意 义与 社会





５
 北京 邮 电大学工学硕士学位论文
 



认知 之 间 的关系 ， Ｌ ｉ ａｎ 等人 Ｗ使用 知 识 图 谱来构建社交媒体与 专 业法律数据法



“ ”

律实体之 间 的 关系 网 络 并介 绍 知 识 图 谱 的 相 关方法 知识 图谱 这 术语可



一

， 。

”
表示广义上 的 知 识库
“
以 有两层含义 如 果认为 知识 图谱 是 种 用 以 存储知


一

。 ，

“ ” “ ”

识 的本体 那么 事理 图 谱 则是 种 存 储 事 理逻辑 关 系 的 知识 图谱
一

，


。

不 同 的 事件 是 构 成 人类社 会 的 重要 因 素之 人类 的 各种 社 会 学活动 或行为



一

般是 由 不 同 的 事件驱动 的 且 不 同 的 事件 之 间 往 往会 存 在 着 常识 意 义 上 的 因 果


一

衍化关系 。 例如 ， 人类 在 下 班后 会 回 到 自 己的家中 ， 生 病 的 时 候 会 去 寻 找 医疗诊



断等 这种 事件 之 间 相 继 发生 的 演 化规律和 模式是 种 很有 价 值的 知识 具有十


一

。 ，

分重要 的 商 业和 社会价 值 ， 事理 图 谱 ［
２９］
就 是对这种 演化规律和 模 式 的 描述 。
事件


的演变 和 发展具有 其 自 身 的 基本原 理 ， 这些 基本 原 理使 事 件顺 序 发 生 。 因此 ，


发
现 事 件 之 间 的 这种 进 化 模 式 对 于 事 件 预 测 决 策 和 知 识 系 统 的 模 型 过程 设 计具 有

 ，

重 要 的 价值 。
但是 ，
传 统知 识 图 主 要 关注实体及其 关系 ， 而 忽 略 了 现实世界 中 的



事件 

。

事件 的 演 变和 发 展 具 有 其基本 原 理 ， 导 致事 件 顺 序 发 生 。 因此 ，
发现事件之


间 的 这种 进 化模式对 于 事件 预测 ， 决 策和 对 话 系 统 的 场 景 设 计 具 有 重要 的 价值 

。

Ｌ ｉ 等 人＿提 出 了 事 件进化 图 （ Ｅ ｖ ｅ ｎｔ Ｅ ｖ ｏ ｕ ｔ  ｌ ｉ ｏ ｎ ａ ｒ ｙ  Ｇ ｒ ａｐ ｈ ， ＥＥ Ｇ ） ， 它揭示 了 事件



之 间 的 进化 模 式和 发 展逻辑 具 体 的 做法是通过识 别 事件 之 间 的 顺 序 关 系 和 每个

 。

顺序 关系 的 方 向 来构 造 ＥＥＧ 。 对 于 顺序 关 系 和 方 向 识 别 ， 并 且 探 索 了４ 类 特 征


的 有 效性 ： 基于计数 ， 基于 比率 ， 基于上 下 文和基于 关联 的特征 ， 用 于 正确 识别


顺 序 关 系 和 相 应 方 向 脚本 事 件 预测 需 要 个模 型 来 预测 给定 现 有事 件 上 下 文 的


一

后 续事件 。 基 于 事 件 对 或 事 件 链 的 先 前 模 型 无 法充 分 利 用 密 集 的 事 件连 接 ， 这可



能 会 限 制 其 事 件 预测 的 能 力 为 了 解 决这个 问 题 常 见做法是构 造 个事件 图

一

。 ， 

，

以 更 好 地 利 用 事 件 网 络 信 息 进 行 脚 本 事 件 预测 。
首 先 从大 量新 闻 语料 库 中 提 取 叙


事事件链 ， 然 后 根 据 提 取 的 链构 建叙 事事 件进化 图 （ Ｎ ａｒｒ ａ ｔｉ ｖ ｅ  Ｅ ｖ ｅ ｎｔ Ｅ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｒ ｙ




Ｇ ｒ ａｐ ｈ ， ＮＥ Ｅ Ｇ ） 。 ＮＥＥ Ｇ 可 以 看作 是 描述 事件进化 原 理和 模 式 的 知 识 库 。 为了解



决 ＮＥＥ Ｇ 上 的 推 理 问 题 等人 提出 种可缩放 的 图神 经 网 络 Ｇ ｒ ａｐ ｈ
３
了
一

Ｌ
１

Ｓ ｃ ａｌ ｅ ｄ  

［ ］
， ｉ （

Ｎ ｅ ｕｒ ａ Ｎ ｅ ｔｗ ｏ ｒ ｋ
ｌ ， Ｓ ＧＮ Ｎ ） 来建模事件交 互 并学 习 更好 的 事 件表示 。 Ｓ ＧＮ Ｎ 每次


都 只 处理相 关 的 节 点 ， 而 不 是在 整个 图 形上 计算表示 ， 这 使 得 整 个新 模 型 对 大 规


模 图 形可行 。 抽 象 因 果 关 系 网 络 是 从 特 定 网 络 中 概括 出 来 的 ， 抽 象事件节 点 由 

频
繁共现 的 单词对表示 为 了 执 行 事 理 图 谱 中 的 嵌 入 任务 Ｚ ｈａ ｏ 等人 ３ ２］
设计 了


一

［
。 ，

个双 重 因 果 转换模型 ， 并 且可 以 获得较为 简 单 的 因 果 关 系 模 式 ， 同 时 简 化 了 事件


匹配 。 事理 图 谱 也被广泛应用 于智 能金 融 、 智能司法 、 国 际 关 系 分析等领域 。


现
有针对 事理 图 谱 的 研 究 表 明 ， 事理 图谱 的 图谱节 点均 由 不 同 的 、 具有实 际意义 的



事件构 成 ， 且 在和 事件相 关 的 分类 、 预测 等任务上取得 了 良好 的表现 ，

但是还没





６
 第 章 引 言
一






有 研 究直接将 其应 用 到 消 费 意 图 识别 、 消 费 意 图 预测 等其他 任务 。 我们 基于 以 上



的种种考量 ， 提 出 将事理 图 谱应 用 于 智 能 司 法领域 ，

在 事 理 图 谱 中 引 入 司 法关系


节点 ， 构 建更 符合社会学 、 司 法学规律 的 图 谱模 型 ， 进而将 其应 用 于 最 终 的 辅助


刑 期 界定 以 及法 官 判 罚 

。

１ ． ３ 本 课 题 的 研究 内 容



本课题通过分析 司 法数据 集 ，
将结 构化 的信 息 融入事理 图 谱 中 ， 提升算法 的



准确 率和 召 回 率 同 时利 用 对抗 学 习 优化 文本生成效果 生成 案件辅助判 决 结 果
；
， 

，

并把 以 上功 能集合成 个基于 事理 图 谱 的 辅助判 决方案生成 系 统 具体工作如



一

下 

：

（
１
）
基于 预 训 练模 型 的 混 合深 度 刑 期 预 测 模 型 ， 基于刑 事判 决书 ， 研究并构


建 了 基于 Ｂ Ｅ ＲＴ 和 混 合 深 度 学 习 的 刑 期 预测 模 型 。
对于 判 决书 这类长 文本 ， 为了



保 留 文本 的 结 构 信 息 ， 本课题使 用 Ｂ Ｅ ＲＴ 作 为 文本 向 量提取 工具 ， Ｂ Ｅ ＲＴ 对于文



本 中 的 关 键信 息 有 很好 的 把 握 能 力 。 下游模型使用 Ｃ ＮＮ Ｌ Ｓ Ｔ Ｍ
－ －

Ａｔｅｎ ｔｉ ｏｎ 混合模


型 。 基于 Ｃ ＮＮ 的 局 部特征提取 能 力 和 Ｌ ＳＴＭ 处 理序 列 问 题 时 更 好利 用 上 下 文信


息的能力 ， 与 Ｃ ＮＮ 形成 了 优势互补 ， 并且针对 长文本 的 特征稀疏 问 题 ， 引 

入
Ａ ｔ ｅｎ ｔｉ ｏ ｎ 机制 

。

（
２） 基于 刑 事 判 决 书 的 事 理 图 谱 构 建和 刑 期 预测 模 型 ， 通过分析 司 法数据


集 ，
将结 构 化 的 信 息 融入事理 图 谱 中 ， 进行事件抽 取 与 事件关系 抽 取 ， 构 建基 于


刑 事判 决书 的 事理 图 谱 ，
并结 合文本相 似度对给定 判 决书 进 行刑 期 预测 

。

（
３
）
基于事理 图 谱 的 辅助判 决方 案生成系 统 ， 包括模 型 融合 ， 将事理 图 谱模


型 和 基 于 预 训 练模 型 的 混 合深 度 刑 期 预测 模 型 结 合起来 预测 案件 罪 名 及 量 刑 系

 。

统架 构 设 计与 实 现 ， 系 统架 构 主要 分为 三层 ， 分别 是数据源层 、
数据 分析层和 可



视化层 。 系 统功 能设计与 实现 ， 依据辅 助 判 决方 案 生 成系 统 需 求及上述研 究 点 


，

实现辅 助 判 决方 案生 成 ， 刑 期 预测 等 功 能 。 系 统框架搭建和 模块集成 ， 进行各个



模 块 逻 辑接 口 设 计 ，
构建基 于 Ｐｙ Ｑ ｔ 框架 ， 基于事理 图 谱 的 辅助判 决 方案生成 系



统 

。

１ ． ４ 

论文 的 组 织 结构

本课题 旨 在研 究 并实现 司 法领域基于事 理 图 谱 的 辅助 判 决方 案生 成系 统 从


 ，

海 量 的 司 法 文 书 中 抽 取 关 键信 息 ， 并进行 罪 名 与 刑 期 预测 。
本课题主要分为六部


分 ， 组织结构 如 下 图 １
－

１ 所示 

：

第
一

章为 引 言 ， 首 先 介 绍 了 人 工 智 能 在 司 法 领域 的 研 宄 背 景 和 研 究 意 义 ， 

其



７
 北京邮 电 大７ ７ 硕 ：
１ ：
：
丨 ： ７ 位论 文
：

 



次介 绍 了 人工 智 能 在 司 法领域 的 研 究 现状和 研 究 意 义 着重 描述 了 深度 学 习 在 司

 ，

法领域 的研 究现状 ，
再对 事理 图 谱进 行 了 简 要 介 绍 ，
最后 介绍 了 本课题 的组织架


构 

。

第 引 ￥


一

亭 ：

 



第 二 章 相 关技 术



 

Ｉ

  ＂


，  １ 



第 三 章 基 于预 训 练模 型 第 四 章 基于刑 事 判决 书 
  ｜

提 取 特 征 的 混 合 深 度 学 习 的 事 理 图 谱 构 建 和 刑 期 预


罪 名 预 测 模 型 测 模 型 

」
Ｉ    

—


｜

ｙ 

第 五章 基 于事 理 图谱 的


辅 助判 决 方 案 生成系 统



第六章 总 结与 展 望



图 １
－

１ 文章架构 图



第 二 章介绍本课题所涉及 的相 关工作 ， 主要包括 Ｃ ＮＮ －

ｂ ａ ｓ ｅ ｄＭ ｏ ｄ ｅ ｌ 

，

Ｌ Ｓ Ｔ Ｍ ｂ ａ ｓ ｅ ｄＭ ｏ ｄ ｅ
－

ｌ ， Ａ ｔｅ ｎ ｔｉ ｏｎ －

ｂ ａ ｓ ｅ ｄ Ｍｏｄｅ ｌ ， 知识图谱 ， 事理 图谱等 


。

第 三 章介 绍 基于预训 练模型提取判 决书特征 的 深度学 习 模型 的研 究与 实现 


。

首先对本课题 中 涉及 到 的两 个预训 练模型 Ｂ Ｅ ＲＴ 和 ＸＬＮ Ｅ Ｔ 进行 了 介绍 ，

并对 比



分析 了 优缺 点 其 次介绍 了 提取特征之 后 的 分类模 型 分别 是基于

； ， Ｃ ＮＮ 和 Ｌ Ｓ ＴＭ



的 文本 分类模 型 ， 最 后 分别 基于 两 个预训 练模型 提取 的 特征对判 决书 文本进 行 了




分类 

。

第 四 章 介 绍 基 于 刑 事判 决 书 的 事理 图 谱构 建和 刑 期 预测 模 型 首 先对事理 图

 。

谱进 行 了 介绍 ，
接 着对 构 建 事 理 图 谱 的 关 键技 术进 行 了 解释 ，
包括 事件抽 取和 事


件关系抽取 ， 抽取 出 关系之后使用 Ｎ ｅ〇４ ｊ
工 具对得到 的事理 图 谱进 行可视化 ，


结
合 文本相 似度对给定 判 决书进 行刑 期预测 

。

第 五章介绍 基于事理图 谱的 辅助判 决方 案生成系 统 基于第三章 和 第 四 章 得


 。

到 的模型 ，
系 统将 其 做 了 结 合 ，
利 用 深度 模 型预测 得到 的 罪名 结合 案情描述文本


进 行刑 期预测 ，
介 绍 了Ｐ ｙ Ｑ 的 优 点 ｔ ， 并 介 绍 了Ｕ 和 功 能 实 现 过 程 Ｉ 

。

第六章为本课题 的结论和 展望 ， 梳理本课 题 的 工作 内 容 ，

并总 结 文 章 的 成果



和不足点 同 时对下 步 的 研 究方 向 进 行 展望
一

， 

。



８

第 二 章 相 关技术 



第二章 相 关技术



针对 刑 事 案 例 的 辅 助 判 决 方 案 生 成 系 统 的 实 现 本 课 题 在 实 现 将 事 理 图 谱 模

 ，

型 和 基 于 预 训 练 模 型 的 混 合 深 度 刑 期 预 测 模 型 结 合 起来 使 用 多 模 型 投 票 来 决 定

 ，

预测 的 刑 期 结果 。
本 章 首 先介 绍 了 相 关 理论 及技术 ， 包 括 文 本 处 理 的 过程 ，
文本


分类 的 模 型 ， 预 训 练 的 模 型 包 括卷积 神 经 网 络 （
ＣＮＮ ） ， 文本 分类模 型 ， 包括长短


期记忆 网 络 （
Ｌ Ｓ ＴＭ） ，
两 种 模 型 分别 与 Ａｔ ｅｎ ｔｉ ｏｎ 结合 ， 知识 图 谱 以及事理 图 谱 的



具体 理论背景与 技术 

。

２ ． １ 文 本 处理



在 ＮＬＰ 的 文 本 处 理 的 过 程 中 传统 意 义上 的 文本 般是 由 字符组成 文本


一

， ，

处理 需 要 将 这 些计 算 机 不 能识 别 的 文本 转化为概率 学 上 的 词 向 量 以 便 算法 模 型

 ，

从 中 学 习 文本信息 词 向 量 般有 两 种 表示方 式 独 热 表 示 Ｏ ｎｅ
一

。 ：
（
－

ｈｏｔ  ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｉ ｏ ｎ ）



和 分布 式 表示 Ｏ ｎｅ 需 要 先将 经过


３ ３

（
Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕｔ ｅ ｄ  ｒ ｅ
ｐ ｒ ｅ ｓ ｅ ｎｔ ａｔｉ ｏ ｎ ）
［ ］
。
－

ｈｏｔ  ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎｔ ａ ｔ ｉ ｏ ｎ 

ｊ
ｉ ｅｂ ａ 等分 词 模 型 分词 过 后 的 文 本信 息 统计 出 全 部 的 词 汇频率 ，
将这些词 汇频率


组建 成对应 文本专 属 的 词 典 数据 的 集合 ， 这 也 是 词 向 量 的 构 建 过程 。 词 向 量 的矩


阵表示形式 中 将与 该词 语对应 的 向 量 的 那 列 标记为 其 他所有 的 列 的 值标


一

， １ ，

记为 Ｏ ｎｅ 对 不 同 词 向 量 的 表示方 式 是 致的 转化为 向 量


一

０ 。
－

ｈｏｔ ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｉ ｏ ｎ ，

间 的 距离 也是相 同 的 ，
无法表示 出 词 语本 身 具有 的 词 性 ，
含义等信 息 。 

而
Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕｔ ｅ ｄ  ｒ ｅ
ｐ ｒｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ 则 可 以 避免这种 问 题 ， 分布式表示方法将分词 之后 的 文


本信 息 投影到 不 同 维度 的 词 向 量 空 间 ， 弥补 Ｏ ｎｅ －

ｈｏ ｔ  ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｏ ｎ ｉ 表示方法会 导


致 的 词 向 量维度稀疏 问 题 同 时 也 弥补 了 词 向 量本 身 在 转化过程 中 缺 失掉 的 语义

 ，

信息 

。

Ｄ ｉ ｓ ｔ ｒ ｉ ｂｕ ｔ ｅ ｄ  ｒ ｅ
ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｉ ｏ ｎ 最初是 由 Ｈ ｉ ｎｔ ｏ ｎ 等人在 １ ９８６ 年提 出 ［
３ ４］
， 对分词 后


的文本信 息使用 低维 的词 向 量表示 ， 表示形 式如 ［
０ ７ ５ ８ ０ ８
．
，
． １ ９  ０
，
－

． １ ２ ４ ０ ２ ４ ８
，
．


，

０ ５５８ ． ． ． ．

］
。 通过对 比 两个 目 标词 向 量在 不 同 维度 空 间 的 距 离 信 息 ， 可 以 直接表示


出 两 个词 本 身 之 间 的 相 似度 。 不 同词 向 量之 间 的相 同 维度空 间 下 的距离越小 ， 

代
表二者 的 相 似度越大 。
针对词 向 量之 间 的 距离度 量 ， 有 许多 不 同 的 方法 。
常见的



方法 有 余 弦 相 似 度 ， 欧 氏距离 ，
马 氏 距离 等方法 。
使用 更低 维度 的 词 向 量来表示


文本信 息 ， 不仅解 决 了 词 向 量矩 阵维度稀疏 问 题 ， 也表示 出 了 不 同 词 向 量之 间 的



语义 信 息 

。

过去 的 研 究涉及到 文本 时 最常见 的 表示形式之 就是单词袋 尽 管流 行

一

， 。 

，

但 词 袋模 型 有 两 个主 要 缺 点 它 们 失 去 了 单 词 的 顺序 并且 也 忽 略 了 单 词 的 语义 ： ， 

。



９

北京 邮 电大 学工学硕士学位论 文 



” “ ” “ ”

的 距离 相 等 等人
“

例如 ， 强大 ， 强大 和 巴黎 。 Ｍ ｉ ｋｏ ｏｖ
ｌ
［
３ ５ 〗
于 ２０ １ ４ 

年
描述 了 种 无监督算法 用 于 学 习 句 子和 文本 文档 的 向 量表示 该 算法通 过 密 集


一

， 。

矢量表示每个文档 ， 该矢量经过训 练可 以 预测 文档 中 的 单 词 。 它 的 构造使我们 的




算法有可 能克 服 单词 袋模 型 的 弱 点 。 ｗ〇 ｒｄ ２ｖｅ Ｃ Ｍ 将文本 中 的不 同 句子 中 的相 同词




语映射到 低维空 间 表示为 个固 定长度 的词 向 量 这也就是前文所提到 的



一

， 。

Ｄ ｂｕｔ
ｅ ｄｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｏ ｎ 前最主流的 模型 如 图 所亦 是 种典型的


一

ｉ ｓｔｒ ｉ ｉ
目 。 ２ －

１ ，

ｗ ｏ ｒ ｄ ２ ｖ ｅ ｃ 架构 

。

输 入 层 映 射 层 输 出 层



ｗ （
ｔ ２）
 ＼

 Ｓ Ｕ Ｍ ｗ （ ｔ 

）

，
Ｚ
＋
ｗ


（ ｔ ｌ ）

ｗ （ ｔ ＋２ ）  ＾

图 ２
＿

１
典型 ｗｏ ｒ ｄ ２ ｖｅ ｃ 架构 图



如图 ２ －
１
所不 ，
典型的 ｗｏ ｒｄ ２ ｖｅ ｃ 包括三层 ：
输入层 、 中 间层 、 输出层 

。

Ｗ〇 ｒ ｄ ２ ｖｅ Ｃ 模型 的 核 心 思 想 是将 目 标词 汇 的 上 下 文 临接词 汇输入预训 练模型 中 


，

结合上 下 文语义信 息 、 文本结构 信 息来预测 当 前 目 标词汇 的 文本 内 发生 的概率 


。

如图 ２ －

１
所示 ，
对于词 … ⑴ ，
假定上下文 的 相关词汇 的 数 目 为 ２ ， 那 么 可 以 通过



输入 ｗ（ｔ －

ｌ
）
， ｗ（ｔ＋ ｌ
）
， ｗ（ ｔ ２ ）
－

， ｗ （ ｔ＋ ２ ） 等词 汇 的 文 本 内 概 率来预测 最 终 目 标词 向 量


ｗ（ｔ） 的 发生 的 概率 

。

随着深度学 习 的 发展 ， Ｂ Ｅ ＲＴ （ Ｂ  ｉ ｄ ｉ ｒｅ ｃ ｔ ｉ ｏ ｎ ａ  Ｅ ｎ ｃ ｏ ｄ ｅ ｒ  Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｏ ｎ ｓ  ｆｒ ｏ ｍ
ｌ 
 ｉ

Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ ｓ
３７
近期 被提 出 之后 逐渐 成为 的 个 替 代者 该模型主


一

ｗｏ ｒｄ ２ ｖｅ ｃ
１
１

） ， ，

要使用 了  Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ ＾ 作 为 核 心 框 架 ，
Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 能 更 彻 底地 捕捉 语句 中 的 不



同 词汇之 间 的 前 向 、 后 向关系 ； 同 时 使 用 了Ｍ ａ ｓ ｋ Ｌ ａ ｎ ｇ ｕ ａ ｇ ｅＭ ｏ ｄ ｅ ｌ

（
ＭＬＭ ）
和 Ｎｅｘ 

ｔ

１ 

０

第 二 章 相 关技 术 



Ｓ ｅ ｎｔ ｅ ｎ ｃ ｅ  Ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ （ Ｎ Ｓ Ｐ ） 的 多任务训练 目 标 ； 与 ｗｏｒｄ ２ ｖｅ ｃ 相比 ， Ｂ Ｅ ＲＴ 使用 更


强 大 的 机器 训 练 更 大 规模 的 数 据 ， 使模 型 最终 的 结 果达到 了 全新 的 高度 ， 并且


Ｇｏ ｏ ｇ ｌ ｅ 开源 了  Ｂ Ｅ ＲＴ 模型 ， 用 户 可 以 直接使 用 Ｂ Ｅ ＲＴ 作 为 Ｗｏ ｒｄ２ Ｖｅ ｃ 的 转 换 矩 阵


并 高效地将其 应用 到 自 己 的 模 型 训 练任务 中 

。

Ｂ Ｅ ＲＴ 是 个 多 任务模型 它 的任务是 由 两个 监督 任务 组成 即 ＭＬ Ｍ 和


一

，
自 ，

ＮＳＰ Ｗ 等人 在 年首次提 出 了 Ｍ ａｓ ｋ ｅ ｄ Ｌ ａｎ ｇ ｕ ａｇ ｅ  Ｍ ｏ ｄ ｅ ｌ （ ＭＬ Ｍ
３ ９］
。 ｉｌ ｓ ｏｎ  Ｔ ａｙ ｌ ｏ ｒ
［

１ ９ ５ ３   

）

这 思想 其主要 的 做法是在模 型 训 练 的 过程 中 随机地从输入 的 词 汇 中 


掉
一

， ｍ ａｓ ｋ

些 词 向 量 然后 通过 前文所述 的 结 合上 下文 的 词 向 量信 息 来 预测 该词 汇 的 发生


一

概率 。 主要 的 思想与 ｗｏｒ ｄ２ ｖｅ ｃ 类似 ， 也有部分 ＲＮＮ 的 思想在其 中 。 ＭＬ Ｍ 的 性



质 决定 了 该结构与 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 的适用 性 。 Ｎｅｘ ｔ Ｓ ｅ ｎｔ ｅ ｎ ｃ ｅ  Ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ （ Ｎ ＳＰ ） 的主要



做法则 是关注 不 同 句子之 间 的 关系 判 断某 个句 子 Ａ 是否是另 个句 子 Ｂ 


的
一 一

下文 内 容 。
如果是的话 ， 输 出 相应 的判 定参数 。 ＮＳＰ 的 训 练过程 更 多 的 保有句 子


之 间 的 顺序 的 随 机 性 部分数据 是相 邻 的 随机句 子 另 部分训 练数据则 是不


一 一

， ，

相 邻 的 随机句 子 通过 不 断地学 习 句 子顺序这 信息 更好地表达 了 文本 的 语义



一

。 ，

信息 。 Ｂ Ｅ ＲＴ 模 型 的 本 质 就 是 在 海 量 的 数 据 资 源 的 基础 上 通 过耗 费 大 量 的 物 力 资



源去运行 监督 的 学 习 方法来 学 习 个较好 的 单词 表征

一

自 

。

但是 Ｂ Ｅ ＲＴ 的 编 码 语 言 模 型 也有对应 的 缺 点 方面 在模 型 的 预训 练过程


一

自 ，

中 ， 引 入的 Ｍ ａｓ ｋ 标记会去 掉部 分单 词 对应 的 词 向 量 ，
但是这个部分在模型后续


的 微 调 阶 段 是 无 法 看 到 Ｍ ａｓ ｋ 标 记 的 部 分 ， 这会 导 致整 体模 型 训 练 过程 中 的 性 能


损失 另 方面 在 Ｍａｓｋ 过程 中 去 掉 的 单 词 词 向 量 有 些往往 是没有 任何关系


一

， ，
；

的 ， 相应 的 也会有词 向 量具有 因 果等联系 关系 。 而 在 整 个模 型 的 训 练 过 程 中 ， 


对
于有关系 的 词 向量 ， 是 需 要 获取 其 所蕴 含 的 词 义 信 息 以 及 语 义 信 息 。 正是对


Ｂ Ｅ ＲＴ 这些缺 点 的 考量 有学者提 出 了 种 具有泛化能 力 的 回 归词向 量预训 练


一

， 自

模型 ＸＬＮ ｅ ＸＬ Ｎ ｅ 模型融合 了 当 前 最优 归模型的思路 通过 最 大化 所



４
自 回
（ ）
［ ］
ｔ 。 ｔ ，

有 可 能 的 句 子 间 因 式 分解顺序 的 对 数 似然 ，
从而学 习 文本 中 前 后 向 语境 、 语义信


息 ；
ＸＬＮ ｅ ｔ 模型 正 是使用 自 回 归 本身 的特点来解决前文提到 的 Ｂ Ｅ ＲＴ 的缺点 

。

Ｘ ＬＮ ｅ ｔ 与 Ｂ Ｅ ＲＴ 相 比采取 Ｄｅ －

ｎｏ ｉ ｓ ｉ ｎｇ 
Ａｕ ｔ ｏ ｅｎｃ ｏ ｄｅ ｒ 方式不 同 的新 的 预训 练 

目

标 ： Ｐ ｅ ｒ ｍｕ ｔ ａｔ ｏ ｎ  Ｌ ａ ｎ ｇ ｕ ａ ｇ ｅ  Ｍ ｏ ｄ ｅ ｌ （ Ｐ Ｌ Ｍ ）
ｉ 。 同 时 引 入 相 对 位 置 编 码 以 及 分 段 Ｒ ＮＮ



机制 。 此外还有 ， 加 大增 加 了 预训 练 阶段使 用 的 数据规模 ；

Ｂ Ｅ ＲＴ 使用 的预训 练


数据 集 主 要 是 Ｂ ｏ ｏ ｋ ｓ Ｃ ｏ ｒｐ ｕ ｓ 和英文 Ｗ ｉ ｋｉ 数据 ， 大小 １ ３ Ｇ 。 Ｘ ＬＮ ｅ ｔ 除 了 使用 这些



数据 外 ， 另 外 引 入 了Ｇ ｉ
ｇａ ５ ， Ｃ ｌ ｕ ｅ Ｗｅ ｂ 以及 Ｃ ｏ ｍｍ ｏ ｎ Ｃ ｒ ａ ｗ  ｌ 数据 ， 并排掉 了 其 中



的 些低质 量数据 大 小 分别 是 ６Ｇ ９Ｇ 和 ７８Ｇ 可 以看出 在 预训 练阶段极



一

， １ １ 。 ，
，

大扩充 了 数据 规模 ， 并对 质 量进 行 了 筛选过滤 

。

本章节设计 的 预训 练模型 中 ， 针对 文本信 息 的 预 处理过程 ， 主要采用 了




１ 

１
 北京邮 电大学 硕 丄 学位 论 文
‘ ？

Ｉ ：
７
：






Ｂ Ｅ ＲＴ 与 ＸＬＮ ｅ 两 种 方 式 ｔ ，
将大量 的 法律判 决书 数据 信 息 转 化为词 向 量结 构 ， 

方
便后续 的 分类模 型等 训 练与 学 习 

。

２ ２ ．
文本分类



２ ２ ． ． １ Ｃ ＮＮ －

ｂ ａ ｓ ｅ ｄＭ ｏ ｄ ｅ 

ｌ

深度卷积 神 经 网 络 （
ｄｅｅ
ｐｃ ｏ ｎｖ ｏ ｕ
ｔ ｏｎａ ｌ ｉ ｌ ｎ ｅ ｕ ｒ ａ ｎ ｅ ｔ ｗｏ ｒ ｋ ｓ
ｌ
， 
Ｃ ＮＮ ｓ ） ［
４ １ ４２ ］

， 是 目 前人


工 智 能领域最为流 行 的 深 度 网 络 之 虽然 卷积 网 络 也存在 浅 层 结 构 但是因为


一

。 ，

准确 度和 表现 力 等原 因 很少 使用 。
目 前常见的 Ｃ ＮＮ 特指 层数不 定 的深层结构 神



经网络 。 Ｃ ＮＮ 的 发 展可 以 追 溯 到 十 几年 前 ，
随着计算 资 源 与 计 算 能 力 的 飞速发


展 ， 逐渐 在 各 个 领域崭 露 头 角 。
例如 ：
语音 识 别 领域 ， 图 像 分割 领域 ， 图 像识别



领域 ，
ＮＬＰ 领域等 。 不 同 领域所解决 的 需 求与 问 题 不 同 ，
但总 的 归 纳来说 ， Ｃ ＮＮ



可 以 从大规模 的 训 练数据 中 学 习 所 需要 的 特征信 息 并将这些特征信 息 转化为最


 ，

终 的 分类结 果 

。

典型 的 Ｃ ＮＮ 架构 由 卷积层 （
ｃ ｏ ｎｖ ｏ ｕ ｔ ｏ ｎ ） ｌ ｉ
，
激活层 （
ａｃ ｔｉ ｖ ａｔ ｏ ｎ）
ｉ
，
和池化层



（ ｐｏｏ
ｌ ｉ ｎｇ） 三种层次组成 。 以 图 像 分类 任 务 为 例 ， 将 Ｃ ＮＮ 输 出 的 特征 向 量作 为 全



连接层 的 输 入 ，
用 全 连接层 的 输 出 作 为 最 终 的 分类标签 。 目 前主流 的 Ｃ ＮＮ 架构 

，

例如 ＶＧＧ ［
４３ ］
， Ｒ ｅ ｓＮ ｅ ｔ
［
４４ ］

都是 以上述 Ｃ ＮＮ 层 次架构为 核心 ， 不 同 层 次组合而来 


。

如图 所示 对 个 大小 的 图 像输 出 使用 个 的 卷积 核对其进 行卷


一
＊ 一
＊
２ －

２ ，
６ ６ ， ３ ３

积 的过程 这是 种典型 的 Ｃ ＮＮ 架构
一

， 

。



１

Ｃ ｏ ｖ  Ｋｅ ｒｎ ｅ ｌ  

２

上 ４  二  ｐｉ


…


－
１
 ｜
：３
 卜 
１ 
 ０ ３ ７
＇

 


－

［ 〇 ＼

ｒＴ ｉ ｜
Ｔ＾ｆ 〇
ＴＴｉ  

８

０１００１  ０ ３ ２ ２ － － －

１  ９
ｕ
００１ １ ００  ／／／


ｃ ｏｖ
Ｔ Ｔ Ｔ Ｔ Ｔ Ｔ
ａ ｙｅ ｒ
＇

ｌ 




＇

Ｔ Ｔ Ｔ Ｔ Ｔ Ｔ
０ ０ １ ０ １ ０  １ ３
 ｍ／／


 ４ ｍ 

／
￣￣ ￣ ￣
￣ ￣

６ ｘ ６ ｍ ａ ｇ ｅ ｉ  １ ５
＿


ｉ


ｓ ｍ

图 ２
－

２ 典型 ＣＮＮ 架构 图



１ 

２

第 二 章 相 关技术 



典型 的 Ｃ ＮＮ 架 构 Ｗ包 括 以 下 各 个层 次 结 构 

。

输入层 输 入层 是整个 网 络架构 的 输入 从这 层开始 Ｃ ＮＮ 组建起 不 同



一

： ， ，

的 网 络 结 构将输入 的 特征矩 阵依 次运 算 得到 下 层 的特征矩 阵 最 终转化为 该



一

， ，

特征矩阵对应 的 预测 分类标签 

。

卷积层 卷积层 是所有 的 网 络 架 构 中 最 为重要 的 个层 次 与 全连接层 相 比

一

： ， 

，

卷积层是 个维度较小 的 层 次结 构 卷积 层 的 输入是上 个层 次结构 的 局 部 


如
一 一

， 。

图 所示 展示 了 个 ＊
的 卷积 核 设计 卷积层 的 主要 的 是将特征矩 阵进


一

２ －

２ ， ３ ３ 。 目

行局 部分解 获得每 个卷积核 大 小 的特征矩 阵 的 之 间 的 代表关 系 从而得 到 抽



一

， ，

象成都更高 的特征信 息 卷积核 可 以将前 层 次 结构 的 输 出 特征矩 阵



一

。 （ ｋｅｒ
ｎｅ ｌ ）

转化为 下 个层 次结 构 的 更小 维度 的 特征矩 阵 每 个卷积 核 大 小 的 设定 都 是有



一 一

定 句 可循 的 卷积 核 的 每 个节 点 的 值也 是有其相应含 义所在
一 一 一

， 

。

池化层 ： 池化层 的 结 构类似卷积层 ， 可 以 更有 效地 降低 特征 值矩 阵 的 维度 


，

从而为最 后 的 全连接层 降 低运算压 力 常 见 的 结构 为使 用 最大值 设计 的 最大池化


 。

层 （ ｍ ａｘ ｐ ｏ ｏ ｌ ｉ ｎ ｇ ） 。 池化层 可 以 有 效 的 加 快运算速度 ， 也可 以 防止模型 训 练过程



的 过拟合 问 题 

。

全连接层 全连接层 是最 后 的 分类结 果输 出 之前 的 最 后 个层次结构 经过



一

： 。

卷积 层 与 池化层 运 算过 后 的 特 征 值矩 阵 不 再 具 有 最 初 输 入 的 特征 值矩 阵 的 含 义 

，

可 以 转为 更 低 维度 的 、 信 息 含量更 高 的 特征矩 阵 

。

输出层 ：
依据不 同 的训 练 目 标来输 出 最后 的 结 果 。 在 常 见 的 分类 问 题 中 ，


使
用 输 出 层 得 到 该特征 值矩 阵对 应 的 分类标签 

。

本课题使用 到 Ｃ ＮＮ 是为 了 更好地 与 前 文 所述 词 向 量预 训 练模 型 Ｂ Ｅ ＲＴ 等结


合 ， 作 为 整 体 前 半 部 分 训 练 模 型 的 分 类模 块使 用 。
本课题 设 计 的 实验 中 ， 使用 到



了 包括 Ｂ Ｅ ＲＴ ＋ Ｃ Ｎ Ｎ ， ＸＬ Ｎ ｅ ｔ ＋ Ｃ ＮＮ 等混合深度 模 型 

。

２ ２ ２  Ｌ Ｓ Ｔ Ｍ ｂ ａ ｓ ｅ ｄ  Ｍ ｏ ｄ ｅ ｌ
． ．
－

循环 神 经 网 络 Ｒ ｅ ｃ ｕｒ ｒ ｅ ｎ Ｎ ｅ ｕｒ ａ Ｎ ｅ Ｒ ＮＮ ） 
４５］
是指 类 能够 循环优化


一

（ ｔ ｌ ｔ ｗ ｏ ｒｋ ，
［

超参 数 的 具有 记忆 能 力 的 深度 神 经 网 络 在 Ｒ ＮＮ 的架构 中 每 层 的 神经元不


一

。 ，

但可 以 接受不 同 层 次其他神 经元 的 隐藏信 息 ， 也可 以通过接受 自 己的信息来寻



优 。 与 其他类似结构 的 前 向 神 经 网 络相 比 ， Ｒ ＮＮ 更 符合生 物 学 的深度 神 经 网 络


的 结 构特征 。 目 前 ， Ｒ ＮＮ 己 经被广泛应用 于 语音识 别 领域 、 ＮＬ Ｐ 领域等 。 Ｒ ＮＮ



整体 的 结 构 在 时 间 层面上展开可 以 描述为 下 图 ， 如图 ２ －

３ 所示 

，

１ 

３

北京 邮 屯 大学工 学硕士学位 论 文





＇

 ｙｒ
？
 ｈ 
…

？
Ｖ ｉ
＞

／／
：

！
Ｉ ｌ ｌ


１
一 ］ 

＇

： ［  ｔ  ｔ  言

 厂  ｔ

１   

ｔ
￣
！ ｔ
 ： ：


ｔ

ｚＴ
  ａ； Ｘｒ
？
． ．



Ｉ

ｌ ｜
３
 ＿ ＿  ＿ ＿ 

图 ２
－

３ 按时 间 展开的循环神经 网 络



如图 所示 可 以清晰地看 出 每 个时间节点编号为 对应不 同



一

２ －

３ ， １ ， ２ ． ． ． Ｔ ，

层 次结 构 在进 行 不 断 的 优化过程 。
但 是 随着技术 的 发展 ， 为 了 改善 ＲＮ Ｎ 网 络架


构 的 长程依 赖 问 题 有 学者提 出 了 新的 解决方案 通过 引 入 门 控制 机制 来控制


［
４６ ］

， ，

ＲＮＮ 的 循环 累 积速度 ，
并 在循环 的 过程 中 引 入新 的 有 效信 息 ， 选择性 的 删 除掉


之前累积的无用 信息 这 类网 络架构可 以 统称为基于 门 控的 Ｒ ＮＮ  Ｇａ
一

。 （ ｔ ｅｄ



ＲＮＮ ） 。 其 中 最 典型 的 结构 是 ： 长短 期 记忆 网 络 （ Ｌ Ｓ Ｔ Ｍ ） ［
４ 〃８ ］


。

图 ２ －

４ 给出 了 Ｌ Ｓ ＴＭ 网 络 的 循环单元结构 的运算过程 ，
其计算过程为 ： （ １ 

）

首 先对模型 上 个 时刻 得 到 的 外部状态 ＾ 和 当 前 时 刻模型 的输入 ＆ 计算得到



一

／ ，

次模 型 循环结构 的 候选状态 乂
下 结 合 图 中 标记 处 的 遗 忘 信 息 门 和输


一

（ ２ ）

Ａ Ａ
入信 息 门 
＜
 来更新 该层次结构 的 记忆节 点  ；  （ ３ ） 结合最终的输 出 信 息 门 

，

４
将该循环结构 内 部状态 的 隐藏信 息 间 接传递给其他模 型 训 练层 次 的 外 部状态 

。

 —  
 

—

ｅ ￣ ￣ ￣＾ ￣ ￣￣ ￣—    一￣
＊
ｉ

－

［ …

ｊ 

…

 ｆ 

：

； ｆ ＞

ｍ］ ， 二」 

ｉ

 ：
 ｉ  ｉ  ｉ  ＠ ．



；



＾ —

 ！
ｓ


＾
 
 ＇

｜   ＾ ＠ ｘ ｔ 向＊柙
＠ 向 《拼 接



图 ２
－

４Ｌ Ｓ Ｔ Ｍ 循环单 元结构




通过 Ｌ Ｓ ＴＭ 这 循环 单 元 的 设 计 整个 ＮＮ 网 络 可 以 建立起长距离 的 时 间


一

层面上 的 相 互依赖关系 。 Ｒ ＮＮ 中 隐 藏状态 ｈ 本 质 上是对 历 史特征 向 量 的 信 息存



储结构 也 可 以 称为 种 记 忆 状态 在规模较 小 的 网 络结 构 中 隐藏状态 会被


一

， 。 ， ｈ

实时重写 ， 这种架构 也被称为 短期记忆 网 络 （ Ｓｈｏｒ

ｔ －

Ｔ ｅ ｒ ｍ  Ｍ ｅ ｍ ｏ ｒｙ ） 。 在深度神


经网 络结构 中 ，
往往会存在长期记忆 （ Ｌ ｏ ｎ ｇ Ｔ ｅ ｒ ｍ  Ｍ ｅ ｍ ｏ ｒｙ
－

） ， 这种记忆模式也


可 以 视为 网 络 架构 的 超 参数 ， 隐 含 了 前 文提 到 的 特征 向 量 中 的 隐 藏信 息 ，
并且其



１ 

４

第二章 相 关技术 



更新周 期较慢 。 基于这种设计 ，

有学者提 出 了 将前 向 Ｌ Ｓ ＴＭ 与后向 Ｌ Ｓ ＴＭ 结合


起来 的 网 络结 构 设计 

。

分类 器




—

全连接层




牛

对输 出 向 量 进 行融 合


＂ ＂
￣ ＂ ＂

？ Ｊ ＾
ｆ   ｆ
＾


ｆ
Ｉ Ｉ  Ｉ Ｉ  

Ｉ

Ｉ Ｉ  Ｉ
Ｉ  

Ｉ

！     ｉ Ｉ Ｉ


Ｉ

ｊ  ｌ ｉ ｎ ｜ ｈｎ －

１  ｜ ｈ ＋ ｉ １  ｈ  ｈ ｉ
ｉ
ｌ


ｉ

＾

     
       
— 



ｌ Ｉ ｌ Ｉ
ｌ

 Ｌ Ｓ ＴＭ  Ｌ Ｓ Ｔ Ｍ   ＋
 Ｌ Ｓ Ｔ Ｍ  Ｌ Ｓ ＴＭ  ？   Ｌ Ｓ ＴＭ ？
１－ — —

ｈＯ


    
． ． ．
？

ｉ Ｉ Ｉ ｉ 丨
Ｉ 丨 Ｉ Ｉ Ｉ Ｉ 

１

ｉ  ４  ？  ？  ｆ  ４

 ｉ ｉ ｉ
ｉ

ｉ   Ｉ Ｉ Ｉ  

Ｉ

  Ｈ

ｈ ＋
ｌ ｈ２ ｈ １


ｌ

ｌ ｉ ｌ  丨

，
？Ｌ Ｓ Ｔ Ｍ  ？ Ｌ Ｓ ＴＭ  ？ ？ Ｌ Ｓ ＴＭ ？ Ｌ Ｓ Ｔ Ｍ 
￣

？Ｌ Ｓ Ｔ Ｍ


—
— — —
－
－

ｈＯ ． ． ． 

￡ Ｚ ２ ￡ Ｚ



ｘ ｌ  ｘ ２ ｘ ｉ ｘ ｉ
＋ １  ｘｎ



图 ２
－

５ 双 向 ＬＳＴ Ｍ 模型



如 图２ －

５ 所示 ， Ｂ Ｌ Ｓ ＴＭ英
ｉ
文全称为  Ｂ ｉ
－

ｄ ｉｒｅ ｃ ｔ ｏｎａ ｉ ｌ  Ｌ ｏ ｎ ｇＳ ｈ ｏ ｒ ｔ

－

Ｔ ｅ ｒｍ  Ｍ ｅ ｍ ｏ ｒ ｙ



［
４９］ ， 是由前向 Ｌ Ｓ ＴＭ 模型 与 后 向 Ｌ Ｓ ＴＭ 模型组合而成 的 模型 。 Ｂ Ｌ Ｓ ＴＭ
ｉ
的主要


实现有 以 下两 个部 分 ， 前向 Ｌ Ｓ ＴＭ 按 照模 型架构 空 间 顺序 从前往后 传播特征矩


阵所含有 的 信 息 后向 Ｌ Ｓ ＴＭ 则 是从文本 中 的最后 个词 向 量 结 构 开始按 照 模


一

型架 构 空 间 顺序从后 向 前传播特征矩 阵 ， 也就是词 向 量信息 。 前后 向 模型是相 互




独立且互不干扰的模型架构 ， Ｂ Ｌ Ｓ ＴＭ ｉ
最终的输 出 是两层隐藏层 的集合


…

人 ］
， 其中 ／ｚ
，
表不 在 时 刻 的特征矩阵 。
将融合后 的 输 出 向 量送 入 全


连接层进行进 步 的 特征 提取 也就是传统意 义上 的 降维 最 后 输 出 到 分类层
一

， ， 

，

也就是 ｓ ｏ ｔ ｍ ａｘ 层输 出 最 后 的 分类结 果 

。

本 章 节 中 主 要 使 用 到 了 Ｂ ｉ Ｌ Ｓ ＴＭ ，
作 为与 前 文所述 Ｃ ＮＮ 类似 的 结构 ，
用作


整 体模 型 框架 的 分类模型 ，
分别使用 了 包括 Ｂ Ｅ ＲＴ ＋ Ｂ Ｌ Ｓ Ｔ Ｍ Ｘ Ｌ Ｎ ｅ ＋ Ｂ Ｌ Ｓ Ｔ Ｍ
ｉ ，
ｔ ｉ


等
混合深 度 模 型 

。

２ ２ ３
． ． Ａ ｔｔ ｅ ｎｔ ｏｎ ｉ
－

ｂ ａ ｓ ｅ ｄ  Ｍ ｏ ｄ ｅ ｌ

由 于 本课题使用 到 的法律判 决书 文本数据具有文本信 息较长且 文本信 息含



量密度较低等特点 ，
文 本 使 用 了Ｂ ｉ Ｌ Ｓ ＴＭ 对 文 本进 行分类 时 ，
设定 了 文本信息



的 固 定长度为 １ ５ ００ 个字 节 。
但是在 网 络 训 练 的 过程中 ， 发现 网 络 无法有 效地对



１ 

５
 北京 邮 电 大 学工 学硕 上学位 论 文
 



关键信 息 形成记忆 ， 由 于这些关键信 息 的 密度 低 ， 甚至会遗忘这些关键信 息 ， 


从
而 无法对 最 终 的 判 决 结 果 作 出 正 确 的 输 出 。 基于这种 考 量 ，
我们 关注到 Ａ ｔｔ ｅｎｔ ｉ ｏｎ



机制可 以有效地解决这 个 问 题 。 Ａ ｔｅｍ ｉ ｏｎ 机制 ［

５ ｔ ）
，
５ １
］

可 以 引 入到 特征提取 的 预训 练


模型 中 ， 也可 以 引 入到 分类模型训 练 中 ， Ａ ｔｔ ｅｎ ｔ ｉ ｏｎ 可 以 将 不 同 的 词 向 量设置不 同



的 特征权重值 ， 从而 使得 无论 是预训 练模型 还 是 分类模 型 都都可 以 重 点 关注具有



重要信 息 的 特征 向 量 。 从而 可 以 有 效地捕 捉 到 文 本 中 不 同 句 子 含 有 的 语 义信 息 

，

着重于 对最 终判 决结果 具 有重要影 响 的 词 汇 ， 最 终可 以 有效地提高结果准确 率 


。

等人 在对 文 本 信 息 分类 的 问 题上提 出 了 层 次 模型结合 Ｂ Ｌ ＳＴＭ



５２
Ｙａ ｎ ｇ ［ ］
Ａｔｅｎ ｔ ｉ ｏｎ ｉ

网 络结构 的模型设计 ，
其 最 终 的 分类准 确 率优于 其他类似方法 。 图 ２
－

６ 展示 了 结


合 Ａ ｔｅ ｎ ｔ ｉ ｏｎ 机制 的 Ｌ ＳＴＭ 架构 图 

。

分类 结 采



Ｓ ｏ ｆｔ ｍ  ａ ｘ 分类 器


． ■  

＇



＊
ｈ

ａ ｌ  ａ２ ａ ｉ ａ ｉ ＋ １  ａｉｌ



１ ２  ｈ ｉ  ｌ ｎ＋ １  １

： 

卩

ｈ Ｏ
—

？Ｌ Ｓ ＴＭ
—

？ Ｌ Ｓ ＴＭ  —

？ ． ． ．
 Ｌ Ｓ ＴＭ 
—

？Ｌ Ｓ ＴＭ 
—

？ ． ． ． 
—

＞  Ｌ Ｓ ＴＭ



ｘ ｌ  ｘ ２ ｘ ｉ ｘ ｉ
＋ １  ｘｎ



图 ２
－

６ 结合 ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏｎ 机制 的 Ｌ Ｓ ＴＭ 架构



由 图 ２ －

６ 可以看出 ， Ａ ｔｅ ｎ ｔ ｉ ｏｎ 机制 可 以 自 动 发现那 些对于最 终分类结果起到




关键作 用 的 词汇信 息 ，
并且 对不 同 句 子捕捉 到 不 同 权重配 比 的 语义信 息 。 与前文


中 提到 的 Ｌ Ｓ ＴＭ 架构相 比 ，
引 入 Ａｔｅ ｎ ｔ ｉ ｏｎ 机制 的 Ｌ ＳＴＭ 结 构对输 出 的 隐 藏层进



行 了 改进 对不 同 特征 向 量赋予 不 同 的 权重
， 〇
，
，
＋ ，
？ ？ ？

，
《
？
这些权重代表 了 不 同 词 向



量信 息 的 重要性 ，
权重越高 ， 对整 体文本信 息 的 重要性就越 大 ， 就越能影 响 最终



的 分类准确 率 

。

１ 

６

第二章 相关技术 



本课题 中 将 Ａ ｔｔ ｅ ｎｔ ｉ ｏｎ 机制 与 Ｂ ｉ
－

ＬＳ ＴＭ 网络架构 结合 ， 在整体的 模型 中 ， 

重

点 关注不 同 词 向 量之 间 的 权重配 比 根据 不 同 时 间 的输 出 结 果计 算 不 同 特征 向 量

 ，

的 注 意 力 概率 分布 ， 最 终得 出 用 以 分类 的特征矩 阵 

。

２ ３ ．
知识图谱



２ ３
． ． １ 知识图谱



知识图谱 主要是展示 系 列 知 识 内 容发展 以 及



５４
Ｋｎ ｏ ｗ
５ ３
Ｇ ｒ ａｐ ｈ 
一

ｅｄ
［ ’ ］

ｇｅ
（ 丨  ） ，

相互之 间 的结构关系 的 种 可视化技术 其主要 的 是 为 了 描 述 知 识 的 背景 


载
一

。 目 、

体 通过数据挖掘 与 信 息处理得到 知 识之 间 相 互 的 关系 其主 要 的 技术 背景包括

， 。 

：

概率数学 、 图形学 、 等学科与 计量学等传统 统计方法结 合 。 知 识 图 谱 在 逻辑结 构



上可 以 划 分为两个层 次架构 模式层 与 数据 层 数据 层 主 要 包括 系 列 的 具有事


一

： 。

实 背 景 的 知 识 数据 ， 主要 的 表达形 式为 （ 知识实体 １ ， 相 互关系 ，

知识实体 ２ 

）

这样 的 三元组结构 ， 主要 的 存 储形式为数据 库存储 。

本体库 是知识库结构性 的 模



板 ， 通过本体库构 建起 的 知 识库 具有 更 强 的 结 构 逻辑性 ，
结构 冗余很小 

。

知识 图谱的典型体系 架构 如下 图 ２ －

７ 所示 

：



ｒ

ｍ ｍ ｍ ｍ     一

．  数 椒 幣 合 ｎｍ ｔ ｍ 如 漱 ！
秦 

：


￣ － ￣ — — 
ｉ  

ｉ

  实 傳袖 取


— —

 ＊
半 结构 ＆ 的数 機  ｒｒｒ ；
 
    



１ ｎ
卜 靡＿
 ｜
１  ：
Ｔ
： 
￣ ￣ ￣ 



— 」  ｜
知
｜




   ＊８ Ｓ ＊ ＆ 



图 ２
－

７ 知识 图 谱 体 系 结 构



知 识 图 谱主要 包括对 结 构 化 的 数据 半 结 构 化 的 数据 以 及 非 结 构 化 的 数 据 的

 、

处理 。
其 中 结 构 化 的 数 据可 以 直 接送 入信 息 整合 模 块 ， 其他两种 类型 的 数据 则 要


进行相应的 处理 ， 通过 知 识抽 取技术来从 中 提取 实体信 息 、 关系 信 息 以 及属 性信


息 。 在 知 识 融合模块 ， 将前文抽 取 出 的 不 同信 息进行 融合 ，
消 除实体对 象之 间 的



歧义信 息 ， 形 成最 终 的 知 识库 体 系 

。

知 识抽 取 是整 个知 识 库 构 建 的 核 心 步骤 其主 要 的 面 对 对 象 是 开 放 的 链接 式

 ，

数据 通过计算机半 动化 的 手段去抽取非结构 性知识蕴含 的单元信 息 每 


个
一

，
自 。

１ 

７
 北京 邮 电 大 学 工 学硕 士 学位 论 文
 



知 识单元 都包括知 识实体 、 相 互 关 系 以 及 知 识 属 性 三个必 要 的 知 识元 素 ，

后 续所


有 的 工 作 都 是 在此基础上 完 成 。 知 识 抽取主 要 有三 个步骤 

：

（
１
） 实 体抽 取 ： 也称为实体识别 （ ｎ ａｍ ｅ ｄ  ｅ ｎ ｔ ｉ ｔ
ｙ ｒｅ ｃ ｏ ｇｎｉ ｔ ｏ ｎ ｉ ， ＮＥＲ ） ，
特指从


非 结构 性 的 原 始 语 言 数据 中 自 动 识 别 出 知 识 实 体 知 识 实体是整个知 识 图 谱最基

 。

本 的 元素 ， 抽 取 出 的 实 体 的 完整性 以 及 准确 性将 直接绝对最终 的 知 识 库 的 质 量 

。

（
２） 关系抽取 ： 获取 知 识 间 的 关系 也 就 是 实体 间 的 语义 关 系 是 关系 抽 取 的 

目

标 主 要 的 方 式 是通过 人工 构 建语 义模板 以 及语 义信 息 的 规 则 结 构 来识 别 实体 间
。 


的 关系 现在 的 主要做法是通过构建实体 间 的 关 系 模 型来 替 代前 文提 到 的 人工 语
。


义模板 以 及 结 构 规则 

。

（
３
） 属性抽取 ： 属 性抽 取是面对 知 识 实体 ， 通过 知 识 属 性来构 建对 实 体 的 描


述 。 实 体属 性可 以 看作 是知 识 实体与 实体对应 的 属 性 之 间 的 连接关系 ， 也可 以将


属 性抽 取视为 种 非典 型 关 系 抽 取
一



。

在第 章 内 容 曾 提到 深度学 习 为代表 的 表示学 习 模型 取得 了 长 足 的进步



一

［
５ ５ ，
５ ６］
， 研 究 者们 会 将 实 体 的 语义信 息 表 示为低位 向 量 ， 通过数据信 息 到 低 维 向 量


的 映射 ， 在低维空 间 里 学 习 知 识实体 的本身 的信 息 ，
实体之 间 的 关系 信 息 以 及 实


体 的 属 性信 息 。
构 建 在 知 识 的 背 景 下 的 知 识 库 称 为 成 为 ＮＬＰ 越 来 越 重 要 的 组 成 

。

由 于知 识 图 谱本 身 的 知 识来源较 为混杂 ， 知 识本身 的 质 量水平可 能 不 髙 ， 


知
识之 间 的 关联性不确 定等 问 题 所 以 引 入 了 知 识 的 融合这 构成 知 识 融合主要


一

，
。

是将 不 同 源 的 知 识通过 特定 的 规范架 构进行整合 ， 挖掘 不 同 知 识源之 间 的 共性 


，

并 对 知 识 之 间 的 关系 进 行 梳 理 与 提 炼 ，
最终可 以 形 成 髙质 量 的 知 识 数据 库 。
随着


ＮＬＰ 领域 的 不 断进 步 ， 也 有 学者对成 熟 的 知 识 图 谱体系 提 出 质 疑 ， 认为知识之


间 的 逻辑性在提取 的 过 程 中 被 忽 略掉 ， 而在有些背景下 ， 例 如 本 课 题 的 司 法 领域


背景下 事 理 逻 辑 是 极 为 重 要 的 法 律 过程 这就 引 出 了 事理 图 谱这 概念
一

， ， 

。

２ ３ ２． ．
事理 图 谱



事理图谱 Ｅ ｖ ｅ ｎｔ  Ｌ ｏ ｇ Ｇ ｒ ａｐ ｈ Ｅ Ｌ Ｇ ）
５７
是 个主 要用 于描述事理逻辑关 系


一

［ ］

（ ｉ ｃ ，

的 知 识库 ，
核 心 是事件之 间 的 时序上 的 演化与 规律过程 。 在 可视化 的 结 构 上 ，


事
理 图 谱往 往被 设 计 成 个有 向 有环 图 不 同 的 图 的 节 点 代表 不 同 的 事件 有向边


一

， ，

代 表事件之 间 时 序上 的 逻辑关系 。 理论上 ， 事理 图谱 中 的 图 的节 点 ：

事件 是特指


具有 定抽 象程度 的 泛化事件 表示为抽 象 语义完备 的 谓 词 短语或句 子 也可


一

。 、 ，

以 表示为 可变长 度 的 结构化 的 主体 事件词 客体 多 元组 其 中 必然包含



一

、 、 、 ，
（ ）

个事件词 ，
标 志 事件 的 发生 

。

“ ” “ ” “ ”
例如 ， 虽然脱离 了 具体的场景 ，
但 吃 火锅 ， 看 电影 ，
去 机场 

，

” “ “ ”
仍 是合理 的 事件 表达
“ ”
地震 ； 但 做 事情 ，
吃 等事件 由 于过度抽 象 ， 

属

１ 

８
 第二章 相关技术 




于 不 合理或不完整 的 事件表达 。 事件词 可 以 是动 词 或名 词 ，

但 是绝大 多 数事件都


是动 词 触 发 的 。 其中 ， 按动词 的 内 容 意 义进 行划 分 ， 可 将 事 件 分 为 如 下 表 所示 的



动 作类事件 状态类事 件 关 系 类事件与 能 愿类事件 四 个大类

５８ ５ ９］
［ ，

、 、 

。

表 ２
－

１ 四 类事件



事件分类
  示 例
｜

动 作类事件 
吃 ． ． ．
，
． ．
… 看 ． ． ．
， 走 ， 跑等 



状态 类 事件 
正在 ＊？＊
 ，
做过 ？？ 》
，
变成 ＊？ ？
等 



关系类事件 是 ？ ． ．
，
为 ？？？
，
分为 ． ？？
， 组成 ？？？
，
构成 ． ？


等
會

能够 ？？？
， 愿意 ？？？
， 应 ３ ？？？
，
值得 ？？？


等

“ ” “ 

”

前 文 所提 到 的 知识图谱 这 术语可 以 有两层含 义 如 果认为 知识 图谱

一

“ ”

表示广义上 的 知 识库 是 种 用 以 存储 知 识 的本体 那么 事理 图 谱 则是 

种
一 一

， ，

“ ” “ ”

存储 事 理逻辑关 系 的 知识 图谱 ； 如果认为 知识图谱 特指 狭义上现 阶段 以




谷歌 、 百度 等为 代 表所构 建 的 以 实体为 中 心 、 用 于 提升 用 户 搜索 体验 的 知 识库 

，

” “ ”

事理 图 谱 知识 图谱
“
那么 便是与 相并列 的 种新型常识知 识库
一



。

表 事理 图 谱与 知识 图 谱的 区 别 与 联 系
－

２ ２
 




事理 图 谱 
知识图谱 



研究对象 
谓 词 性事件 
体词 性 实体 



组织形 式 
有向图 
有向图 



知识形式 
事理逻辑 关系 
实体的属 性与 相 互关系



确 定 性 多 数 为 不 确 定 的 多 数 为 确 定 的



事理 图 谱与 知 识 图谱的 区 别 与联系 如 上表 ２ ２ －

所示 ， 可 以 从研 究对 象 、 组织


形式 、 主 要知 识 形 式和 知 识 的 确 定 性 四 个方 面进 行 研 究 。 知 识 图 谱 的 主要研 究对


象 是体词 性 实体 ， 而 事 理 图 谱 的 核 心 研 究对 象为 谓 词 性事件 。 虽然二者均 以有 向



图 作 为 组织 形式 ， 但 是对知 识 的 表示 却 存 在 差 异 。 事 理 图 谱注 重 对 事 理逻辑 的 发


掘 ， 以 事物 之 间 的 逻辑作为 图 的 边结构 ， 而知识 图 谱则 是对实体 的 属 性探 究 以 及


实体 间 的 相 互关系 作为主要 的 结 构 单元 事理 图 谱 主要刻 画 的 是事件 间 的 相 继 发

 。

生 的 不确 定 关系 ， 而知识 图 谱研 究 的 则 是确 定性 的事件关系 

。

本课题 正 是基于 这些考量 ， 聚焦于相 似 的 历 史案例 分析 ，

构 建针对刑 事 案例


的 事理 图 谱关系 ， 将案例 之 间 的 相 似性作 为 维度考量 。
本课题选取基于规则 匹 配



的 方法识 别 法律 判 决 书 文本 不 同 句 子 中 的 因 果 关 系 。 在 过 去 针对 法律 文 本 的 研 究



中 ， 法 律 文 本 中 的 因 果 关 系 主 要 包括 明 确 因 果 句 和 模糊 因 果 句 两 种 形 式 。
明确因



果 关 系 的 句 子具有 特定 的标识词 ， 可 以 据此采用 规则 模板 的 方式抽 取 因 果对 。 


在

１ 

９
 北京 邮 电大学 工学硕士学位 论文 




此基础上 ， 构 建 了 司 法案件相 关事 理 图 谱 。
最终 ， 将基于 司 法事理 图 谱 的 辅助判


决方案生成与 基于 深 度 学 习 的 预测 模 型 结合起来 进 行 包含 案件 罪名 及 量刑 的 辅

 ，

助判案结果的生成 

。

２ ３ ３
． ． Ｎ ｅ ｏ ４ ｊ

Ｎ ｅ〇 ４ 是 个将结 构 化 的 数据 信 息存储到 网 络 而 不 是传统意 义上 的 ＱＬ 


表
一

ｊ
Ｓ

单中 的 具有 极高运算性 能 的 无 ＳＱＬ 的数据 库 本质 上 来说 Ｎｅ〇４ 是 个基



一

， ，
。 ，
ｊ

于磁盘存储 的 嵌入 式 结 构 的 引 擎 同时 Ｎｅ ｏ４ 也 可 以 看作 是 个高性 能


一

， Ｊ ａｖ ａ 。 ，
ｊ

的 图形引 擎 ，
本 身 具 备 所有 的 数 据 库 具 备 的 特 性 

。

事理 图 谱从本质 上来 说 是 种 基于 图 的 数据存储结 构 由 事件节 点 与 有 向 边



一

组成整个事件 图 的 事件节点 就是 知 识 图谱 中 的 实体 由 个唯 的 Ｄ 标记
一 一

。 ， Ｉ 

，

有 向 边用 于 连接 不用 事件 并代表 了 事件之 间 的 逻辑关系 Ｎ ｅ〇４ 作为 种 经过



一

， 。
ｊ

特别 优化 的 图 形数据 库 ， 主 要优势 在 于 

：

数据存储 ： Ｎｅ〇４ ｊ 使用 图 的 结 构存储数据信息 ， 避 免 了 与 传统 数据库类似



的 存储过程 ， 可 以存储 图 的 节 点 、 属 性和边 。 属性 、 节 点 都 是分 开存储 的 ， 属性


与 节 点 的 关系 构 成边 ，
极大地提 高 了 数据库 的 相 关性 能 

。

可视化 ： Ｎｅ〇４ ｊ 自 带 的 可视化 功 能 ，

在 构 建好数据 库 之 后 ， 通过命令 行进入



到 Ｎ ｅ〇４ 的 管 理 后 台 ｊ
， 即 可 以 通过 Ｃ ｙｐ ｈ ｅ ｒ 语句 对 数据库 选择数据进行可视化 

，

或者通过 点 击节 点 也 可 以 完 成 可视化 工 作 

。

２ ４ ． 本章 小结



本 章 介 绍 了 文本 分类 的 技 术 要 点 与 实现 ， 词 向 量 的 提取技术 ，
从 ｗ 〇 ｒ ｄ２ ｖ ｅ ｃ



展开讲述 Ｂ Ｅ ＲＴ 以 及 Ｘ ＬＮ ｅ 的 应 用 ｔ ， 主 要做 法是 构 建预训 练模 型 ， 用 词 向 量这



形 式把文本 中 的 词 转化 到 低 维稠 密 的 向 量空 间 同 时 根据 词 向 量之 间 的 不 同 距


一

离度 量来描 述 不 同 词 汇 之 间 的 语义相 似度 。 ２ ２ ．
节介 绍 了 刑 期 预测 预训 练模型 中



的深度学 习 架构 ， 包括有 用 于 文 本 分类 的 Ｃ ＮＮ 模型 ， 从 Ｌ Ｓ ＴＭ 模型 引 申 

到
Ｂ Ｌ Ｓ ＴＭ
ｉ 模型 ， 最后介 绍 了 在 Ｂ Ｌ Ｓ ＴＭ
ｉ
模型 中 引 入 了Ａｔｅ ｎ ｔｉ ｏｎ 机制 。 ２ ３ ．
节着重



介 绍 了 与 司 法领域结 合 紧密 的 知 识 图 谱 理论 体 系 并 在 此基础 上 引 出 事 理 图 谱这

 ，

概念 并将 事 理 图 谱 与 司 法 领 域 有 机结 合起来 最终 通过 融合基于 司 法事理



一

， 。 ，

图 谱 的 刑 期 预测 模 型 与 基于深度 学 习 的 预测 模 型 使用 可视化界 面制 作 了 最终 的

 ，

辅助判 决方 案生成系 统 

。

２０



第 三 章 基于 预训 练模 型提取特征 的 混合深度罪 名 预测 模型 



第 三 章 基 于 预 训 练模 型提 取 特征 的 混 合 深 度 罪 名 预 测 模 型



本 章 基 于 合作 项 目 提供 的 判 决 书 文 本 进 行 了 特征 工 程分 析和 研 究 判 决书 文

 。

本本 身 具 有 行文规范 模式统 的特点 方便我们 提取特征 同 时判决书 也具有



一

， ， 。

文本 长 度 偏 长 的 特 点 ， 因 此 我 们 根 据 判 决 书 的 特 点 使 用 既 能 保存 文 本 特 征 ， 又能


处 理长 文 本 ， 充 分利 用 上 下 文 含 义 的 数据 预 处 理和 特征提取 方法 。
本 章 首先研 究



了 当 前基于 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 架 构 的 两种 预训 练模 型 的 原 理和 特 点 ，
并和 之 前传 统 的



特征提取 工 具 Ｗ〇 ｒ ｄ ２ Ｖｅ ｃ 做对 比 分析优 劣 ， 之后 分别 使用 这三种 预训 练模 型 作 为



上游特征提取工 具 ，
下 游 任务选择文本分类任务 。
罪 名 预测 ，
本 质 上是对不 同 刑


期 的 判 决 书 进行 分类 。 最后 对三种 预训 练模型 的结果进 行 比较和 分析 

。

３ ． １ 数 据 获 取 与 预 处理



３ ． １ ． １ 数据 获 取



为 了 验证本课题所提 出 模 型 的 有 效性 我们 从 中 国 裁判 文 书 网 上 获取 刑 事 案

 ，

件 的判 决书 。 中 国 裁判 文书 网 ， 是 目 前 中 国 最大 的 司 法数据 公开 网 站 ， 网 站上 收


录 的 包括 中 央到 地方法 院 的 判 决 为 了 排 除其他 因 素影 响 和 保证实验 的 统 性
一

。 

。

我们 选取 的 判决书在 个规定 的 长度 内 经统计 ％ 以上的判 决书 的长度在



一

。 ， ８０

１ ５ ００ 字左右 ， 因此 ， 我们 选取 了 在 １ ０００ 字和 ２００ ０ 字 之 间 的判 决书 作为我们 的




实验数据 

。

通过筛选 ， 最 后 我 们 得 到 了２ ４ ９ ４ ２ 份 刑 事 判 决 书 作 为 训 练 数 据 。
按照 ９ ：  

１

的 比例 。 ２２４５ ２ 条样 本作 为 训 练集 ， ２４９０ 条 数据 作 为 测 试集 

。

本章节的 目 的 是 通 过建 立 模 型 ， 对 输入模 型 的 判 决书进 行 罪名 预测 。 在收集



到 的判决书 中 ，
共有 十种犯罪类型 ，
分别是 

：

（ １ ） 故意杀人 ；
（ ２ ） 盗窃 ；
（ ３ ） 故意伤害 ；
（ ４ ） 抢劫 ；
（ ５ ） 强奸 ； （ ６ 

）

危险驾驶 ；
（ ７ ） 交通肇事 ；
（ ８ ） 虚开发票 ；
（ ９ ） 诈骗 ；
（ １ ０ ） 走私 ，
贩卖 

，

运输毒 品 

。

此处摘 选 了 篇故意杀人 的判决书作为样例 由 于判 决书整体 文本较长 


篇
一

， ，

幅所 限 选择 篇较为简 短 的判 决书作 为 展示 内 容如下

一

， ， 

：

丹 东 市振安区人 民 检察院指控 ， 被 告人 李某某 与 被 害人 鲁某某系 邻居关系 


，

多 年来矛盾 不断 。 ２０１３ 年 １ ２ 月 ８ 日 １ ２ 时许 ， 二人 因琐 事发生 争 吵 ， 鲁某某报



警 民 警接报 警赶到现场 在民 警向双方 了解 情况 时 被 告人 李某某从 家 中拿 出
。 
 ， ，

２ 

１

北京 邮 电大学工 学硕士学位论文 



把三 齿 钉耙 在鲁 某某头 部打 了 下 造成鲁某某开放 性颅脑损 伤 现场 民 警



一 一

， ， 。

将 李某某的 钉耙夺 下将其 制服 ， 李某某 仍扬 言要杀死鲁某某 。 公 诉机 关 认 为 ， 


被
告人 李某某的 行为触 犯 了 《 中 华人 民共 和国刑法》 Ｕ
之 规定 ， 应 以 ｎ 罪追 究其


刑事责 任 被 告人 李某某犯罪未遂 。 ， 可从 轻或减轻处 罚 。
附 带民 事 诉 讼原 告人 鲁


某某 请求判令被 告人 李某某赔偿医疗费 ４ ５ ８ ７ ９ ． ３６ 元 ， 误 工费 ２ ２ ４ ２ ． ２４ 元 ， 护理费


３ ０ ６８ ． １ ６ 元 ， 住院 伙 食补 助费 ４８ ０ 元 ， 交通费 ６ ４ 元 ， 伤残赔偿金 ４ ６ ０ ４ ０ ４ 元 ，


精
神 损 害抚 慰 金 ６９ ０ ６ ０ 元 ， 护 理 依赖 ４８９ ９ ３ ０ 元 ， 今 后 治疗 费 １ ００００ 元 ， 共计


１ ０８ １ １ ２ ７ ７ ６ ．

元 

。

由 上 以及其他 决书可 以抽取 出 判决书 的格式为 ： （ １ ） 当事人信 息 ；

（ ２ 

）

案件描 述 ；
（ ３ ） 当 事人被起诉 罪 行 ；
（ ４ ） 影响 因素 （ 如是否 自 首 ， 是否犯罪未


遂 ） ；
（ ５ ） 判 决结果 

。

３ ． １ ． ２ 数据预处理



数据 的 质 量决定 着最终模型分类结 果 的好坏 ， 为提高数据质 量 。 对裁判 文书



进行相 应预处理 。
具 体方法如 下 

：

首先 去除 些缺失 重 复 以 及犯罪嫌 疑 人 不 止 个 的 判 决书 样本
一 一

， ， 

。

其次 ，
从裁判文 书 的 内 容可知 ， 文 书 前 两段 是对嫌 疑人 的 基本信 息 描 述 ， 

对
刑 期 预测 任 务 来 说 属 于 无 效 内 容 ， 文本 内 的 各类姓名 ， 地点 ， 时间 ，
手机号 ， 

身
份证号 车牌号等也 属 于 无 效信 息 ， 对 判 决 书 样 本 中 的 这 些 内 容进 行 删 除 

。

对于本课题研究 的判 决书 ， 文本长度 在 １ ０ ００ ２０００ －

字 ， 而 Ｂ Ｅ ＲＴ 为 了 保证训



练速度 将最大序列 长度 限制 为 因此 为 了 保证 模 型 进 行 比 较 时 的 统 

性
一

， ５ １ ２ ， ，

和 模型 的 训 练速度 本课题将所有判 决书 的 文本 统 至 字 获得判 决书 文本



一

， ５ １ ２ ，

特征 向 量 首 先要 解决 的 问 题 就是如 何处理超过 ５ １ ２ 个字 的文本 


。

主 要 有 两 种 解决 办 法 

：

１ ） 截断法


通常情况 下 ， 文本 的 关键信 息 在 文本 的 开 头 或者结 尾 ， 因此 ， 可 以 选择 只 留



开 头 的 文本 只 留 结 尾 的 文本 或者依 靠经验按照 比 例 选择 部分开头 的 文本和



一

， ，

结尾 的文本 

。

２ ） 级联法


首 先将输入文本分成 ｋ
＝
Ｌ／ ５ １ ０ 块 ， Ｌ 为 文本 的 长度 将每块文本输入模型 去

 ，

生成 ｋ 个表达 ，
接着分别 使 用 均 值池化 、 最大池化和 自 注 意 力 机制 去 合 并 ｋ 块表


达 

。

Ｐａ
ｐ ｐａ ｇ ａ ｒ ｉ  ［
６ °］
对 这 几种 方法做 了 研 究 ，
最终得到 ，
在截断法 中 ， 选择 前 １ ２８



２２



第 三 章 基于 预 训 练模型 提取特征 的 混合 深 度 罪 名 预测 模型 



个字符和 后 ３ ８２ 个字符 ， 在 文本 分类上 的 效 果 最好 ，

因此 ，
本课题 也选择这种 处


理方法 。
预处理后 ， 取经过预 处理后 的 每 份判 决 书 的 前 １ ２ ８ 个字 符和 后 ３ ８２ 个字



符输入模型 获取 文本特征 向 量 

。

３ ２ ．
模 型 介绍



３ ２
． ． １ Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ  模型



Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型 的 结构如 图 ３
－

１ 所 ７ Ｋ 

：

Ｏｕ ｔ
ｐ ｕ ｔ

Ｐｒｏｂ ａｂ ｉ ｌ ｉ ｔ ｉ
ｅｓ





ｔ

Ｉ  Ｓｏ ｆｔ ｍａ ｘ  

１



ｔ

ｆ  ｌｉ ｎ ｅａ ｒ  

］

Ａ  ｔ
Ｊ


 Ａｄ ｄ  ＆  Ｎ ｏ ｒ ｍ  Ｈ
－

Ｉ 

ｎ

Ｆｅｅｄ



Ｆ ｏ ｒ ｗ ａｒｄ



（  ｆ  ＞ 【
Ａｄ ｄ  ＆



ｐ ｊ 
— 

ｍ

ｏ ｄ Ａ
ｔ ｔｔ ｅ ｒｔ ｏ ｎ

 ｉ

一


Ｆ ｏｒｗ ａ ｄ ｒ  ａ ａ ｌ Ｎ ｘ



ｈ


—

１  Ａｄ ｄ  ＆  Ｎ ｏ ｒ ｍ



皱 ‘吆  ｍ

ｐ ｉ

ｙｕ ｆ
■

ｔ ｉ
－

Ｈ ｅ ａｄ  Ｍ ｕ
ｒ ｆ ｋ ｅｄ
ｅ
ｌ



ｔ ｉ
－

Ｈ ｅａｄ



Ａｔ ｔ ｅ ｎ ｔ ｉ
ｏｎ Ａｔ ｔ
ｅｎ ｏ ｎ

 ｔ ｉ

Ｌ ＿
３ ＝＾


Ｐｏｓ ｉ ｔ ｉ
ｏｎａ ｌ

ｌ ｙＴ Ｘ  Ｐ ｏ ｓ ｉ ｔ ｉ ｏｎａ 

ｌ

Ｅｎ ｃ ｏ ｄ ｉ
ｎｇ  Ｅ ｎ ｃ ｏｄ ｎ ｇ

 ｉ

Ｉ ｎ ｐ ｕｔ  Ｏ ｕ ｐ ｕ ｔ ｔ

Ｅ ｍ ｂ ｅｄ ｄ ｎ ｇ ｉ

 Ｅ ｍ ｂ ｅｄ ｄ ｎ ｇ ｉ

１  

Ｉ

Ｉ
ｎｐｕｔｓ  Ｏ ｕ ｔｐ ｕ ｔ 

ｓ

（
ｓｈ ｉ
ｔ ｅｄ  ｒ ｇ ｈ
ｆ ｉ
ｔ


）

图 ３
－

１ Ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍｅ ｒ 结构示意 图



本质 上是 个 Ｄ ｅｃ ｏｄｅｒ 结构 如图 所不 输出 的序


一

Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ Ｅｎｃ ｏ ｄｅｒ －

， ３
－

１ ，

列 ， 通过左 侧 的 Ｅｎｃ ｏ ｄ ｅｒ 进行编码 之后 ， 再将 隐含表示输 入 Ｄ ｅｃ ｏｄｅｒ 进行解码 


。

（ １ ） Ｅ ｎ ｃ ｏ ｄ ｅ ｒ



Ｅｎｃ ｏ ｄ ｅ ｒ 由 六个图 ３
－

１
中 左侧单元组成 ，
每个单元 由 多 头 自 注意 力 制模块



２３



北京 邮 电 大学 工学硕士学位 论 文




（ Ｍｕ ｌ ｔ ｉ
－

Ｈ ｅａｄ Ａ ｔｔ ｅｎｔ ｉ ｏｎ ） 和 全连接前 向 网 络模块 （ Ｆ ｅ ｅ ｄ ｆｏ ｒ ｗ ａ ｄ ） 组成 。 由 图 可见 


，

为 了 解 决深 度 的 网 络 的 梯 度 消 失 和 梯 度 弥 散 问 题 ，
都增 加 了 残差连接 

。

Ｋｅ
ｙ
ｌ
 Ｋ ｅ ｙ ２ Ｋ ｅ ｙ ３ Ｋ ｅｙ４
ｊ
… …



；

＾

一 “

￣＿ｉ — 一

「 
ｔ



｜



０



１



＊

Ｎ
阶段
＂


１
Ｑ ｕ ｅｒｙ 


（
ｆ 【 ｑ ｋ ， ）

＾
￣

｛
＾ Ｑ 〇 ｛ ＞
ｉ

）
￣

｛
Ｆ 《 Ｑ ？ ？
ｉ

）
￣

＾
Ｆ Ｋ？ ｑ ，
ｉ

） ｊ
 

｜

ｓ ｌ  ！

ｓ２  ｓ ３  ｓ ４  ：：：：！
＇



，

＿
、 ＇  Ｘ Ｖ ＜ 、 ｆ
 


＞

类Ｓ ｏ ｆ ｔ Ｍ ａｘ 〇归 一

化 卜 … －

阶段 

２

Ｗ ｗ Ｗ ４ ／
 

Ｉ

ａｌ  ａ ２ ａ ３ ａ ４ 
丨

；；
－

；／



卜
￣
￣ ￣ ￣ ￣
 ＊— 丨

阶段
￣ ￣ ￣
￣
  ＊ … …


Ｉ  

３


？



？

Ｖ ａ ｕ ｅ ！  ￥ ａ ｕ ＃ ２  Ｖ ａ ｔｕ ｆ ３  Ｖ ａ ｙ ｅ ４
ｌ

 ｌ
ｌ



４



２

 

１

 

 



图 ３ Ａ ｔ ｔ ｅ ｎ ｔ 机制


－

２  ｉ  ｏ ｎ

图 ３
－

２ 是 Ａｔｅｎ ｔ ｉ ｏｎ 机制 的 原理解释 ，
给定 输 入序 列 中 的 某个元素 Ｑ ｕ ｅ ｒｙ ， 

通
过计算 Ｑ ｕ ｅ ｒｙ 与 各 个 Ｋ ｅｙ 的 相 似 值 ，
得到每个 Ｋｅｙ 对 Ｖａ ｌ ｕｅ 的权重系 数 ； 第二步


对权重进行 归 化 第三步将最终得 到 权重和 数值进行 内 积 得到最终的注意 力


一

； ，

数值 。
用 公 式表达为 

：

ｈ ＝Ａ ｔｔ
｛｛ ｑ ，
ｋ） ｖ） ，

 （
３
－

１


）

其中 ／？ 是我们最终得到 的 表达 ，
ｇ 指的是 Ｑ ｕ ｅ ｒｙ ， 々 是与 Ｑ ｕ ｅ ｒｙ 计算相似度


的 ｋ ｅｙ ， ｖ 是每 个 ｋｅ
ｙ 对应 的 值 

。

Ｓ ｅ ｌｆ －

Ａｔｅ ｎ ｔ ｉ ｏｎ 即是 Ｑ ｕ ｅ ｒｙ 序列 和 Ｋ ｅｙ 序列相 同 ， 是
一

个序 列 内 部元 素发生


的 Ａ ｔ ｅｎ ｔ ｉ ｏｎ 机制 ，
即 Ｑｕｅ ｒ
ｙ
＝
Ｋ ｅｙ ＝
Ｖａ ｌ ｕｅ 的 特殊情况 

。

通过 引 入 Ｓｅ ｆ ｌ
－

Ａ ｔｔ ｅｎｔ ｏｎ
ｉ
机制 ，
更容 易 捕捉句 子 中 长距 离 的 相 互依 赖特征 

，

２４



第 三 章 基于 预 训 练模型 提取特征 的 混合深度 罪 名 预测 模型 



因为 Ａ ｔ ｅｎ 在 计算过程 中 不 依 赖时 间 序 列 这 特性 直接将 句 子 中 任 意


一

Ｓｅｌｆ －

ｔｉ ｏｎ ，

两 个 单 词 联 系 起来 ， 即 任意两个单词 的距离为 １ 。 因此 Ｓ ｅｌｆ －

Ａ ｔ ｅ ｎｔ ｉ ｏｎ 的 引 入解决


了 传统 Ｒ ＮＮ 受 限于输 入序列 长 度和 编 解码 时 都依赖 内 部 个 固 定 向 量 的 限制
一



。

因此  Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ  的  Ｅ ｎ ｃ ｏ ｄ ｅ ｒ  采用 了  Ｍｕ ｌ ｔｉ
－

Ｈ ｅ ａｄ  Ｓｅｌｆ －

Ａ ｔ ｅ ｎｔ ｉ ｏ ｎ 模 型 来进 行 编


码 ， Ｍｕ ｌ ｔｉ
－

Ｈ ｅ ａｄ Ａ ｔ ｅ ｎｔ
 ｉ ｏ ｎ 相 当于多个  Ｓ ｅｌｆ －

Ａｔ ｅ ｎ ｔｉ ｏ ｎ 的集成 ， Ｍｕ ｌｔｉ
－

Ｈ ｅ ａｄ Ａｔｅ ｎ  ｔｉ ｏｎ



分为三个步骤 第 将输 入分别 输入上 文 中 所说 的 Ｎ 个 ｆ ａｔ ｅ ｎ ｔ ｉ ｏ ｎ 中 得到



一

ｓｅ
－

： ，
ｌ ，

个加 权 后 的 矩 阵 第二 将 个矩 阵 拼接 成 个大 的 特 征 矩 阵 第三 将矩 阵


一

８ ；
， ８ ；
，

经过 层全连接之后 得到最终 的输 出
一

， 

。

（ ２ ） Ｄ ｅ ｃ ｏ ｄ ｅ ｒ



在解码 器 中 ， 比 编 码 器 多 了 Ｅ ｎｃ ｏ ｄｅ Ｄ ｅ ｃ ｏ ｄｅｒ Ａ ｔ ｅｎ ｒ
－

 ｔｉ ｏｎ 模块 ，
Ｑ ｕ ｅ ｒｙ 来 自 

解
码器 的 上 个输 出 Ｋ 和 Ｖ 则来 于编 码 器 的输 出 解码器 的 为 对 应 位置输 出


一

， 自 。

词 的 概率 分布 

。

３ ２ ２ Ｂ Ｅ
． ． ＲＴ  模型



（ １ ） 模型简介


Ｂ Ｅ ＲＴ  （ Ｂ ｉ ｄ ｉ ｒ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌ  Ｅ ｎ ｃ ｏ ｄ ｅ ｒ  Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｓ  ｆ ｒ ｏ ｍ  Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ ｓ  ） 是 ２ ０ １ ８ 

年
Ｇｏｏｇ ｌ ｅ Ｏ ｐ ｅ ｎＡ Ｉ 团 队基于数十亿级别 的语料和 双 向 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型 为基础训 练


得到 的 个预训 练模型
一



。

预训 练模型 是 当 前 然 语 言 处 理领 域 种 前沿 的技术手段 即 先通过大量



一

自 ， ，

的 语料数据 训 练 个通用 的 模型 然 后 再根据 具体 的 下 游 任 务 比 如 机器翻 译

一

， ， 

，

实体识别 或者 问 答 系 统等等 ，
有监督 的根据 下游任务训 练 ，
精加工 （ ｆｉ ｎｅ －

ｔ ｕｎ ｅ 

）

模型 ， 使 之适用 于 具 体应 用 。 Ｂ Ｅ ＲＴ 模 型 在提 出 后取得 了 十分惊 人 的 成绩 ， 在机



器 阅 读理解顶级 水 平测 试 Ｓ Ｑ ｕ ＡＤ ｌ ． ｌ 多 个指标超越人类 ， 在 １ １
种不同 ＮＬ Ｐ 测试


中 也取得 了 最好 效果 包括将 。 ＧＬＵＥ 基准推至 ８０ ４ ． ％  （ 绝对 改进 ７ ６ ．  ％ ） ， Ｍｕ ｌ ｔｉ ＮＬ 

Ｉ

准确 度达到 ８６ ７ ． ％ （ 绝 对 改进率 ５ ６ ． ％ ） 等 

。

（ ２ ） 模型结构



２５


 北京 邮 电 大学工 学硕士学位 论文
 



Ｂ Ｅ ＲＴ （
Ｏｕ ｒｓ


）

丁 丁
｜  ＊

 １ ２
…



Ｎ

（
Ｔ ｒｍ  Ｔ ｒｍ
Ｊ  ｆＴ ｒ ｍ
）



ｉ   ｍ  Ｅ
ｉ
ｉ
…

ｉ ＆ 

ｉ

图 ３
－

３ Ｂ Ｅ Ｒ Ｔ 模型 架 构



Ｂ Ｅ ＲＴ 的模型架构如 图 所示 图中的 Ｔ ｒｍ 即 是上 文 中 的 个 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ
一

３ ３
－

， 


单元 ， Ｂ Ｅ ＲＴ 提供 了 简 单和 复杂两个模型 。
对应 的超参数如 下 

：

Ｂ Ｅ ＲＴ Ｌ Ａ Ｒ Ｇ Ｅ －

： Ｌ ＝
２４ ， Ｈ ＝
１ ０２４ ， Ａ ＝
１ ６ 

；

Ｂ Ｅ ＲＴ Ｂ Ａ Ｓ Ｅ －

： Ｌ ＝
１ ２ ， Ｈ ＝
７６８ ， Ａ ＝
１ 

２

在上面 的超参数 中 ， Ｌ 表 ７ Ｋ训 练模型 网络结构 的层数 （ 即 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ  ｂ ｌ ｏｃｋｓ




的 数量 ） ， Ａ 表示 Ｍｕ ｌ ｔｉ
－

Ｈｅａｄ Ａｔｅｎ  ｔ ｉ ｏｎ 中注意力 机制 设计 的 数量 ， Ｈ 代表最后得



到的 Ｅｍ ｂ ｅ ｄ ｄ ｎｇ ｉ
的 向 量维数 

。

Ｂ Ｅ ＲＴ 输入 的编码 向量是 ３ 个嵌 入特征 的 单位和 ，

如图 ３
－

４ 所示 

：

  ｓＨ 
ｎＰ ｕ ｔ
，

！
？＊ ，
？ ｍ ｙ １

ｄｏｇ Ｉ ？ ？ Ｈ ｔ
ｅｓ Ｐ ａｙ
＊
ｌ
？＾  ｌ


ｉ

 
：

｜
ｆ ！

 ［ ［ 
｜

Ｊ
；

｜ ｜
［
ｊ

Ｅ ｍ ｂｅ ｄ ｄ ｎ ｇ ｓ ｉ

 Ｉ
ｊ＾ ＥｓＪ  ｆ 
￡
雄
 １
１ 
ｇ
＾ ｌ［  ［
 Ｓ」 ｜  １［ ５＾ Ｌ


？ ＋ ＋ ＋  ＋ ＋ ？  ＋  ？  ＋  ４ 

－

＞ 

ａ ｈｉ
＾ ｌｓ ］  ｂｊ


＾
ｅ ｅ
Ａｉ
．

ｊ
ｉ

． ： ＼ ］ ［

Ｅ
Ｅ
ＩＪ ｅ
Ｅ  Ｅ Ｊ Ｅ Ｅ
Ｅ ｅ
 Ｅ
＾

 １
：

 ［
；

〇  ＼ Ｉ ＼  ２ Ｉ
３ ， ， ， ； ｓ ｜
９ １ 

〇

图 ３
－

４Ｂ ＥＲ Ｔ 输入编码 向 量 示 意



Ｗｏ 该部分的主要 的 是为 了 将 单词 划 分为 有 限长 度 的 组公


一

１ 、 ｒｄ Ｐ ｅ ｃ ｅ
ｉ ：
目

共子词单元 ， 将这些公共子词单元作为后续 的 处理对 象 。 这样可 以 有 效地调 节 单




词 的 有 效性与 子词 单 元 的 灵活性之 间 的平衡 例 如 被拆 分 成 了 和

‘ ’ ‘ ’ ‘ ’

。
ｇｏ ｎｇ ｉ
ｇｏ ｉ ｎｇ 

；

２ 、 位置嵌入 （ Ｐｏｓ ｉ ｔ ｉ ｏ ｎＥ ｍ ｂ ｅ ｄ ｄ ｎ ｇ ｉ ） ： 该部分的主要 目 的 是为 了 将特定位置



的 单词 的 位置信 息转化为 相 对应 的 特征 向 量 

；

３ 、 分割 嵌 入 （ Ｓ ｅ ｇ ｍ ｅ ｎｔＥ ｍ ｂ ｅ ｄ ｄ ｎ
ｇ
ｉ ） ：
该部分 的 主要 目 的 是为 了 区 分两个不



２６



第 三 章 基 于 预训 练模型 提取特征 的 混合深度 罪 名 预测 模型 



同 句 子之 间 的 关系 ，
例如 Ｂ 是否是 Ａ 的下文 （ 对话场 景 ， 问 答场景等 ） 。 对于


句 子对 第 个句 子 的 特征 值 是 第 二 个句 子 的 特征 值是
一

， ０ ， １ 

。

（ ３ ） 训 练方式


Ｂ Ｅ ＲＴ 之所 以 有 如 此好 的 效果 很大 部分原 因 是它创新 的 训 练模式 传统


一

， 。

语 言 模 型 都是从前往 后 或者从后 往前 ，
即 是 单 向 的 训 练模型 ， 不 能 完 整 地 理解整


个语句 的 语 义 ， 研 究者们 也 尝试双 向 预测 ， 把从 后 往 前 和 从 前 往 后 拼 接 起 来 构 成


双 向 预测 。 Ｂ Ｅ ＲＴ 提 出 的 方法是使用 上 下 文全 向 预测 ，
即 同 时使用 上下 文消 息来


预测 目 标处 的信 息 ， 使用 两 个新 的 无监督预测 任务 对 Ｂ Ｅ ＲＴ 进行预训 练 

。

①Ｍ ａ ｓ ｋ ｅ ｄ  Ｌ ａｎ ｇ ｕ ａｇ ｅ  Ｍ ｏ ｄ ｅ  （ ｌ ＭＬ Ｍ 

）

ＭＬ Ｍ 任务指 的 是 在 训 练过程 中 随 机掩 盖 掉 些单词 通过上 下 文预测 该



一

， ，

单词 。 在 训 练过程 中 ， １ ５ ％ 的 Ｗｏ ｒ ｄ Ｐ ｉ ｅｃｅ 会被 随机遮盖住 。 而被掩盖 的 单词 ， ８０ 


％

会被直 接 替 换 为 ［
ｍ ａｓ ｋ］ ， １ ０ ％ 的 单 词会被 替 换为其他 单词 

。

通过 以 上设计 的 替 换策略 ， 保证 了 在 预测 对应 位 置 单 词 的 情 况 下 ， 还可 以 获


得到每个单词 的 分布 式 表征 

。

② 
Ｎ ｅｘ ｔ Ｓ ｅ ｎｔ ｅ ｎ ｃ ｅ  Ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ  （ Ｎ Ｓ Ｐ ）

ＮＳＰ 的 任务 是判 断句 子 Ｂ 是 否 是句 子 Ａ 的下文 如 果 是 的 话输 出 Ｎ ｅｘ
’ ’

。 Ｉｓ ｔ 

，

否 则 输 出 Ｎｏ Ｎｅｘ 这 个关 系 以 特定 形 式保存 在 图 中 所示 的 符号 中
’ ’

ｔ ｔ 。
［
ＣＬ Ｓ ］


。

３ ２ ３
． ． ＸＬ Ｎ Ｅ Ｔ  模型



Ｂ Ｅ ＲＴ 模型在提 出 后 ， 在 大 量 公 开 数据 集和 Ｂ ｅ ｎ ｃ ｈｍ ａ ｒｋ 任 务 上 达 到 了  Ｓ Ｏ ＴＡ



的 表现 。
但 Ｂ Ｅ ＲＴ 模 型 仍然具有 它模 型本身 的 局 限性 

：

（ １ ）  Ｂ Ｅ ＲＴ 中 ＭＡ Ｓ Ｋ 之 后 的 词 相 互 独 立
［ ］
。 因 此 在 预 测 ＭＡ Ｓ Ｋ 词 的 时 候 ［ ］


，

忽 略 了 ＭＡ Ｓ Ｋ 词 与 词 之 间 的 关 系
 ［ ］
。 以 Ｎ ｅ ｗ Ｙｏ ｒ ｋ  这两 个词 为 例 ， 在 分词 过程 中 

，

两 个 词 同 时 被 ＭＡ Ｓ Ｋ 标 志 替 代 ［ ］
，
因 此 在 预 测 Ｎ ｅｗ 的 过 程 中 ，
无法使用 到 Ｙｏ ｒ ｋ



的信息 ， 但 显 然这两 个词 并 不 独 立 ， 因 此 Ｍ Ｌ Ｍ 训 练 中 的 ＭＡ Ｓ Ｋ 技 巧 可 能 会 丢

 ［ ］

失词 与 词 之 向 的信 息 

。

引 入 ＭＡ Ｓ Ｋ 导 致 的 训 练 过 程 和 预 测 过 程 的 不 致 训 练过程 中 预测


一

（ ２ ）
［ ］
。 ，

的 词 会 被 ＭＡ Ｓ Ｋ 替 代 ［ ］
，
但是在 预测过程 ， 以 及其他下游任务 中 ，
不会出现



［
ＭＡ Ｓ Ｋ ］
， 这也有 导 致 了 在训 练 时看 到 的 和 预测 时看到 的 模型 是有 差异 的 

。

上面两 个 问 题对 于 Ｂ Ｅ ＲＴ 这种 去 噪 自 编码模型 （ 对输入进行破坏 ， 然后 通过




２７


 北京 邮 电 火 学 Ｉ ：
学硕士学位论文 




自 编码 模 型 来重构 未破坏 的 输 入 ） 来说 ， 是 无法避 免 的 。 因 此 ＸＬ Ｎｅ 抛 弃 了 这


 －

种 自 编码模型 的思想 ， 重新使用 自 回归 （ 语言模型 ，

如 ＥＬＭＯ ， Ｇ Ｐ Ｔ 都是 自 

回

归模型 ） 的 模式 ，
但是传 统 的 自 回 归 模式是无法使用 上下 文 的 信 息 的 ， 因此在使


用 自 回 归 语 言 模 型 的 同 时 如 何 引 入 双 向 的 上 下 文 信 息 是 Ｘ ＬＮ Ｅ Ｔ 的 主 要 的 贡 献 ， 

。

作 者采用 了 Ｐ ｅ ｒｍ ｕ ｔ ａ ｔ ｏ ｎＬ ａ ｎ ｇ ｕ ａ ｇ ｅ
ｉ Ｍ ｏｄ ｅ ｌ ｉ ｎｇ 的方法来 引 入 双 向 上下 文信 息 

。

Ｍ 嫌执⑷
 卜４
＇ 》

脚成


！
Ｉ

ＪＶ  

編

識 節 之 ＃４ 今 雲  Ｆ 絲 饮猶 ｋ 翁 ｏ ｉｔ ｋ ｒ ；
ｆ 今 １ 今 ３ 令 

ｉ

ｍ ｍ



＊
’
 

＊


＇
■ 
ｗ Ｘ
； ，

令 今 今  Ｆ獻 今 ＋ ＋２
＇

Ｉ
１

游ｃ ｌ ｆ

ｏｃ ｉ 驗１ 激嫩 錢 Ｋ ｋ ｆ  ； Ｊ
＇

Ｓ ｉ ３ 滅 姻 ｓ  嫩 １從
＊ ； ４ ｉ 


图３
－

５ｐ ｅ ｒ ｍ ｕ ｔ ｏ ｎ ｉ ｌ
ａ ｎ ｇ ｕ ａ ｇ ｅｍ ｏ ｄ ｅ  ｌ
ｉ
ｎ ｇ 模型 实 现过程示例



具体的做法如 图 所示 保持序列 的 输入顺序 不变 但是维护 


个
一

３
－
５ ， ，

Ｆ ａｃ ｔ
ｏ ｒ ｉ ｚ ａｔ ｏ ｎｏ ｒ ｄ ｅ ｒ
ｉ
的 随机排 序 的 位置 表 ，
如 上面所 ７ Ｋ ，
保持 原始输


入不表 ， 然 后 随 机排序 给 出 ４ 个 Ｆ ａ ｃ ｔ ｏ ｒ ｉ ｚ ａｔ ｏ ｎ  ｏ ｒ ｄ ｅ ｒ ｉ ，
当你在预测 ｘ３ 的 时候 ， 

通
过 ｍ ａｓｋ 的 方式 ， 使得 只 能看大 Ｆ ａ ｃ ｔ ｏ ｒ ｚ ａ ｔ ｏ ｎｏ ｒ ｄ ｅ ｒ
ｉ ｉ
中 ３ 的 前 面 的 位置词 ， 也就是



第 个序列 中 的前面什么 都没有 第 二 条序 列 中 的 前面有 和 因 此通过



一

３ ， ３ ２ ４ ，

ｍ ａｓ ｋ 的 方式使 得在 预测 ｘ３ 时 只 能看到 ｘ
２
， ｘ
４
，
同 样 在第三个序 列 中 可 以 看到 ｘ
，


，

ｘ
２
， ｘ
４
。 在第 四 条序列 中 可 以看到 ｘ
４
。
现在假定 我们 采样 的序列 足够 多 ，
从期



望的 角 度上来看 ， 这种 方 式可 以 保证 在 预测 ｘ
３
时 ， Ｘ
ｌ
， ｘ ２ ，
＼ 被看到 的 次数基



本 致 作 者也就 是通过这种 方式 引 入 了 双 向 信 息
一

。 

。

但 是上面 的方式在 实现上有 些问题 例如给定 个 ｄ４ 的序列

一
一

， ａ ！
， ｂ ２ ｃ ３ ， ， 

，

此时 采样两 条序 列 为 ： ａ ｉ
， Ｃ ３ ， ｂ２ ， Ａ ｉ 和 ａ ｉ
，
〇ｄ ｔ ， ｂ２ 。 在预测序列 １ 中 的 ｂ２



和预测序 列 ２ 中的 ｄ４ 时 ， 看到 的都是 ａ ｉ 和 Ｃ ３ ， 因 此 预测 概率 都 是
一

样的 ，
但是



２ ８



第 三 章 基于 预训 练模型提取特征的混合深度 罪 名 预测 模型




直 观上来 说这 个概率 应该 是 不 样的 毕竟 标不 样 为 了 解决这样 的 问 题

一 一

，
目 ， 

，

作者 在预测 当 前词 的 时 候 引 入 了 当 前 词 的 位置信 息 ，
例 如 在预测 ｂ２ 时除了用到



和 还会把它 的 位置信息 起传进来 但是你在预测 下 个词 的 时 候 你不仅



一 一

３ １
（： ３ ， ，

要用 到上 个词 的 位 置信 息 还需要将上 个词 的 词信 息 也加进来
一 一

， 

。

ｍ ｍ ＂ ｕ
￣ －

ＫＶ
＇ ＇

Ａ
＞

＜ ｅ ｎ ｔ ｉｏ ｎ
Ｑ
＝ ＝ ｈ ０
－

ｇ ＇
［

｛  
 ｔｔ
ｇ ［
＿


＼ ［
＂

＂
； 

）


＇ ，

（ ３
－

２ 

）
ｍ
Ａ  Ｋ Ｖ
）

ｈ ｎ ｔ ｉｏ ｎ
 ＜ｒ
Ｑ
＝ 

＝
ｔｅ
￣

［  ｔ
｛  ，

如公式 （ ３
－

２ ） 所示 ， 在这里 表示 的 是 引 入 了 之前 的 时 刻 的所有信 息和



当 前 时 刻 的 位置信 息 的 隐 层 向 量 ，
就如前面的 ｃ ３ 和 位置 ２ 的信息 ，
用 来预测


但 是这个公 式 中 含 有 个 这 是 之 前 所有 时 刻 的 隐 藏信 息 为 了 保证


一

ｂ２ 。 ，

在 时 能 使 用 ＾＝ 我们 要 另 外去 计算这样 个 因 为这个 是对 时刻及



一

／ ， ｈ ， ｈ ｔ

之前所有 的 信 息 编 码 得到 的 也 就 是 说这里 的 ， ｈ 是包括 ｔ

时 刻 的 位置和词 的信 息 

，

如在上面序列 １ 中 ， 此时你要预测 ｄ４ ，
你 是 需 要对 ａ ｉ
， ｃ ３ ， ｂ ２ 编码的 ，
但我们 在



计算 没用 到 匕 的词信息 也就是这样的 不 致 作者提 出 了 双流

一

。 ， ａｔｅ ｎｔ ｉ ｏ ｎ



机制 ， 具体的 图示如下 

：

Ｓ
５
；  ００００

 丨

＊
Ａ ＿
＿  一  ｝
．
．

ｉ
 Ｓ ＠ ０ Ｓ３


Ｉ ＾ Ｉ Ｉ   Ｉ ：
 ／Ｖ





ｉ

 ＃ 


，

ｉ？  ８
 ？

 ｖ
， ）

＿
ｊ

＃  ＃  Ｃ Ｗ ｕ？
？
Ｕ  ？
ｉ ｔ  ｓｔ ｍＭ ａ
、


＼ ／ ＃ ｖ ｍ ｍ ｃ ｍｉ ￥


ｉ
 
 ｓ 

｜ ＾ ＿ ｊ

＾  ＠ ＠ Ｓ３ＳＢ Ｘ 〇
＇
｜  ， ？ 

？
 ／ ＼ Ｑ ＼
？
＾ ｒ

ｎ＾ ｍ
Ａ ｍｒ
／

 ｌ

—
一

 ｕ 
 丨

ｇ ｓ  ｇ  ０ ０ ｓａ  Ｓ ０  ８０
：


 １

ｍ  ⑷

 ｉ

图 ３
－

６ 双 流注 意 力 机制



如图 最右边的 图 中 所示 实现起来就 是 不太 样 上面 的为例



一 一

３ －

６ ， ｍ ａｓｋ ，

因 为序列为 ３ ， ２ ，
４ ， １ 。 因此在 计算词 １
时 ，
ｇ （ ｑ ｕ ｅ ｒｙ ｓ ｔ ｒ ｅ ａｍ ） 只 能看到 ３ ， ２ 

，

４ ； 而 ｈ  （ ｃ ｏ ｎ ｔ ｅ ｎｔ  ｓ ｔ ｒ ｅ ａｍ ） 能看 到 ３ ， ２ ， ４ ， １ 。 在计 算 词 ２ 时 ，
ｇ 能看到 ３ ； ｈ 

能
看到 ２ ， ３ 

。

另外 ｇ 的 提 出 主要 是为 了 训 练预训 练模型 ， 因 为 你在预测 当 前词 时 ， 是要



ｍ ａｓ ｋ 当 前词 （ 这个 ｍ ａｓｋ 是 不 可避免 的 ， 这是语 言模型 的特性 ，
利 用 上 文 预测 当



前词 ） ， 但 是在 下 游 任 务 的 时 候 ，
我们 是 不 会 ｍ ａｓｋ 任何词 的 ， 因此在下游任务


时我们 只 需要使用 ｃｏ ｎ ｔ ｅ ｎ ｔｓ ｔｒｅ ａ ｍ 的 值就 行 了 

。

２９



北京邮 电 大学 ｎ 学硕士学位 论 文 



总 的来说 ， Ｘ ＬＮ ｅ ｔ 这种 方法很 优雅地 引 入 双 向 上 下 文信 息 ，

但 是 在 实现上计


算量很大 因 为你要计算 很 多 排序 的 序 列 才 能使 得 期 望上 每 个词 出 现 的 次数基本
，



致 为 了 降低计算量 作者 在 这里 只 对排序后 的 句 子 的 后 半段 的词 做预测 


因
一

， ， ，

为后半段 的词 的 前面 的 词 比较多 这样看 到 的 词 会 多 些 可能很快地达 到 期望



一

， ，

致
一



。

Ｘ ＬＮ ｅ ｔ
除了 引 入了 不 同 的训练 目 标和 双流注 意 力 机制 还使用 了 和 。 Ｂ Ｅ ＲＴ 

不

样 的 基础 特征提取工 具 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ Ｘ Ｌ
一



。

Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型在输入时米用 的 是 固 定长度序列输入 ， 且 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型



的 时 间 复杂 度和 序列长度 的 平方成正 比 因此 般序 列 长 度 都 限制 在 最 大
一

， ５ １ ２ 

，

因 为太大 的 长度 ， 模 型 训 练 的 时 间 消 耗太大 。 此外 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型 又不像 ＲＮＮ




这种结构 可 以 将 最后 时 间 输 出 的 隐层 向 量作 为整个序 列 的 表示 然后作为下



一

， ，

序 列 的 初始化输入 。
所 以用 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 训 练语言模型时 ， 不 同 的序列 之间 是没



有联系 的 ，
因 此这样 的 Ｔｒａ ｎ ｓ ｆ
ｏｒｍ ｅ ｒ 在长距离依赖 的捕获能力 是 不够 的 ， 此外在



处理长 文 本 的 时 候 ，
若是将 文本分 为 多 个 固 定长度 的 片段 ，
对 于 连续 的 文 本 ， 

这

无 异 于将 文 本 的 整 体性 破坏 了 导 致 了 文本 的 碎片 化 这也 是 ， Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ －

ＸＬ 被提


出 的原因 

。

Ｔ ｎｍ ｓ ｆ
ｏ ｒｍ ｅ ｒ ＸＬ 做 了 两个改变 是 引 入 了 循环 机制 来提升 模 型 的 长距 离


一

依 赖捕获 能 力 ，
二是引 入上述循环机制 之 后 ， 引 入位置信 息 ， 因 此有提 出 了 相 对


位置 的做法 

。

Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 模型 在 训 练和 评估 时 的 图 化表不如 下 

：

？？ ？？ ＠ｆ〇 〇０ 〇〇？

 ＾
〇 ｍ？ 〇 ？０？？ ？＾ ｏ〇 〇 ｏ？ １ 
＃〇 〇〇？？  ＾
Ｈ 〇  Ｊｍ


〇 ｏ 

？Ｏ ＃Ｏ
 丨 
？ ０ ０
命〇 〇 Ｏ０ ０ Ｏ Ｑ Ｏ  〇 〇０ ０ ０ｐ



＠ 僉 〇诊 〇 酋 ＠參＠ ｃ＞ 〇 〇 ＃ ？ ？ 

？
Ｓ ＊
＊  ＊
＞
｜
＊
？  ％ ＾ ＊ ＊？ ？  ＊＊  ？ ？
？
？ ？ ？ ？ ＊ ？ ？  ？ ■

％ ５
＾  ？ 

？

＊ ＊
■

？？？
？ ？  ｔ
 

Ｉ

（
ａ ）  Ｔｒ ａ ｎ ｎ ｇｉ ｉ
  ｊ
（ ｂ ）  Ｅ ｖａ ｌ ｕａｃｉ ｏｎ
 ｐ ｈ ａｓ ｅ 

．

图 ３
－

７Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍｅ ｒ 模型在 训 练和评估 时 的 图 示 化表 示




可 以看到 在 训 练阶段 序列之 间 是相 互孤立 的 在评估 阶段 在预测 下 


个
一

， ， ，

词 的 时候也 只 能利 用 前面 的 固 定为 ｎ 个词 的 序 列 这样在 训 练时 模型 捕获信 息 的


 。

长度不够 ， 且在评估 时利 用 的 信息 也 不够 。 再来看看 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ Ｘ Ｌ －



。

３ 

０

第 三 章 基于 预 训 练模型提取特征 的 混合深度 罪 名 预测模 型 



＃ ＃ ＃＃ ｑ ｄｏｍ＾ ｍ
＾


Ａｋ  Ｊｍ  ｊ
Ｍ

＇
＇

 ｉ

£ ｆ Ｏ ＆Ｏ ｄ 〇 ａ 〇 ０ 〇 〇 ６ 〇 〇 〇 〇 ？ ０ ６ 〇 ＯＣＯＯ０ ｏ




０ ｙ   ０ ０ ／ 
＇



ｉ
ｉ

＃ ｍ ｂｍ ｏ ＆  ｐ ０ ｆ ｏ  ０ ０ ０ ０〇 ｏ


 ＞

凝＃＃ ？ ０＃＃？ ＃ ？ ＃ ＃ 〇 〇  〇  ｆｆ  ＃  ＃  ４  ｏ  ａ  ｏ  ＾  ＃  ４


＊
 ？？   ｍ％  ｋ  ＊ｔ  ｈ  ＊  Ｓ  ＊ ？？  ？  ？ｍ  ＊  ？  ＾？？％


？
＝

 ｓ
？ ＞ ｓ
＞ ｓ
？ ＜
ｉ
？ ｓ ？
ｊ

Ｓ  ｉ ｉａＯ Ｍｉ ｔ  ｔ  ｘ Ｍ ｃ ｉ Ｍ ｉ ｌ  ｉ ？ ？？？ ？



Ｃ ａ ）  Ｔｍ ｉ ｉ ｉ ｉ ｅｇ  ｐ
ｈ ａｓ ｅ ．

 ＜
ｂ ）
Ｅ ｖａ ｌ ｕ ａｔ ｉ ｏｎ
 ｐ
ｈ ａ ｓｅ 

．

图 ３
－

８Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍｅ ｒ
－

ＸＬ 模型在训 练和评估 时 的 图 示化表示




ＸＬ 在 训 练 的 时候将上 片段的 结果 引 入到 下 片段中 在评估



一 一

Ｔ ｍ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ －

时同样 ， 因 此 能捕 获 的 长距离 信 息较 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ 有 很 大 的 提升 

。

Ｘ ＬＮ ｅ ｔ 在引 入不 同于 Ｂ Ｅ ＲＴ 的训练模型 ， 双流注 意 力 机制 和 Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ －

ＸＬ



之后 ， 在 下流任务 准确 率和 长 文本 的 处理上有 了 明 显 的 提髙 

。

３ ３
．
基于 预训 练 模 型提 取特征 的 混 合 深 度 罪 名 预 测 模 型



本课题采用 基于 Ｂ Ｅ ＲＴ 和 Ｘ ＬＮ Ｅ Ｔ 的 Ｃ ＮＮ －

 Ｂ Ｌ Ｓ Ｔ Ｍ ＡＴ Ｔ Ｅ Ｎ Ｔ Ｏ Ｎ
ｉ
－

Ｉ 混合深度



模 型对法律判 决书 数据集进行 文本预处理 ，

特征提取和 模 型 训 练 。
如 上 文 所描 述



的 ， Ｂ Ｅ ＲＴ 和 Ｘ ＬＮ Ｅ Ｔ 提取 的 文本 向 量在词 义和语义上都有着精确 的 表达 ， 并且



包含上 下 文 背 景信 息 因 此选用 。 Ｂ Ｅ ＲＴ 和 Ｘ ＬＮ Ｅ Ｔ 作 为提取文本特征 向 量 的 工 具 


。

２０ １ ４ 年 ， Ｋ ｉ ｍ ［
６ １
］

提出的 Ｔｅ ｘ ｔ Ｃ Ｎ Ｎ 模 型使 用 多 个卷积 操 作提取文本 特征 ， 


在

文本分类 任务 上有 效地提 高 了 准 确 率 。
从 Ｔｅ ｘ ｔ Ｃ Ｎ Ｎ 开始 ， Ｃ ＮＮ 也逐步应用 于 文



本 分类 任 务 ，
并获得 了 显著的 效果 ，
深度 金字塔卷积 网 络 更 是其 中 的 佼 佼 者 。 

究

其原因 ， 是 继 承 了 深 度 卷积 神 经 网 络 架 构 在 图 像 领域 的 优势 ， 在提取 文 本 的 局 部



特征方面有 着稳定且优越 的效 果 。 ＿ 在 Ｃ ＮＮ 的 基础上进 行 了 改进 ， 可 以在任



意 长度 的 数值序 列 上进行 学 习 Ｌ Ｓ ＴＭ 则 更进 步地 解 决 了 传 统 Ｒ ＮＮ 算法容 易


一

遇到 的梯度消 失 的 问 题 。 本文 的研 究使用 Ｂ Ｌ Ｓ ＴＭｉ ， 在解决上述 问题的 同 时与




Ｃ ＮＮ 结合 ，
使用 Ｃ ＮＮ 提取法律判 决书 文本 信 息 的 局 部相 关特征 使用 ， ＬＳＴＭ 

提
取整 个法律判 决 书 文 本 的 语 序 以 及 文本 撰 写 逻辑序 列 问 题 ，
二者 形成 了 良 好 的 互



补关系 

。

Ａ 机制 是模仿人类注意 力 而提 出 的 种解决 问 题 的办法 简单地说就



一

ｔ ｔ ｅ ｎｔ ｏ ｎ ｉ ，

是 从 大 量 信 息 中 快速 筛 选 出 高 价 值 信 息 。 主要用 于解决 Ｌ Ｓ Ｔ Ｍ ／ Ｒ ＮＮ 模型输入序




列 较长 的 时候很难 获得 最终合理 的 向 量表示 问 题 ， 做法是保 留 Ｌ Ｓ ＴＭ 的中间结




果 ， 用 新 的 模 型对其进 行 学 习 ，
并将其与 输 出 进 行 关联 ，
从而达 到信 息 筛选 的 

目

的 

。

基于 以 上 所提到 的 各种 模型 的 优势 本课题将这三种 模型 结合起来 构成



一

， ，

个混合模型 。
综合三种 模 型 和 机 制 的 优势 来进 行 文本 分类 

。

３ 

１
 北京 邮 电 大学工学硕士学位 论 文
 



Ｃ ＮＮ ｂ ａｓ ｅ ｄＭｏ ｄ ｅ 

ｌ

—  ｒ 拼接品量
 ＾＾  
ｊ

判 ：
二 一
一
丁 ｆ
． ． ．

 



 Ｕ 
￣ ＇ ＊ 



Ｋ Ｕ ｍ ｘ Ｆ ｓ ｏ ｉ ｍ ｉ ｎ ｆ ａ
ｒ ｃ ｏ ｌ  ｉ ｎ ｉ Ａ Ｍ ｕ ｒ 〇ｏ ． ｉ ｎ ｉ   ｒ

文
书
丫 干 □
 
 ＿

？


  ｊ

；
  ！  ＼ Ｏ



判 ，
Ｂ Ｅ Ｒ Ｔ
向   ．
期

 

？

／  〇 
ｉ

  量 通 过 〇 、
－

従 取式 文 本特 ｉ Ｒ ｓ 
「ｎ ｐ 广 ／
、
ｆ ｔ

ｒ 、
＇
丄  ＇
  ２Ｓ


ｖ ｖ    ＇
／ 

ｉ

、
城
，
Ａ ＿
Ｖ 、
咏
）  ＼ ／ ／ ＼ 
— 

顶
／
＇

 ＊

书
．
－
Ｖ 、

、
、 Ｏ ■



＼  判 广 丫  ＾  知


＇
＇

－
一 －

 ｒｖ 
■
－
＇
： ．
＇
：

本 、  决 
一 一


一


— 
 果

 ＇

 书 多 ｒ  二
｜

ｊ  「 ： ，
＇
．



＇

丄
＊

句
丄 丄 丄 ＃
－ 



一 


 ＇
＊ 一
＾ ＇


－
—
Ｗ？ Ｏ ｓ
—

？ 
ｍ ？ ＊ Ｍ Ｖ ？ ？ ？
― ￣ —
＊ ＂


－


Ｉ

了

： Ｊ
ｉ 
！ 
：


）
； 
  ｊ
ｊ   ｊ

丨 
—

一
丨



跫
＊

°〗

 ００ｙＲ ｉ  ．
．
．
：
： ． 

＂

？
｜

 向 量 拼 接 全 连 接 层
Ｂ ｉ ＬＳ Ａ ｎ ｉ 〇＂ ｂ ａ Ｓ ｅ ｄ

Ｍ ｏｄ ｅ ］



图 ３
－

９ 混合深度 葬 名 预测模型 架 构 图



模型框架 图 如 图 ３
－

９ 所示 ，
Ｂ ｉ
－

ＬＳ ＴＭ －

Ａ ｔｅ ｎ ｔ ｉ ｏｎ 模块在框 架 图 左 侧 ，
Ｃ ＮＮ 

模
块在框架 图右侧 。 下 面对 每 个模块进 行 解释 

。

（ １ ） Ｂ ｉ
－

Ｌ Ｓ Ｔ Ｍ Ａ ｔｔ ｅ ｎ ｔ ｉ ｏｎ



文档 由 句 子组成 ， 而 不 同 的 句 子 在 文档 中 的 重 要 成 是 不 同 的 ， 人们 在 阅 读文


档 的 时 候会 重 点 关注某 些句 子 这些被 重 点 关注 的 句 子 通常 对 文 章 理解起 决 定性

 。

作用 ， 基于这种 思 路 ， 我们 在 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 的 模型基础上 引 入注 意 力 机制 。 Ｌ Ｓ ＴＭ



结 合注意 力 机制 ， 在对整 个文本进 行 建模 的 时候 ，

可 以突 出 关键的句子 ， 更好地



把握文本 中 心 思 想 。
另外 ， Ｌ Ｓ ＴＭ 模 型 选择 的 是 Ｂ ｉ
－

Ｌ Ｓ ＴＭ ，
即双向 Ｌ Ｓ ＴＭ 模型 

，

双向 Ｌ Ｓ ＴＭ 相 比 较传 统 Ｌ Ｓ ＴＭ 模型 对某 句 的 上 下 文信 息 有 着 更好地利 用 能


一

力 

。

Ｂ ｉ
－

ＬＳＴＭ －

Ａ ｔｅ ｎ ｔ ｉ ｏｎ 模块 的框架 图 ，
如图 ３
－

１ ０ 所示 

。

＆ 为 判 决 书 中 的 每 个句 子经过 Ｂ Ｅ ＲＴ 之后生成的 向量 ， ／７
，
为不 同方向 的编码


表示 是句 子标签 是归 化 的 不 同句子 的 权重 是最终得到 的 文本 向 量
一

《 ｖ
， ，
％ ， 

。

该模块 即 是 将 每 个句 子 通 过 Ｂ Ｅ ＲＴ 生 成的 句 子 向 量输入双 向 Ｌ Ｓ ＴＭ 模型 

，

得到 每个句 子 的 隐含 表示之后 ， 再使用 Ａｔｅｎ ｔ ｉ ｏｎ 机制 计算权重 ，

最 后加 权得到



整个文本 的 向 量 的 表示 

。

３ ２



第 三章 基于 预 训 练模 型 提取特征 的 混合深 度 罪 名 预测 模 型 





Ｖ

．
．
．
句 子注意力



４  ＾
Ｋ
－

＾
ｈ Ｔ ｎ 

１

句子


一
？ ＞ ＞
ｐ  
一 ． ￣ ￣ 一 一－  ？
－

ｙ７
｜

ｊ 


 ｉ  ＼

  Ｉ
ｉ  ＼

  Ｉ

ｊ
ｉ 

＼

ｓ
＾  Ｓ




 ｊ
７ ｎ

图 ３
－

１ ０Ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏｎ 模块框 架 

图

（ ２ ）  Ｃ ＮＮ



为 了 提取 不 同 级 别 的 局 部特征 选择 了 多 个不 同 大 小 的 维卷积 核 在提取 到



一

的 文本 向 量上进 行卷积 分别选取 宽 度为 ４ ５ 的 维卷积核 对卷积后得到



一

。 ３ ， ， ，

的结果接 Ｋ －

ｍ ａｘ ｐ ｏ ｏ ｌ ｉ ｎｇ 操作 ，
即 从卷积层 得 到 的 列 向 量 中 选择最 大 的 Ｋ 个特征


值 ， 然 后将 他们 拼接起来得到 了 通过 Ｃ ＮＮ 的 特征 向 量 

。

拼接 向 量



Ｍ ａ ｘＰ ｏ ｏ Ｋ Ｍ ａ ｘＰ ｏ ｏ ｌ Ｋ Ｍ ａ ｘＰ ｏ ｏ
一 －

Ｋ ｌ ｉ ｎｇ ｉ ｎｇ ｌ ｉ ｎｇ





—

＾   ＾ ＾

卷积核
－

１ 卷积 核 ２ 卷 积 核 －



３

通 过ＢＥＲＴ 提 取 的 文 本 特 征 向 量



判 决书文本



图 ３
－

１ １ Ｃ Ｎ Ｎ 模块框 架 

图

最后 ，
将两 部分获取 到 的 特征 向 量拼接起来 ，
输 入 到 最 后 网 络 最后 的 全连接


层 。
最后输 出 的就是预测 的 罪名 

。

３ ３


 北 京 邮 电 大 学 工 学硕士 学位 论 文
 



３ ４ ．
实 验 及 结果



３ ４ ． ． １ 实 验环境



本 章 在 服务 器 上进 行 实 验 ， 具体环境如 下 

：

操作 系 统 ： Ｌ ｎ ｕｘ
ｉ 


深度学 习 框架 ： Ｐ ｙ Ｔｏ ｒｃ ｈ ｌ ． 

２

处理器 ： Ｉ ｎｔ ｅ ｌ （ Ｒ ）  Ｘ ｅ ｏ ｎ （ Ｒ ）  Ｃ Ｐ Ｕ  Ｅ ５ －

２ ６ ２ ０ｖ４
 ＠ 
２ ． １ ０ ＧＨｚ 
＊


２

显卡 ： ＮＶ ｉ ｄｉ ａ  Ｔ Ｉ ＴＡ Ｎ Ｘ Ｐ  １ ２ Ｇ Ｂ  
＊


２

３ ４ ２
． ．
实 验 数据



我们 从 中 国 裁判 文 书 网 上获取 了 刑 事案件 的 判 决书 。 通过筛选 ， 最 终得 到 了




２４９ ４２ 份刑 事判 决书 作 为 训 练数据 。 按照 ９ ：  １ 的 比例 。
其中 ２２４ ５ ２ 条样本作为


训 练集 ， ２４９ ０ 条数据 作 为 测 试集 。
在 收集到 的 判 决书 中 ，
共有 十种犯罪类型 

，

分别 是 

：

（ １ ） 故意 杀人 ；
（ ２ ） 盗窃 ；
（ ３ ） 故意伤害 ；
（ ４ ） 抢劫 ；
（ ５ ） 强奸 ；
（ ６ 

）

危险驾驶 ；
（ ７ ） 交通肇事 ；
（ ８ ） 虚 开 发票 ；
（ ９ ） 诈骗 ；
（ １ ０ ） 走私 ，
贩卖 

，

运输毒 品 

。

３ ４ ３
． ．
基 线模 型



选取 以 下 三种 模 型 作 为 基线模 型 和 我们 的 模 型进 行 比 较 以 验证 我们 模 型 的

 ，

可靠 性 

。

①预训 练模 型＋全连接层 ： Ｂ Ｅ ＲＴ 针对每个判 决书 生成对应 的 文本 向 量 ， 


文
本 向 量之后连接 个全连接层 全连接层 的 输 出 作 为模型 的 预测 结果
一

， 

；

② 预 训 练 模 型 ＋ Ｃ ＮＮ ：  Ｃ ＮＮ 模 型对局 部特征有 着很好 的 提取 能 力 


；

③ 预 训 练 模 型 ＋Ｌ Ｓ ＴＭ ： Ｌ Ｓ Ｔ Ｍ 可 以 提取文本整体逻辑信 息 ，
更好 的 去 获取


法律判 决 书 文本信 息 的 上 下 文关系 信 息 

。

３ ４ ４
． ．


实 验设 置 和 评 价 指标

对 于 所 有 的 输 入 ， Ｂ Ｅ ＲＴ 生 成 向 量 的 维 度 都 是 ７６８ 。
对 于


Ｃ ＮＮ Ｂ Ｌ Ｓ Ｔ Ｍ Ａ ｔ ｅ ｎｔ －
ｉ
－

ｉ ｏｎ 混合模型 中 的 Ｂ Ｌ Ｓ ＴＭｉ
－

Ａｔｅｎ ｔｉ ｏｎ 模块 ，
模型输入为每份


判 决 书 按 照 标 点 符 号 切 割 成 的 句 子 将 每 个句 子 输 入 ， Ｂ Ｅ ＲＴ 之后生成 的句 子 向 量


作 为 该模块 的 序 列 输入 。
对于 Ｃ ＮＮ 模块 ， 按照 上文 中 提到 的 方法 ， 将每份判 决


书取前 １ ２８ 和后 ３ ８２ 个字作 为 数据输入 Ｂ Ｅ ＲＴ 生成词 向 量 。 网 络学 习 率 设置为


ｌ ｅ
－

３ ，
ｂ ａｔ ｃ ｈ ＿
ｓ ｉ ｚｅ 设置为 ６４ ， ｅｐ ｏ ｃ ｈ 设置为 ７０ ， 模 型 损 失 函 数都选择为 交 叉摘损



３ 

４

第 三 章 基于 预 训 练模 型 提 取 特 征 的 混 合深 度 罪 名 预 测 模 型 



失函数 

。

对于模 型 评价 本课题选择 在 分类 中 广泛 应 的 准 确 率和 召 回 率作 为 模型 的 评
，


价指 标 

。

３ ４ Ｓ
． ．
实验结果 及分析



通过表 ３
－

１ 与图 ３
－

１ ２ 我们 可 以 很 明 显地看到 ，
我们 提 出 的 混合深度模型 在



预测 的 效果 上 ， 明 显 优于其他三个对 比 实验 ，
在 召 回 率 的 指标上也 显 著优于其他


方法 ， 由 此证 明 了 我们提 出 模型 的有 效性 

。

表 实 验结 果 对 比


－

３ １


准 确 率 召 回 率


Ｂ Ｅ Ｒ Ｔ ＋ Ｃ Ｎ Ｎ ０ ． ８ ６２ ０ ． ６８４



Ｂ Ｅ Ｒ Ｔ ＋ Ｌ Ｓ Ｔ Ｍ ０ ８７７
． ０ ．
７０ 

１

Ｂ Ｅ Ｒ Ｔ ０ ． ８ ５ １ ０ ． ６ １ 

３

Ｂ Ｅ Ｒ Ｔ ＋ Ｃ ＮＮ －

ｂ ｉ ＬＳＴＭ


０ ． ９０ １ ０ ． ９ １ 

６
－

Ａ ｔｔ ｅｎｔｉ ｏｎ



１
０ ８６  ０ ．
２
－
８７７
〇 ．
８５ １ ０ ．
９ 

Ｍ
° ９ ＇

 

—



’
０ ８ ０ ６ ８４
．
．
° －
７０１
 ａ
，

０ ６ １３


０ ７ 麟 禱 吻
．

娜 纖 偷 雜
． 鎌 娜 麵 ＿
＿ ＿
＿ ＿
， ＾


 

一
輸
０ ６ ．

０ ５

 ．

０ ４

 ．

０３



０ ２

 ．

０ ．


１



０

Ｂ Ｅ Ｒ Ｔ ＋ Ｃ Ｎ Ｎ Ｂ Ｅ Ｒ Ｔ＋ ＳＴ Ｍ Ｂ Ｅ Ｒ Ｔ  Ｂ Ｅ Ｒ Ｔ ＋ Ｃ Ｎ Ｎ ｂ ＬＳＴ 

Ｍ
－

Ｌ ｉ

獅獅峨？
技 Ｉ
；

！ 顏率 ■
機 ＊ 雜 ？
【 ｉ
ｆ  ［
ｐ ！ 
■



舉

图 ２ 实验结果对比


－

３ １

３ ５ ．
本章 小结



本 章 在 深 入 分析 文 本 向 量生 成 方法和 文 本 分类方法 的 基础 上 结 合 刑 事 判 决

 ，

书 的特点 。
提出 了 基于 Ｂ Ｅ ＲＴ 生生成文本 向 量 的 深度 学 习 模 型 。
模型在对判 决书



进行预处理 的 基础 上 ， 由 Ｂ Ｅ ＲＴ 生成对 应判 决书 的 文本 向 量 。 Ｂ Ｅ ＲＴ 在丰富 语料



以 及 创新性 预训 练方法 的基础上 ，
在 提取 文本 向 量上 可 以 很 好地 把 握 文本 的 局 部



３ ５



北京 邮 电大学工学硕士学位论文 



和 整体结构 兼顾词 义和 语义 是 种 优秀 的 文本 向 量生成算法 本章 节结合



一

， ，
。

Ｃ ＮＮ Ｂ Ｌ Ｓ ＴＭ 和 Ａｔ ｅｎ 机制 的优 点 构建了 个混合深 度 模型 不仅利用



一

， ｉ ｔｉ ｏｎ ， ，

到 了  Ｃ ＮＮ 提 取 局 部 特 征 的 优 势 ， 还利 用 到 ＲＮＮ 模型 在 处理序列 化信 息 时 的 长



处 ，
最后 引 入的 Ａｔ ｅｎ ｔｉ ｏｎ 机制 让模型对文本 中 的 重 点 信 息可 以 更好地关注和 处


理 。 该模型 在我们 收集 的 真 实数据集 上获得 了 良 好 的效果 

。

本模型 的 能力 还有更待挖掘 的 地方 。 由 于我们 只 截取 了 指 定 长度 的 判 决书 


，

对 于 不 同 长度 的 判 决书 ， 如 何处理才 能 获得更好 的 效果 ，
有待接下来 的 工 作 继续


研究 

。

３ ６



第 四 章 基于 刑 事 判 决书 的 事 理 图 谱构 建和 刑 期 预测 模型 



第 四 章 基于 刑 事判 决 书 的 事 理 图 谱构 建 和 刑 期 预 测 模 型



４ ． １ 基于 刑 事判 决 书 事 理 图 谱 的 构 建 方 案



本 课题 基于 收集 到 的 刑 事 判 决 书 文 本 数 据 构 建 了 相 应 的 司 法领域 的 事 理 图



谱 。 通过对 原 始 文 本 进 行 预处 理 后 ， 通过抽 取判 决书 中 发生 的 事件 ，
以 及 判 决书


事件之 间 的 关 系 生 成 个刑事判 决书 的 事理 图谱
一



。

本课题将 构 建事理 图 谱 的 流程分为 以 下 任务 ：

数据预处理 ； 原 始 事 件抽 取 

；

事件关系 抽取 ； 事 理 图 谱 构建 

。

流程框架 图 如 图 ４ －

１ 所示 

。

判决书文本



数据 预 处理



事 件抽取



事件关系抽取



事理 图谱构建



图 ４
－

１
事理 图 谱 构 建 流程 框 架 

图

（ １ ） 数 据 预处 理和 事 件抽 取 ？
．
本课题 获 取 的判 决书 中 有 很 多 无用 的 信 息 

，

在进行 正 式 处理前 ， 需 要去 除掉这些冗余 的 无关数据 。

为 了 抽 取合适 的 事件 ， 

对
已 经预 处理过 的 数据进行 中 文 分词 ， 词 性标注 ， 依存语法分析 ，
得到 判 决书 文本


之 间 的 词 性 和 词 语 之 间 的 逻 辑关 系 

。

（ ２ ） 抽 取判 决 书 文本 中 的 因 果 关 系 。 经过数据 预处 理和 自 然语 言 处理之后 

，

对 从判 决书 中 抽 取 的 事件进 行 因 果 关 系 抽 取 。 经过前面 的 处理得到 了 事件三元



组 ，
即 事件 －

关系 事件
－

。
因此 ， 本课 题 采用 正 则 匹 配 的 因 果关系 抽 取方法获得事


件之 间 的 关系 

。

（ ３ ） 图 谱构建 ：
得到抽取 出 来 的 因 果关系 后 ， 抽 取 的事件作为节 点 ， 事件


之间 的 关系 作为有 向 边 ，
并 通过法 律 条 文 ， 罪名 和刑 期属 性将具有相 同 属 性 的 节


点 联系 起来 

。

３７


 北京 邮 电大学 ： ｎ 学硕 士 学位 论文
 



４ ２
．
事件抽 取



基于判 决书 构 建事理 图 谱 的 关键在 于 从判 决 书 中 抽 取 相 关事 件和 提取事 件



间 的 关系 。
即 使对判 决 书 文本进 行 了 预 处 理 ， 但 是 此 时 的 数据 仍 然 不 能 够 直接进


行事 件抽 取和 事件关 系 抽 取 本 节 阐 述 了 怎 样对 判 决书 文本进行 事 件抽 取 下


一

。 ，

节 阐 述 如 何 对 抽 取 出 来 的 事 件进 行 关 系 抽 取 

。

首 先对经过预 处理 的 判 决书 文本进 行分词 ， 分 词 是进 行 自 然 语 言 处 理 的 最 基



础操作 ； 接着 再对 判 决 书 文 本进 行 词 性标注 ； 最 后 对 标注 后 的 句 子进 行 依 存 语法


分析 ， 通过依 存语法分析 ， 可 以 得到 句 子 的 句 法结构 、 主谓 宾等成分 ， 判 决书文


本 中 的 事 件基本 上 由 主 、 谓 、 宾 三 个 组成 

。

（ １ ） 分词 处理



对 提供 的 语 料 首 先进 行 分词 工作 分词 就 是 将连续 的 词 语 序 列 按 照 定的


一

， 。

规 范重新 组合成粒度 更 小 的 词 序 列 的 过程 ， 分词 是进 行 自 然语 言 处理 的 基础 ， 

分
词 之后 得到 的 词 是最 小 的 独立活动 的 语 言 成 分 在 分词 的 基础 上 我们 才可 以 进 行

 ，

词 性标注 实 体 识 别 等 工 作 

。

由 于 本课题 的 输入是判 决书 文本 ， 属 于 长文本 。 在进行分词 之 前 ， 先对长句



切分 将 段 落 分句 将 段话或 篇文 章 中 的 文 字按句 子分开 按句 子形成独立


一 一

。 ， ，

的单元 。 返 回 切 分好 的 句 子列表 。 以 及 短句 切 分 ， 将 长句 按 逗号和 顿 号 切 分 为 短



句 ， 返 回 切 分好 的 短句 列 表 

。

本课题采用 ｐ ｙ ｌ ｔｐ 工 具 包 进 行 与 处 理过 的 判 决 书 文本进 行 分 词 。 语 言 技术平



台 （
ＬＴ Ｐ ） 经过 哈工 大社会计算与 信 息 检索 研 究 中 心 １ １ 年 的 持 续 研 发和 推 广 ， 是国



内 外 最 具影 响 力 的 中 文 处理基 础平 台 。
该平 台 提供 了 许 多 对文本信 息 处理 的 功


能 ， 包括 中 文 分词 、 不 同 词 语词 性标注 、 对实体 的规则 命名 、 对文本 中 句法的分


析 、 不 同 语义角 色 的 标记 等 。
ｐ ｙ ｌ ｔｐ 是 ＬＴ Ｐ 的 ｐ ｙｔ ｈ ｏ ｎ 封装包 。 同 时 对停 用 词 表进


行修 改 ，
剔 除和 因 果关系 有关 的停用 词 

。

（ ２ ） 词 性标注


词 性标注 是对上 小 节 中 文分词 之后 的 分词 结果进 行词 性标记 的 过程 主要


一

做法是确定文本 中 词汇 的 词性 ，
例如名 词 、 动词 、 副 词 以及形容词等词性 。 词性 

，

顾名 思 义 是 指 词 语本 身 的 特 点 来划 分 不 同 的 词 语类别 的 根据 本 身 词 性 是 根据 语

 ，

言 中 的句法结构作为背景 ，
以 时态语态变化作 为主要 计 出 来对句 子 中 的 词 语进行


词 性标记 

。

从 根源 上 来 说 词 类 是 相 同 词 性 的 词 语 的 归 属 个词 类指代 了 在相 同 语 言


一

， ，

背景下 ， 诸 多 在句 子 中 出 现 的句 法功 能结构相 同 的词语 的统称 ， 将这些 不 同 语义



但句 法意 义相 同 的 词 汇 聚合而 成 的 类词 语 在 汉语 中 词类 般可 以 划 分为 实


一 一

。 ，

词 与 虚词 ，
实 词 中 包括体词 ， 谓词等 ， 体词 又可 以 划 分为名 词 、 代词 以及副词等



３ ８



第 四 章 基于 刑 事判 决书 的 事理 图 谱构 建和 刑 期 预测 模型 



词类 

。

通 过 词 性 标注得 到 经过 前 文 分得 到 的 句 子 内 容 的 词 性 之 后 便 于 对接 下 来 的

 ，

文 本 进 行 依 存 句 法 分析 和 语 义 角 色 标 注 ， 从而 抽 取事件 

。

（ ３ ） 依存句 法分析


依存句 法分析主要 是通过分析文本数据信 息 内 的 同 句子 中 不 同 词性词汇


一

之 间 的 逻辑上 的 依 存关 系 ， 核 心 是提取句 子 中 的 核 心动 词 作 为 中 心 成分 ，
并可 以



支配其他句 子成分 。
依 存 关 系 需 要 符合 以 下 五 个条件 

：

 个独立 的 句 子 中 只 能 由 个独立 的 句 子成分

一 一

１ ） 

。

该句 的 其他成分均 要 从属 于某 个句 子 成分
一

２ ） 

。

与 相对应 的 任何 个句 子 成 分 不 能 依 存 于 多 个 其他句 子 成 分
一

３ ） ２ ， 

。

４ ） 如 果句 子 成分 Ａ 直接依存于句 子成分 Ｂ ， 且句子成分 Ｃ 在 句 子 成分



Ａ 和句 子成分 Ｂ 的 位置 中 间 ， 那么 该成分 Ｃ 可能依存于 Ａ ， 也 有可 能依 存于 Ｂ 

，

也存 在 可 能从属 于 Ａ 和 Ｂ 之间 的某 特殊句 子 成分
一



。

５ ） 句 子 中 的 中 心成分 ， 其左 右 的 句子成分互相 没有关系 


。

经过符合上述依存 关系 的 句 子语法分析之后 我们 可 以 得到 文本 中 句 子 的 句

 ，

法 结 构 信 息 以 及句 子 中 的 主 谓 语 分布 信 息 以 便 后 续进 步 的 分析句 法结 构 以 及


一

句 子 的 语义含 义 。 法律判 决书 文本 中 的 事件表达主要 是 由 主 语 、 谓 语 以 及 宾语三




个句 子 成分构 成 ， 因 此语法依存 分析十 分 重 要 且 具 有 充 分 的 意 义 。

本研究主要是


通过 前 文 中 描述 的 依 存语法分析来 抽 取法律 判 决 书 文本 中 的 事 件关 系 以 及事件


表达 ， 进而提取语句 中 的 主谓 宾 成分 。 主 语和 宾 语作 为 两 个事件节 点 ， 而谓 语作


为 连接 两 个 事 件 之 间 的 关 系 ，
如 转折 、 顺承 、 并列 等 

。

４ ３ ．
事件 关 系抽 取



（ １ ） 事件之 间 的关系类型



传 统知 识 图 谱 主要研 究 知 识实体 、 实体属性 以及实体间 关系 ， 与 传统知 识 图




谱相 比 事 理 图 谱 描 述 的 是 谓 词 性事 件 以 及 其 内 外 联 系 事理 图 谱是 个事件逻


一

， ，

辑库 ， 主 要 描 述 了 不 同 事件 实体之 间 的 进化规律 、 事 理逻辑 以 及 发 展规 则 。 而从



结 构上来说 ， 事理 图 谱 中 的 节 点 代表事件 ， 而 有 向 边代 表 事件 之 间 的 实 力 逻辑关


系 。
本 课题 中 提 取 的 关 系 为 以 下 几种 

：

顺承事件关 系 是指两 个 不 同 事件 在 时 序 上 的 依 次 发生 的 关 系 例如 又
＇ ＇

： 。 ：


，

再 才Ｖ并、
＇ ＇




因 果事件关 系 ：
指 两 个事 件 之 间 ， 事件 Ａ 发生在 前 ， 导致 了 事件 Ｂ 的 发生 

。

例 如 从而 为此 因 而 Ｖ 致使Ｖ 以 致 于
’ ＇



。

并列关 系 指两 个事件 同 时 发生 如 ｉ丨 且 并且 也 还、
＇ ＇

： 。 ：
Ｔｆ ，



３ ９


 北京 邮 电 大 学 工 学硕 士 学位 论 文
 



条件事件关系 是指 前 个事件 Ａ 是其他事件 或 Ｃ 等 发生 的 条件 例如

一

： Ｂ 。 

：

否则 才 不然 要不
＇ ＇ ＇ ＿
＇



。
＼ ＼

转折 关 系 是指 前 后 两 个事件形 成对立 例如 虽然 尽管 虽 但也


＇ ＇ ‘

： 。 ： ，

但还 但却 Ｖ但
＇ ＇

＼ 

。

（ ２ ） 基于 模式 匹 配 的 关 系 抽 取方法


事件之 间 的 关系 抽 取式构 建事 理 图 谱 的 关键步 骤 本课题采用 基于 模式 匹 配

 ，

的 方法抽 取 事件 之 间 的 关 系 ， 即 使用 正 则 匹 配 的 方法 ， 判 决事件之 间 是否存在事



理关系 连接词 ，
判 断该语句 是否进行关系 抽取 ； 如 果进 行关系 抽 取 ，
再和 关系 连


接词进行 比对 判 断是哪 种 事理关系
一

， 

。

具 体 的 流程为 ：
将五种 关系 编 译成模式 ，
将通过依存语法分 析标注得 到 的 主



谓 宾事件作 为输入 ， 进行模式 匹配 ，

输 出 事 件 关 系 的 三 元 组＜事 件 子 句 １ ， 逻辑


关系 ， 事件子句 ２＞ 

。

４ ４ ．
构建 图谱



在上 节中 本课题针对每 篇 判 决 书 进 行 了 预 处理 分词 依 存 语 法分析
一 一

， 、 、 

。

将 判 决 书 中 符合要求 的 事件抽 取 了 出 来 。 当 抽 取 完 成事 件和 事 件 之 间 的 关 系 之



后 ， 图 谱 的 构 建便是水 到 渠成 了 

。

每 份判 决书 中 抽 取 的 事件都表 明 了 当 事案件 的演化规律 每个案件 都有其



一

特点 ， 因 此 通 过 具 体 事 件 将 不 同 的 事 件 连 结起 来 ， 难度较大 ， 每份判 决书 除 了 描


述 了 事件之外 ， 还会 描述本 案件 的 刑 期 ， 罪名 ， 和 判 罚 的 法律条文 。
本课题根据


事件节 点 的 属 性 构 建 图 谱 

。

４ ５ ．
图谱可 视化



可视化可 以 将文本 等描述性信 息 展现得 更加 直观 知 识 图 谱 由 于 其节 点 和 节


 。

点 之 间 复杂 的 联系 ， 使 得 可 视化 尤 为 重 要 ， 通过可视化 ， 可 以 看到 事件之 间 的 演


化 进程和 事 件节 点 之 间 的 联系 

。

事理 图 谱 的 本质 上来说仍可 以 视作 知 识 图 谱 的 种 前主流 的 知 识 图 谱可


一

， 目

视 化 工 具 有 如 Ｍｏｏ  ｊ
ｎｎ 、 Ｈ ｉ
ｇ ｈ ｃ ｈ ａｒｔ ｓ 、 Ｅ ｃ ｈ ａｒｔ ｓ 、 Ｇｅｐ ｈ ｉ 、 Ｏ ＳＭ 、 Ｇｅｏ  Ｆｌｏｗ 、 Ｎ ｅｏ４ ｊ


。

本 节选择 Ｎ ｅｏ ４ ｊ 作 为 事 理 图 谱 的 可 视化 工 具 

。

在对 图 谱进 行 可视化之前 ， 需 要 将 图 谱 存 储 在 Ｎｅ〇４ 数 据 库 中 ｊ
， 对 于 数据 存


储 ， Ｎ ｅｏ４ ｊ
有三种方式 ， 本课题选择在 Ｗｅ ｂ 端中利用 Ｃ ｒ ｅ ａｔ ｅ 命令构 建关系和 节


点 

。

首先分别创 建事件节 点 ， 判 决书节点 ， 犯罪类型节 点和刑 期节 点 。

事件节 点



４０



第 四 章 基于刑 事判 决书 的 事理 阁 谱构 建和 刑 期预测 模Ｍ 



即 是 点之 间边 的连接 。 事件之 间 的边是 事理 关系 ，

除此之外 建立起判 决书和 犯罪


类型 的关系 ， 犯罪类型和 刑 期 的 关 系 ， 事件与 犯罪类型 的 关 系 。 至此 ，
便完成 了



整个事理 图 谱 的构建 。 其生成 的 事理 图 谱如 图 ４ ２

－

所示 

。



ｉ

／


－

， 

 １ 
■
 ．


＊

，  ＿
．



／



＿
图 ４ 事理 图 谱事 件对生成示意 图


－

“ ” “

同时由下图 ４ －

３ 中 可 以看到 ， 左颈部刺 穿 导致 了 （ Ｃ ａｕ ｓ ａ ｌ ｉ ｔ
ｙ ）  急性大


“ ” “ ”

失血 点 击 急性大 失血节点 可观察到 急性大失血 和 致人死亡 同属 于刑



”

期为 即 死刑 节 点 的节点 由 此可得到 个左颈 部刺 穿 导致 急性大 失血致人



一

０ （ ） 。

死亡 最 终 被 判 处死刑 的 个关 系 链 条 完成 了 基于判决书 的 事理 图谱 的构建

一

，


。

４ 

１
 北京 邮 电大学工学硕士学位 论文
  





）



‘



… 卜
：

、 …



：

…
一
：

 ，

＇
： ■



；



％

图 ４ 死刑 关 系 链 条 示 意 图


－

４ ６ ．
刑 期 预测 与 实验



本节之前 的 内 容 详细 讲述 了 我们 构 建事 理 图 谱 的流程 本节基于 之前构 建 的


 ，

知 识 图 谱来进行 刑 期 预测 

。

４ ６
． ． １
实验数据和 实验环境



我们 从 中 国 裁判 文 书 网 上获取 了 刑 事 案件 的 判 决书 。 通过筛选 ，
最 终得 到 了



２４９４２ 份刑 事判 决书作 为 训 练数据 。 按照 ９ ：  １ 的 比例 。 其中 ２２４５ ２ 条样本作 为



训 练集 ，
２４９０ 条数据作 为测 试集 ， 其 中 刑 期属 性为 ３ （ 月 ） 至 ３ ６ ０ （ 月 ） 以 及死


刑 （ 本课题 中 死刑 在模型 中规定为 ０ 月 ） 

。

本 章节实验所使用 的 计算机平 台 参数如 下 


：

操作系 统 ： Ｌ ｎ ｕｘ


ｉ

深度学 习 框架 ：
Ｐ ｙ Ｔｏ ｒｃ ｈ ｌ ． 

２

处理器 ： Ｉ ｎｔｅ ｌ
（
Ｒ Ｘ ｅ ｏｎ Ｒ
） （ ）
Ｃ Ｐ ＵＥ ５ －

２ ６ ２ ０ｖ ４
 ＠ 
２ ． １ ０Ｇ Ｈｚ 
＊


２

４２



第 四 章 基于刑事判 决书 的 琪理 阁 谱构 建和 刑 期 预测 模型 



显卡 ： ＮＶ ｉ ｄ ａ Ｔ Ｉ ＴＡ
ｉ Ｎ ＸＰ
 １ ２ Ｇ Ｂ＊ ２



４ ６ ２
． ．
刑期 预测



刑 期 预测 ，
即 是在给定输入 的情 况下 ， 通过利 用 了 先验知 识训 练 的 模型给 出



其推 断 的 刑 期 的 过程 。
有 些研 究 人 员 为 了 提 高预测 的 准确 度 ，
将刑 期按照 时 间 长


短进 行分段 例如 个月 分为 段 个月 分为 段 这时 的预测可 以视为


一 一

０ ３ ３ ６
－ －

， ， ，

刑 期 的 分类 任 务 由 于存在 多 个刑 期 的 时 间 的 分段 所以是 个 多 分类任务 


本
一

， ， 。

课 题 选 择 直 接 预测 具 体 刑 期 ， 得到刑期 的 具体时 间 ， 而不是范 围 ， 因此本课题 的




刑 期预测 是 个 回 归 任务
一



。

判 决书 文本预 处理



判 决书事件提 取



事件节 点 相 似度 计算



返 回 相 似事件节 点



对 多 个事件节 点 所代 表 的


酬 臟平均 




是
 ？ 



返回节点对应的 刑 期



如
 输 出 刑 期 ＾


—

图 ４ ４ 开 期 预 测 流程 

图
－

前文 构 建 的 事理 图 谱在揭示事件之 间 发 展关 系 的 同 时 事件节 点 同 时 还和 罪

 ，

名 和刑 期节点 相 关联 ， 可 以 通过节 点 相 似度 匹 配 的 方式来获得相 似节 点 上 的 刑 期



“ 

”

来作 为待 预测 事件 的 刑 期 例如 在 事理 图 谱上 的 个事件链条是 左颈部刺 穿
一

。 ，

”
 急性大失血 这 个事件和 其 对 应 的 刑 期 节 点 相 连接
“
导致 了 （ Ｃ ａｕｓａ ｌ ｉ ｔ
ｙ ） ， ， 

为

４３


 北京邮 电 大 学 工 学硕士 学位 论文
 



死刑 。 如 果输入 的 判 决 书 中 同 样提取 到 了 急 性 大 出 血 的 事件 ， 通 过文本相 似度 匹




配 的 方法 即 可 以 将这两个节 点 匹 配 ， 所 关 联节 点 的 刑 期 即 为 待 预测 判 决 书 的 刑



期 。
如果 匹 配到 多个节 点 ，
将节 点 关联 的 刑 期 取平均 。 同时 ，
为 了 加速节 点 的 匹



配 ，
利 用 本课题第 三 章 中 提 出 的 方法 ，
先对 判 决书进 行罪名 预测 ，
再进行刑期预


测 。 刑 期 预测 的 整 体流程 图 如 上 图 ４ ４ －

所示 

。

４ ６ ３
． ．
评价 指 标



对于刑 期预测 任务来说 ，

模型 最终预测 的 结 果和 实 际 的 结 果 仍 是存在 偏 差 

，

可 以 选择 多 种 评价指 标来衡量模型 好坏 ， 例如准确率 、 召 回 率和 Ｆ １

值等 ，
但是



由 于 本课题设计 的 模型预测 结 果 更偏 向 于 回 归 模型 ， 因 此 我 们 选 择 Ｍ ＳＥ 作 为 我


们 的 评价指标 

。

Ｍ Ｓ Ｅ  Ｍ ｅ ａｎ （  Ｓ ｑ ｕ ａｒｅ ｄ  Ｅ ｒｒ ｏ ｒ ） 为均方误差 ， 该 统计参数计算 的 是拟 合 数据 和



原 始 数据对应 误差 的 平方 求 和 平 均 ， 计算公式如 下式 ４ －

１ 

。



２

ＭＳＥ 
＝ 丄
 （ ４ －

１ 

）

其中 ｍ 为 样本 总 量 ，
分别 表示原始数据 与 预测 数据 

。

４ ６ ４
． ．
基 线模型



在 刑 期预测 上 ， 我们 选择三种基线模型 与 我们 的 模 型 进行对 比 。 分别 是



Ｔ ｅ ｘ ｔ Ｃ ＮＮ ， Ｔ Ｏ Ｐ Ｊ Ｕ Ｄ Ｇ Ｅ  和  Ｈ ＡＮ  模型 

。

Ｔｅ ｘ ｔ Ｃ ＮＮ
６
是第 个成功将 Ｃ ＮＮ 引 入 文 本 分 类领 域 的 模 型 简言之
一
１
［ ］

（ １ ） ， 

，

Ｔ ｅ ｘ ｔ Ｃ ＮＮ 的 工 作 过程就 是 将 文 本 向 量 化后输 入 模 型 ， 得到 最 后 的 预测 结 果 

。

 Ｔ Ｏ Ｐ ＪＵ Ｄ Ｇ Ｅ
６２］
是 个基于 拓 扑 的 多 任 务 刑 期 预测 模 型
一

２
［
（  ） 

。

 ＨＡＮ  （ Ｈ ｙｂ ｒ Ａｔ ｅ ｎ Ｎｅ ６３
为 个基 于 Ａｔｅｎ 机制 的 刑 期


一

（ ３ ） ｉ ｄ  ｔｉ ｏｎ  ｔ ｗ ｏ ｒｋ ）  ［ ］

 ｔｉ ｏ ｎ

预测 模型 ， 使用 注 意 力 机 制 对文本进行编码 之 后输入 Ｄ Ｐ ＣＮＮ 做文本分类 ， 在刑




期 预测 问 题上 得到 了 优异 的 结 果 

。

４ ６ ５
． ．
实验结果



最终我们 得到 了 如 下 表 ４ －

１ 所示 的 结 果 。
从 中 我们可 以 看 到 ， Ｔｅ ｘｔ Ｃ Ｎ Ｎ 

，

Ｔ Ｏ Ｐ ＪＵＤ Ｅ Ｇ Ｅ ， ＨＡＮ 三 类 模 型 的 Ｍ Ｓ Ｅ 值分别为 ８ ． ８ ， 

４ ７ ．
和 ３ ． １ 。 而相 对其他基线


模型 ， 我们 的 模 型 在 单 个案件上 的 Ｍ ＳＥ 值为 ２ ６ ． ， 远 高于 Ｔｅ ｘ ｔ Ｃ ＮＮ 模 型 的 预测


结果 ， 也 显 著 高于 其他两 个基线模 型 ， 对于 案 件 真实刑 期 的 预测 己 经 十分接近 

。

上述 结 果均 证 明 了 基于 事 理 图 谱 的 刑 期 预测 模 型 在 刑 期 预测 任 务 上 具 有 优 秀 的



预测 能 力 

。

４４



第 四 章 基于 刑 事判 决书 的 事理 图 谱构 建和 刑 期 预测模 型 



表 ４
－

１
实 验结 果
 





Ｍ 
ＭＳＥ



Ｔ ｅ ｘ ｔ Ｃ ＮＮ ８ ． 

８
 

Ｔ Ｏ Ｐ ＪＵ Ｄ Ｅ Ｇ Ｅ ４ ７

 ．

 

Ｈ ＡＮ ３ ． 

１



基 于 事 理 图 谱 的 刑 期 预 测 模 型 ２ ． 

６

４ ７
．
本章小结



本 章 介 绍 了 基于 事理 图 谱 的 刑 期 预测 模 型 对 事 理 图 谱 的 原 理进 行 了 简 要 介

 ，

绍 ， 描述 了 构 建 事 理 图 谱 的 整 个流程 ， 对文本进行预处 理之后 ，

再 使 用 分词 ， 

词

性标注 ， 依 存 语 法 分 析 对 判 决 书 文 本 进 行 事 件提 取 ， 再利 用 基于 模 式 匹 配 的 方法


抽取事件之 间 的 关系 ， 完成关系 抽 取之后 ，
本 章 中 还使 用 Ｎｅ〇４ ｊ 等 可视化工 具将


图 谱进行可视化 

。

图谱构 建完成后 ， 对 待 预 测 判 决 书 样 本提 取 事 件 与 图 谱 中 的 节 点 进 行 相 似 度


比 较 得 到 待 预测 判 决 书 的 刑 期 。 同 时本 章 还与 其 他 刑 期 预测 方法做 了 比 较 ， 我们


的 方法 同 其他方 法相 比 直接预测 刑 期 ， 更加直观 ，
在结果上也得到 了 更小 的



ＭＳＥ ， 误差更小 ， 更加 具有准确 性 


。

４５


 北京 邮 电大学工 学硕士学位论文
 



第 五 章 基于 事理 图 谱 的 辅助 判 决方 案生 成 系统



５ ． １ 需 求 分析



随着我 国 经济水平 的 提高 ， 法治 社会 建 设 的 推 进 ， 各种 法律 案件层 出 不 穷 


，

法律新 名 词 屡 见 不 鲜 ，
给相 关法律从业 人 员 带来 了 很大 的 压 力 。 《 ２ ０２０ 年全 国



两会最 高人 民法 院工作报 告 》 中 提到 各级 法 院 审 结 审 刑事案件 万件 


随
一

７６ ７
． ，

着判 决书 的 积 累 和 增 加 法律工 作 者 了 解案情 或者 司 法学 习 的 过程 中 任务越来越


 ，

繁重 ， 由 此增 加 了 工作 失误 的可 能 ， 效率 也 会变 低 。
刑 事 案件和 社会 治 安 稳 定 息



息相关 ， 因此 ， 既要 高 效又要准确 地给 出 判 决结果 是建设法治 社会 的 题 中 之义 


。

同时 人 民 群 众 在 法 律 活 动 过程 中 也 需 要 个 咨 询 和 建议 的 工 具 或 者 平 台 以便


一

， ，

了 解案情和 作 出 判 断 

。

基于 以上提到 的 需要 本章开 发 了 个基 于 事 理 图 谱 的 辅 助 判 决方 案 生 成 系


一

统 。
将 案 情 描 述输 入 系 统 ， 可 以 通过本课题 中 的 罪 名 预测 模 型进 行 预 测 罪名 ， 

同

时 ， 罪名 将作为输入 ， 输入到 基于事理 图 谱 的 刑 期预测 系 统 ， 系 统 最 终会 预测 出




罪名 和 刑 期 

。

由 于 事理 图 谱是基于 判 决书 建立 的 ， 因此 ， 当使用 者拥有更 多数据 的 时候 


，

可 以 对 图 谱进行拓 展 ，
增 加 图 谱 的 可靠性和 预测 性 能 的 鲁棒性 

。

基于 以上叙述 ，
本节从上传 案情描述 、 罪 名 预测 和 刑 期 预测 等 方 面对系 统进



行 用 户 需 求分析 

。

５ １ ． ． １ 上 传 案 情 描述



该 功 能 为 其他功 能 的 基础 ，
该 功 能 允 许 用 户 将 储存 为 ｔ ｘｔ 格 式 的 案情 描述文


本上传到 数据存储 的 指 定位置 提供给模型进 行 下 步操作
一

， 

。

５ １ ２
． ．
罪 名 预测



该模块为 系 统 的 两个核 心 功 能 之 为 用 户 提 供对 给 定 的 案 情 描 述 进 行 罪 名


一

预测 的 功 能 ， 该模块 详细 的 需 求分析 如 下 

：

（ １ ） 数据清洗 ：
对用 户 上传 的 案情 描述进 行数据清洗 ， 去除无用 信息 ， 

并
根 据 截 断法将上 传 的 案 情 描 述 截 断至 指 定 长 度 

；

（ ２ ） 特征提取 ： 分别使用 Ｂ Ｅ ＲＴ 和 ＸＬＮ Ｅ Ｔ 两个预训 练模型对 己 经处理过



的 案情描 述 文本提取特征 用于下 步预测
一

，


；

（ ３ ） 罪名 预测 ：
将提取 的 特征输入构 建 的深度学 习 模 型 ， 输 出 预测 的 罪 名 

；

４６



第 五章 基于 事 理 图 谱 的 辅助 判 决方案生成系 统 



（ ４ ） 结 果 展示 ： 在 完 成罪 名 预测 功 能 后 ，
将 最后 预测 的 结 果 展示在 用 户 图



形界面 上 

。

（ ５ ） 结 果存储 ： 将预测 的 结 果存储 到 指 定位置 ，

为其他模型 调 用 做准备 

。

５ １ ３
． ．
刑期预测



该 模块 为 系 统 的 另 个核 心 功 能 为 用 户 提 供对 给 定 的 不 含 判 决 案情 描 述 进


一

行 刑 期 预测 的 功 能 ， 该 模块详细 的 需求分析如 下 

：

（ １ ） 数据 预 处理 ： 对 用 户 上 传 的 案 情 描 述 进 行 数据 清 洗 

；

（ ２ ） 案情描述事件提取 ： 对 用 户 上传 的 案情描述 使 用 设计好 的 模 型 进 行事



件提取 

；

（ ３ ） 事件 节点 相 似度 计算 ：
将 从 案 情描 述 文本 中 提 取 出 来 的 事 件对和 之 前


构 建 的 事理 图 谱 中 的 节 点进 行相 似度计 算 

；

（ ４ ） 返 回 相 似节 点 ： 通过和 图 谱 中 节 点 的 相 似度 计算 比 较 ， 返 回 最相 似 的



节点 

；

（ ５ ） 刑期计算 ：
如果返 回 的是单
一

节点 ， 直接返 回 节 点 对应 的 刑 期 ； 如果


是 多 个节 点 ， 对 多 个节 点 的 关 联 的 刑 期 取 平 均 

；

（ ６ ） 结 果 展示 ： 将预测 的 结 果 展示在 用 户 图 形界面上 


。

５ ２ ．
其 他预 测 系统



很 多 学 者 和 研 宄 人 员 都在 开 发 基于 裁 判 文 书 的 刑 期 预测 系 统 ，
Ｔａ ｎ Ｍ ｆ
基于 区



间 划 分和 多 模 型 投 票 设计 出 的 系 统 有 效 缓 解 刑 期 类型 众 多 和 数据 不 平 衡 问 题 

；

＾
６５
提出了 种 长文本分类 的 混合深度 网 络模型 并 统计 了 刑 期 的 频数 

设
一

＼ ￥３ １
］
， ，

置 不 同 时 间 不 同 长 短 的 刑 期 段提 高 了 分类准 确 率 ， 同 类 型 的 系 统还有 很 多 ， 其中



存在 的 个 问 题 是这些 系 统为 了 提 高准确 率和 简 化模 型 的 预测 过程 将刑 期 预测


一

任务转换成 了 个 分类任务 预测 的 不 是 具 体刑 期 而是刑 期所在 的 时 间 段 


本
一

， ， 。

系 统为 了 更精 准 的 预测 刑 期 ，
没有 选择将刑 期 分段而 是 直接预测 刑 期 ，
以期对案


情 的 刑 期预测 有 着 更精准 的 结 果 ； 同时 ，
本 系 统 的 构 建兼顾 了 罪名 与 刑 期 预测 

。

４７


 北京 邮 电大学 工 学硕 士学位论文





５ ３
．
系统 架构



景  ５ｇ ｉｉ ａ ？ ．
ｌ ｘ ｌ ａ ｉｇｉ
 

ｉ



ｅ
ｆ

ｍ 

 
  




据  基于 多 预 训 练 模 型的 基 于 事 理 图 潜的预


￥  混 合 深 度 刑 期 预 测 案 生 成方 法 
 


 



１ ７Ｔ



层

数




琚
Ｉ  ｌ 余 信息 剔 除 
ｆ
ｃ
Ｉ Ｉ
文 本裁 剪  Ｉ
特 征 向 量提 取




理
层




数

１  丨
判决 书 文本  搜 索 关键 词 

Ｉ



入


层

图 系 统 架构 图


－

５ １

整个系 统架构如 图 ５
－

１
所示 ， 从底 到 上 依 次 是数据输入层 ，
数据 预 处理层 

，

数据 分析层 和 数据 展示层 

。

数据输入层 ：
接受来 自 外部的输入 ，
本 系 统 的 输入分为两部 分 ， 案情描述文



本 和 搜索 关键词 本 课 题 中 用 于 测 试 的 案情 描 述 即 为 本 课 题 收集 到 的 判 决 书 文本
。


中 去 除判 决 结 果 的 部 分 ， 而搜索 关键词 是罪名 预测 模 型 给 出 的 罪名 预测 结 果 ， 

通
过增 加搜索关键词 的 方式 ，
缩小 图谱检索 范 围 ，
以 便 图 谱更准确 和快速地给 出 预


测结果 

。

数 据 预 处 理层 ： 当 接收到输入后 ，
需 要对 数据进 行预处理 ， 主要操作是去 除



冗余 、 文本裁剪和 案情 文本 向 量生 成 

。

数据 分析 层 ？

．
经过预 处 理 的 信 息 先输 入 罪 名 预测 模 型 获 得 罪 名 预测 结 果 ， 

然
后 作 为 关键词 输 入 事 理 图 谱进 行刑 期 预测 

。

数据 展示层 ： 展示数据 的 预测 结 果 

。

５ ４ ．
系统 实现



５ ４
． ． １ Ｐ ｙ Ｑ ｔ 介绍



ＱＴ 是 个跨平 台 Ｃ ＋＋ 库 的 集合 主 要 是通过实现各种 ＡＰ 来访 问 移动 系 统
一

，
Ｉ 

、

控制桌面等平 台 。 主 要提供 的 服务包括定位 服务 、 多媒体服务 、 蓝牙 服务 、 Ｗｅ ｂ




服务 以及传统 的 Ｕ 开发服务 是 的 组完整 的 绑定 它被



一

Ｉ 。 ＰｙＱ ｔ ５ Ｑ ｔ ｖ５ Ｐｙｔｈｏｎ 。

实现为 超过 ３ ５ 个扩展模块 并使 ， Ｐ ｙｔｈｏ ｎ 在所有 支持 的 平 台 包括 （ ｉ ＯＳ 和 Ａｎｄｒｏ ｉ ｄ 


）

上被用 作 Ｃ ＋＋ 的 替 代应用 程序开发语 言 


。

ＰｙＱ ｔ 的优势在于 简 单好用 ，

功 能强大 ， 跨平 台 支持 ， 性能高 。 Ｐ ｙＱ ｔ 本身就


是对 Ｑ ｔ
库的 ｐｙ
ｔ ｈｏｎ 绑定 ， 在绑定 的 时候保持 了 原有 Ｑ ｔ 库的 ＡＰ Ｉ 。 同时他面 向



４８



第五 章 基于 事 理 阁 谱 的 辅助 判 决方案生成 系 统 



对象 、 信号 和 槽 的 设计 机制 ， 界面 设计和 业务代码 的 分离 使 得设计稳定性 更 高 


。

５ ４ ２Ｕ
． ． Ｉ 设计



使用 完成 个系 统分为两步 Ｕ 设计和功 能实现 本 文实现使用



一

ＰｙＱ ｔ ： Ｉ 。

Ｑ Ｄｅｓｔ ｉ
ｇｎｅｒ 工具进 行 与 用 户 交互界面设计 ，
再将该 工 具生 成 的 ． ｕ ｉ
文件转换成对


应的 ．

ｐｙ 文件 。 该做法 的 好 处 是所 见 即 所得 ，
设计的界面就是最终 的结果 ，
省去


了 使 用 代码 时 调 整控件位置 参数 的 繁 琐过程 

。

Ｄｅｓ 是 个 灵 活 的 可视化 图 形操作 界 面 设 计 工 具 可 以 加 速 开 发 图 形



一

Ｑ ｔ ｉ
ｇｎｅｒ 。

界面 的速 度 在 Ｄ ｅｓ 中 设计生成 的 Ｕ 界面是 个后缀为 的 文件 将

一

。
Ｑ ｔ ｉ
ｇｎｅｒ Ｉ ． ｕ ｉ ，
． ｕ 

ｉ

文件转换为 ．

ｐｙ 文件就可 以被其他 的 ＰｙＱｔ 程序 引 用 


。

Ｕ Ｉ 设 计流程如 下 

：

（ １ ） 创建主 窗 口 ： 主窗 口 就是 用 户 和 系 统交互时 的 界面 。 系统 的具体功能



都是在主 窗 口 中 添加 

；

Ｍａ ｉ ｒＶＡ ｎ ｄｏｗ
－

 ｕ ｎｔ ｉ ｔ ｌ
ｅｄ


＊

Ｔ
ｙ ｐｅ  Ｈｅ ｒ ｅ



图 ２ 主窗 口 创 建


－

（ ２ ） 分析功能 ： 基于 前文 的 研 究 ，
本 章要 实现 的 功 能是对给 定 的 案情描述


进 行基于深度 学 习 预训 练模型 的 罪 名 推测 和 基于 其 他判 决书 构 架 的事理 图 谱 的



刑 期预测 

。

因 此需要加 入 的 功 能包括 ， 上传 案情 描述 ，
案情描述预 览 ，
罪 名 预测 ， 刑期



预测 四 个功 能 。
其 中 罪名 预测 包括 分别 使 用 Ｂ Ｅ ＲＴ 模型和 Ｘ ＬＮ Ｅ Ｔ 模型两部分 

。

（ ３ ） 添加 组件 ： 基于 （ ２ ） 的分析在主窗 口 中 添加 组件 。
Ｑ ｔ Ｄｅｓ ｉ
ｇｎｅｒ 提供 了



很 多 常用 控件 ， 比如 常用 的 按钮 ，
单选按钮 ， 文本框等 等 ， 这些组件可 以 直接拖


动到主窗 口 中 ，
实现相 关功 能 

。

“ ”

以 上传 案情描 述功 能 为 例 ， 选用 Ｐ ｕ ｓ ｈＢ ｕｔｏ ｎ 组件 ， 该组件可 以提供 多 种




４９


 北京邮 电大学 丨 ： 学硕 士学位 论 文
 



触发信号 ， 包括 当 鼠 标指 针在 按钮上并按 下 左 键时触发 该信 号 ，

当 鼠标左 键被释


放 时触发该信 号等等 。 ＰｙＱ ｔ 的 信 号槽机制 中 会设计相 应 的 槽 函 数 ，
槽函 数监听



指 定信号 ，
收到信号之后 ， 执行对应操作 ，
完成和 用 户 交互 的 过程 

。

窗 口 布局 如果 只 添加 个按钮控件或者文 本控件 的 话 没有布局 的



一

（ ４ ） ： ，

必要性 但是如 果 ＧＵ 窗 口 不止 个功能 为 了 设计 的 美 观 需 要对 窗 口 进行



一

， Ｉ ， ，

布局 。
Ｑ Ｄｅｓ
ｔ ｉ
ｇｎｅｒ 提供 了 四 种 窗 口 布局 方式 ，
分 别 是垂 直布 局 ，
水平布局 ， 栅格



布 局 和 表 单布 局 。
我们 选择 最 见到 的 垂 直布 局 完 成本 系 统 的 设计 

。

最后得到 的 Ｕ Ｉ 设计如 图 ５
－

３ 所示 

：

Ｃｒ
ｉ ｍ ｅ Ｐ ｒｅｄ ｉ ｃｔ 
－

 Ｃ ｎ ｍ ｅ Ｐ ｒｅｄ ｉ ｃｔ ． ｕ 

ｉ

上 传 案 傾 描述



案牾 描述



罪 名麵



Ｍ植
ＢＥ
酵羽輕 



Ｘ Ｕ Ｉ ＥＴ 模 型 侧结果 



基 于 事 理 图 谱 的 刑 期預 咖



￡［ ： ： 麵 §测 ： ：
Ｉ



」

图 系 统 设计 

图
－

５ ３ Ｕ Ｉ

设计完成的 Ｕ Ｉ 保存 为 ． ｕ ｉ
文件 ， 再通过 ｐｙｕ
ｉ ｃ 工具转换成 ｐｙ
ｔ ｈｏｎ 文件 ， 此时



得到 的 ．

ｐｙ 文 件 就可 以 被 ｐｙｑｔ 程序 调 用 

。

５ ４ ３
． ．
功 能实现



本小节在 Ｕ 设计 的 基础上完 成功 能实现 的 个优 势 是界面 和 逻辑 分



一

Ｉ 。 Ｐｙ Ｑ ｔ

离 。
界面 文 件 和 逻辑 文 件 （ 也就是实现功 能 的 文件 ） 是两 个相 对 独立 的 文 件 ， 

上

节 通过 工具编 译来 的 文件称为界面文件 还需要 个文件来调 用 他 


这
一 一

ｐｙｕ ｉ ｃ ， ，

个文件称为逻辑文件 ，
在逻辑文件 中 继承界面文件 的 主 窗 口 类就 实现 了 调 用 ， 

然
后 在逻辑文件 中 ，
完成业务逻辑实现 自 己的功能 

。

实现这 个界面和 逻辑分离功能 的 核心就 是 ＰｙＱ ｔ 的信号和槽机制 。 通过建立




信 号和 槽之 间 的 连接就可 以 实现对 象之 间 的 通信 。
在创 建 的 对 象 改变其状态 时 

，

信 号 就 由 该对 象 发射 出 去 ，
槽用 于接 收信 号 ，
多 个信 号 可 以 和 单 个 槽 连接 ，
单个



５ 

０

第 五 章 基 于 事理 阁 谱 的 辅助 判 决方案生 成 系 统 



信 息好也可 以 与 多 个槽进 行连接 。 基于控件 ，

信号和 槽可 以进行高效的编程 

。

在 Ｑ ｔ 编程 中 通过 ，
Ｑ ｔ
信 号 槽机制对 鼠 标或者键盘 在 界面上 的 操作进 行 响 应


处理 ，
如 上文提到 的 上传案情描述按钮 ，
本课题选用 Ｐ ｕ ｓ ｈＢ ｕ ｔ ｔ ｏ ｎ 控件 ， 在按钮



被 按 下 的 时 候 发射 信 号 ， 监听这个按钮是否被按 下信号 的 槽 函 数就会执 行 ，

完成



之前给 函 数设计 的 相 应用 能 

。

本小 节 功 能实现分为 以 下 步骤 

：

（ １ ） 设计信 号和 槽 函 数 

：

打开 Ｑ Ｄｅｓ
ｔ ｉ
ｇ ｎｅ ｒ ，
如图 ５
－

３ 所不 的 Ｕ Ｉ 需要给相 应 的 按钮 设置上信号 ， Ｕ Ｉ 

中

本课题设置 了 四 个 Ｐ ｕ ｓ ｈ  Ｂ ｕ ｔｔ
ｏｎ 控件 ，
分别 代表上传 案情描述 ，
Ｂ Ｅ ＲＴ 模 型预测



结果 ， Ｘ ＬＮ Ｅ Ｔ 预测 结 果和 刑 期预测 。 对 四 个按键 的信 号都 设置成 鼠标左键按 下




之后 触发相 应 的 槽 函 数 

。

信 号和槽 函 数设计结果如 图 ５
－

４ 所示 

：

＾  Ｃｒ
ｉ ｍ ｅ Ｐ ｒｅ ｄ ＾ ｃｔ 
－

 Ｃ ｒ ｍ ｅ Ｐｒ ｅ ｄ
ｉ ｉ ｃｔ ｕ ． ｉ 


＾

Ｕ ｐ ｌ ｏ ａ ｄ ｊｕ ｄ ｇ ｍ ｎ 〇
 —

ｅ ｔ 


｜

￣ ￣


＂ 

ｅ
ｆ ｌ
 上 传 案情 插  ｉ ｆ


｜  案 情 描 述

 



１
｜

罪名ｆ顿 ！ ｊ

 



Ａｃ ｕｓ ａ ｎＰ ｒ ｅ ｄ Ｂ ｅ ｒ ｔ
 —

ｃ ｔ ｉ ｏ ｉ ｃ ｔ （ ）  

｜

｜
ｊ

ｉ Ｓ  ［ ＺＺ Ｔ Ｚ Ｉ Ｊ

 Ｉ Ｉ
ｐ

ａ




ｇｆ  ｊ ｊｉ ｌ  

１

Ａ ｃ ｃ ｕ ｎＦ ｒ ｄ Ｘ ｌｎｅ


Ｊ ｓ ａ ｔ ｉ ｏ ｅ ｉ ｃ ｔ ｔ （ ）

基 ｊ 
Ｉ 理图语 的 刖期柯剜


ｖ


ｍ ｅ Ｆ ｒ ｅ ｄ ｎ ＫＧ
 － ￣

Ｃ ｒ ｉ ｉ ｃ ｔ ｉ ｃ ？

（ ） 

ｊ

图 ５
－

４ 信号和槽函数设计 示 意 图



以 上传案情描述为例 ，
按 下 上传 案情描述按钮 后 ， 会触发 ｃ ｌ ｉ ｃ ｋｅ ｄ 的信 号 

，

和 这个信 号连接 的槽 函 数是 Ｕｐ ｌ ｏ ａｄ Ｊ ｕ ｄ ｇ ｅ ｍ ｅ ｎｔ 〇 函数


（ ２ ） 槽函数


如图 ５
－

４ 所示 ， 在 四 个信 号 对 应 着 四 个 槽 函 数 ，
分别介绍这 四 个槽函数的功



能和 实现 

。

Ｕｐ ｌ ｏ ａｄ Ｊ ｕ ｄ ｇｅ ｍ ｅ ｎ ｔ （） ： 打开文件 浏 览 页 面选择 需 要上 传 的 案情 描述 内 容 ，
保存


案情文本到 变量后 并 把读 取 到 案 情 内 容 显示 在 案情描述预 览 的 文本框 中 

案
一

， ，

情描述预 览可 以 通过滚轮浏 览全文 


。

５ 

１

北京邮 电大学 １ ：
学硕 上学位 论 文 



Ａｃｃ ｕｓａ ｔ ｉ ｏ ｎ Ｐ ｒｅｄ ｉ ｃ ｔ Ｂ ｅ ｒｔ （ ） ：

对上传 的 案情描述进 行预处理后 ，
将预处理 的 文本


内 容传 给本 课 题 第 三 章 中 建 立 的 基 于 Ｂ Ｅ ＲＴ 提取特征 向 量 的 混合深度学 习 模 型 

，

进 行 罪名 预测 。
并将预测 的 结果 填 入 后面 的 空 白 处 

。

Ａｃｃｕｓａ ｔ ｉ ｏｎ Ｐ ｒｅ ｄ ｉ ｃ ｔ Ｘ Ｌ Ｎ ＥＴ （ ）
：
对上传 的 案情描述进 行预处理后 ，
将预处理 的



文本 内 容传给本课题 第三章 中 建立 的 基于 ＸＬＮ Ｅ Ｔ 提取特征 向 量 的 混合深度 学 习




模型 ， 进 行 罪 名 预测 。
并将预测 的 结 果 填 入 后 面 的 空 白 处 

。

Ｃ ｒ ｍｅＰｒ
ｃｄ
ｉ ｉ ｃｔ ＫＧＯ ：
基于 之 前 建立 的 知 识 图 谱进 行刑 期 预测 ，
并将 预测 的 结



果填入后面 的 空 白 处 

。

５ ５
．
系统 展 示 与 测试



本节对上文完 成 的 系 统进行展示 ， 在 第 四 章 中 提 到 我 们 获 取 了２ ４ ０ ０ ０ 份 判 决




书 数据 ，
其中 ９０ ％ 的 判 决书 用 来构 建事理 图 谱 。 从剩 下 的 １ ０ ％的判决书 中 我们



选择 了 份 判 决 书 去 除 判 决 结 果 得 到 其 中 的 案 情 描 述进 行 展 示 其 中 本 案 件 实 际


一

判 罚 结果为故意杀人罪 ，
判处 １ ５ 年 （ 即 １ ８ ０ 月 ） 有期徒刑 

。

在完成 ＵＩ 设计和 功 能实现后 的 系 统如 图 ５

－

５ 所示 

：

Ｓ３  Ｃ ｒ ｉ ｍ ｅ Ｐ ｒ＾ ｄ ｋ ｔ 
￣

 □ Ｘ



上 传 案情 描 述



 
 



罪 名删



Ｂ Ｅ ＫＴ 植型翻赌果



Ｘ Ｕ Ｅ Ｔ 植 型 麵 结 果  — 

Ｊ

基于 亊理图 谱 的刑 期柯 则



Ｍ 期予 麵 

ｊ

图 ５
－

５ 系 统 Ｕ Ｉ
示意



（ １ ） 将详细 案情上传 

：

５ ２



第五章 基于事理 图 谱 的辅助判 决方案生成系 统 



Ｃｆ ｊ ｒ ｆ ｉ ｅ＾ ｅ ｄ ｃｔ  ｌ
—

Ｑ



案情 描述



■ 灭 运 涵 ｉ ｉ ＸＳ Ｓ 甲


册结 婚 婚 后二 人与 陈某的父 亲 共 同居 住在 自 贡 市
，


沿 滩 区 ２ ０ 年 Ｓ 月 ３ 曰 下 牛 被 告人陈某在外捉 黄
。


１ ５ ，

＿ 后 回 家 因 琐 事 与 周某 甲 发 生 争 砂 抓 扯 周 某  ＾
■

 、 ，

罪 名 倾删



ＢＺ ＲＴ ｇ麵 １ 结枣」 １ ｆ  



Ｘ Ｌｌ ｉＴ镇 型预删 结果
ｆ  



墓 于事 理图谱的刑期 饨Ｉ Ｉ



］

： 刑期細  


ｉ

图 ５
－

６ 上传案情



（ ２ ） 分 别 点 击两 个罪名 预测 按钮后 

：

Ｈ  Ｃ ｒ ｍｍ ＾ ｅｄ ｍ  －
Ｏ 

Ｘ

上 传 案情 描述



案情 描 述



被 告 人陈 杲 和 被 ｉ ｘ Ｓ某 甲 于


册 结 婚 婚 后 二 人 与 陈某的父 亲 共 同 居 住在 自 贡 市
，


沿 滿 区 ２０ ５年６ 月 ３ 日 下 牛 被 告 人 陈 某在 外捉 黄
。 １ 
 ，

弩后 回家 １ 桢 事 与 周某 甲 发生争吵 爪扯
，
周 某 、

 、
丨
，

罪名侧



Ｂ Ｅ ＲＴ 模 型预 删 结 果  ． ． ． ． ． ． ． ． ＿ ＿  

Ｊ

Ｘ ＬＮ ＥＴ 模 型 麵 结果  

１

基 于事理图谱的 刖期 忖蒯



刑 期 预＿



图 罪 名 预测 结果示意


－

５ ７

（ ３ ） 进 行 刑 期 预测 

：

５ ３


 北京 邮 电 大学工学硕 士 学位 论文
 



Ｃｌ  Ｃ ｒ ｉ ｍ ＾Ｐｒ ｅ Ｓｃ ｔ 
—

 Ｑ Ｘ



上传 案情描述



案 情 插述




＂

被 害 人 ｜ 某 甲 于 ＾ Ｏ Ｓ 翠 ３ 月 １ ２ 百 簦 远主 ａ
东某 和 ］
ｊ
ｌ

册 结 婚 婚 后二 人 与 陈 某 的 乂 亲 共 同 居 住 在 自 贡 市
，


沿 濉 区 ２ ０ ５年 月 ３ 曰 下 午 被 告 人陈 某在 外 捉 黄
。 １ ￡


；
，

鳋 后 回 家 因 琐事 与 周 某 甲 犮 生 争 吵 Ｍ扯 周 某  Ｖ
， 、 ，
 

Ｉ

罪名細



ＢＥ ＿ Ｓ ？ 则 结 果  Ｍｍ ａ ＼




Ｉ

Ｘ 酬 函麵 结 果  人  

ｊ

基 于事 理图 谱的刑期預 珈



二 刑期簡
＞

１  ＾

图 ８ 刑期 预 测 结 果示 意


－

５ ６
．
本章小结



本 章 基于 本课题第三第 四 章 中 研 究 的 模型 使 用 ＰｙＱｔ 实现 了 个原 型 系 统
一

， 

。

先 是对 系 统 需 求进 行 分 析 ， 之后 基于 需 求 分析 设计模 型 整体架构 。
介 绍 了Ｐｙ Ｑ 

ｔ

的 优势 ，
着重解释 了 Ｐ ｙ Ｑ ｔ 的 信 号 和 槽 机制 使 得 我 们 设计 用 户 图 形 界 面 实 现 了 界


面 和 逻辑 分离 。 使用 Ｑ Ｄｅｓ ｔ ｉ
ｇｎｅ ｒ 设计 了 系 统 的 Ｕ Ｉ ，
并设计好信 号和 模 型接 口 

。

最 终编 写 代码 完 成逻辑功 能 

。

最终 的 原 型 系 统实现 了 系 统上传 案情描述完 成预 览 ， 选择不 同 Ｂ Ｅ ＲＴ 或者



Ｘ ＬＮ Ｅ Ｔ 作 为 预训 练模 型 进 行 罪名 预测 ， 使用 基于事理 图 谱 的 模型进 行 刑 期预测



的功能 ，
为 司 法 人 员 和 人 民群众提 供 了 司 法辅 助 功 能 ， 达到 了 我们 设计系 统 的 

目

的 

。

５ 

４

第六章 结论 



第 六 章 结论



随 着 依 法 治 国 和 智 慧 法 院 建 设 的 不 断推进 以 及法律 的 不 断 完善
”

我国
“ “ ”

， ， 


的 司 法事业 向 着更 高效和 更 公 平 的 方 向 不 断 发展 。 同时 ， 人 民 的 法律意 识 也在 不



断提高 ， 人民在 日 常 生 活 中 也 更 积 极地使 用 法律工 具 保护 自 己 。 这使 得 社 会 公 正



水平提 高 的 同 时 ， 也 给 司 法 从业人 员 带 来 压 力 。 而人工 智 能 在 社会各领域产生 了




优异 的效果 ，
因此 ，
引 入人工 智 能来辅助 司 法工作 ， 帮助 司 法人 员 更高效公平地



解决法律 问 题 ， 为 人 民 群众 提 供 司 法 帮 助 。 因 此研 究 人工 智 能 在 司 法领域 的 应 用



具有重要 意 义 。
本课题 的 研 究成 果主要如 下 

。

（ １ ） 本 课 题 提 出 基于 预 训 练模 型 提 取特征 的 混合深 度 罪 名 预测 模 型 ， 结合


深度学 习 模型 ， 对给 定 的 判 决书进行相 应预 处理后进行 罪名 预测 。
预训 练模型 在


海量 语 料 和 创 新 的 双 向 语 言 模 型 的 基 础 上 对 文 本 有 着 更 好 的 语 义 理 解 提 取 特 征

 ，

更精确 ，
结 合 之 前成熟 的 深度 学 习 文本分类模 型 ， 在 罪名 预测 问 题上有 着优秀 的



效果 

。

（ ２ ） 本 课题 提 出 基 于 刑 事 判 决 书 的 事 理 图 谱构 建和 刑 期 预测 模 型 。 针对 刑


事判 决书 设计 了 构 建事理 图 谱 的 方法 ， 其 中 重 点 是事件抽 取和 事件关 系抽 取 ， 

对
判 决书 文本进行 了 中 文分词 ， 词 性标注 ，
依 存 语法分 析 抽 取 事件 ， 再根据 模式 匹



配 的 方法对 抽 取得 到 的 事件进 行 关 系 抽 取 ，
得 到 的 事件节 点 通过 案件类型 ， 刑期


等 关 系 连接起来构 成 事理 图 谱 再 根据 文本相 似 度 的 方法对 节 点 进 行 匹 配 达 到 预

 。

测刑期的 目 的 。
并且 ， 使用 Ｎ ｅ 〇 ４ 工 具 对 图 谱 进 行 了 可 视化 操 作
ｊ


。

（ ３ ） 最后 ， 我们 根据上文得 到 的 两个模型 ，
将其组合起来 ， 基于 Ｐｙ Ｑ ｔ 实现


个基于 事理 图谱 的 辅助判 决方案生成原 型 系 统 以 完 成我们 所期 望 的 司 法辅助


一

功能 。 系 统 接受案情描述 作为输入 ， 输 出 罪名 和刑期 


。

在 目 前 工 作 的 基础 上 ， 在后续 的研 宄 中 ，
将主要关注 以 下 几个方面 

：

（ １ ） 如 何 有 效地对 其他 事件 之 间 的 关 系 进 行 逻辑构 建 ， 包 括事件 之 间 的 顺



承等关 系 

。

（ ２ ） 如 何 有 效地对抽 取 到 的 事件关 系 进 行衍 化分析 ，

将其 泛化为 更 高等 级


的法律规律知 识 

。

５５


 北京 邮 电 大学工 学硕 士 学位 论 文 




参考文献



［
１
］ 靳高风 ，
守 佳丽 ， 林晞楠 ．
中 国 犯罪 形 势 分析与 预测 （
２０ １ ８
—

２０ １ ９ ）［Ｊ］ ．
中 国



人 民 公 安 大学 学报 社会科学版 ：
，
２０ １ ９（３ ） 

．

［
２］ 张光杰 ．
中 国 法律概论 ［
Ｍ ］
．
上海 ：
复旦 大学 出 版社 ，
２０ １ ３ 

．

［
３
］ 臧德胜 以 案例 指 导 制 度规范 量刑 协 商 的 思 考 ？

［
Ｊ
］
．
法律适用 ，
２ ０２０（０６） ３ ３ ：
－

３ ９ 

．

［
４］ 张兴 梅 量刑 程序规 范与 完善 的 多 维 思 考 ．

［
Ｊ
］
？
祖国 ，
２０ １ ９
（
１ ９
）
： １ ３ ９＋ １ ５ ７ 

．

［
５
］
赵学 军 量刑 偏 差 的 司 法表现与 量刑 规 范 的 实现路径 ．
一 一

基于抢劫罪刑 事判


决书 的 实证考察 ［
Ｊ
］
？
天津法学 ，
２０ １ ９ ，
３ ５
（
０３ ）
： ５７ －

６３ 

．

６］ Ａ ｓ ｈｌ ｅ
ｙＫＤ Ｃ ａ ｓ ｅ ｂ ａ ｓ ｅ ｄ  ｒ ｅ ａ ｓ ｏ ｎ ｎ ｇ  ａｎ ｄ ｍ ｐ ｌ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ  ｆｏ ｒ  ｌ ｅ ｇ ａ ｌ  ｅ ｘ ｐ ｅ ｒ ｔ
－

．  ｉ ｉ ｔ ｓｉ 

［

ｓ
ｙ ｓｔｅ ｍｓ ［Ｊ］ ．  Ａｒ ｔｉ ｆｉ ｃ ｉ ａ ｌ  Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ  ａ ｎ ｄ Ｌ ａ ｗ 
， １ ９９２ ，
１
（
２ －

３
）
： １ １ ３
－

２０８ 

．

［
７］  Ｓ ｃｈ ｉ ｌ ｄ  Ｕ  Ｊ  Ｃ ｒ ｉ ｍ ｉ ｎ ａ ｌ  ｓ ｅ ｎｔ ｅ ｎ ｃ ｉ ｎ
．

ｇ  ａ ｎ ｄ  ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎｔ  ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ  ｓ ｕ ｐｐ ｏ ｒ ｔ ［
ｉ Ｍ ］
／／Ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ

Ａ ｐｐ ｌｉ ｃ ａｔ ｉ ｏ ｎ ｓ  ｏ ｆ  Ａｒ ｔｉ ｆｉ ｃ ｉ ａｌ  Ｉ ｎｔ ｅ ｌ ｌ ｉ
ｇｅｎ
ｃ ｅ Ｓ ．

ｐ ｒｉ ｎ ｇ ｅ ｒ ， 
Ｄ ｏ ｒｄｒｅ ｃ ｈ ｔ
， １ ９９８ ：  ４７ ９ ８ －



．

［
８
］ Ａ ｓ ｈｌ ｅ ｙ  Ｋ  Ｄ ？ 
Ｂ ｒ ｕｎ ｎ ｇ ｈ ａｕ ｓ  Ｓ ｉ ．  Ａｕ ｔ ｏ ｍ ａｔ ｉ ｃ ａ ｌ ｌ ｙ  ｃ ａ ｓ ｓ ｉ ｆ ｙ ｉ ｎ ｇ  ｃ ａ ｓ ｅ  ｔ ｅ ｘ ｔ ｓ  ａ ｎ ｄ  ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｎ ｇ
ｌ



ｏ ｕｔｃ ｏ ｍ ｅ ｓ ［ Ｊ ］ ．  Ａ ｒｔ ｉ ｆｉ ｃ ｉ ａ ｌ  Ｉｎｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ  ａ ｎｄ  Ｌ ａ ｗ ， 
２００ ９ ，
１ ７ （ ２ ） １ ２ ５ ：
－

１ ６５ 

．

［
９］ Ｐ ａ ｌ ａｕ  Ｒ  Ｍ Ｍ ｏ ｅｎｓＭ ，
 Ｆ ．  Ａ ｒ ｇ ｕｍ ｅ ｎ ｔ ａ ｔｉ ｏ ｎｍ ｉ ｎｉ ｎｇ ：  ｔ ｈｅ  ｄ ｅｔ ｅ ｃ ｔ ｉ ｏ ｎ ，  ｃ ｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａ ｔ ｉ ｏ ｎ  ａ ｎ ｄ



ｓ ｔ ｒｕ ｃ ｔｕｒ ｅ  ｏ ｆ  ａ ｒ ｇ ｕｍ ｅ ｎ ｔ ｓ  ｉ ｎ  ｔ ｅ ｘ ｔ ［ Ｃ ］ ／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  １ ２ ｔ ｈ  ｉ ｎ ｔ ｅ ｒ
ｎ ａｔ ｉ ｏ ｎ ａ ｌ

ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ  ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ  ａ ｎ ｄ  ｌ ａ ｗ ２ ００９ ９ ８ ０７
－

． ：
１ 

．

［
１ ０ ］  Ｖ ｌ ｅｋ Ｃ ５ 
Ｐ ｒ ａ ｋｋ ｅ ｎ  Ｈ ， 
Ｒｅｎｏ ｏ ｉ
ｊ  Ｓ  ｅ ｔ  ａ ｌ  Ｃ ｏ ｎ ｓ ｔｒ ｕ ｃ ｔ ｉ ｎ ｇ  ａ ｎ ｄ  ｕｎ ｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｉ ｎ ｇ  Ｂ ａｙ ｅ ｓ ｉ ａ ｎ
５
． 


ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ  ｆｏ ｒ  ｌ ｅ ｇ ａ ｌ  ｅ ｖ ｉ ｄ ｅ ｎ ｃ ｅ  ｗ ｉ ｔ ｈ  ｓ ｃ ｅ ｎ ａ ｒ ｉ ｏ  ｓ ｃ ｈ ｅ ｍ ｅ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ１ ５ ｔ 

ｈ

Ｉ ｎ ａ ｔ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ
ｎｔ ｅ ｒ ｉ  Ａｒ ｔ ｉ ｆｉ ｃ ｉ ａ ｌ  Ｉ ｎｔ ｅ ｌ ｌ ｉ
ｇ ｅ ｎ ｃ ｅ  ａｎｄ  Ｌ ａｗ  ２ ０ ． １ ５ １ ２ ８
：
－

１ ３ ７ 

．

［
１ １
］
Ａ ｌ ｅ ｔｒａ ｓ  Ｎ  Ｔ ｓ ａ ｒ ａｐ ａ ｔ ｓ ａ ｎ
５
ｉ ｓ Ｄ ， 
Ｐ ｒ ｅ ｏ ＾ｉ ｕ ｃ Ｐ －

ｉ ｅ ｔ ｒｏ Ｄ ， ｅｔａ
ｌ ． Ｐ ｒｅ ｄｉ ｃ ｔｉｎ
ｇ  ｊ ｕ ｄ ｉ ｃ ｉ ａ ｌ  ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｓ



ｏ ｆ  ｔ ｈ ｅ  Ｅ ｕ ｒ ｏ ｐ ｅ ａ ｎ  Ｃ ｏ ｕ ｒ ｔ  ｏ ｆ  Ｈ ｕｍ ａ ｎ  Ｒ ｉ ｇ ｈ ｔ ｓ ：  Ａ  ｎ ａｔ ｕ ｒ ａ  ｌ ｌ ａｎ
ｇ ｕ ａ ｇ ｅ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎｇ



ｐ ｅｒｓｐ ｅｃ ｔ ｉｖｅ ［ Ｊ］ 
．  Ｐ ｅ ｅ ｒＪ  Ｃ ｏ ｍｐ ｕ ｔ ｅ ｒ  Ｓ ｃ ｉ ｅｎｃ ｅ ， 
２０ １ ６ ， 
２ ： ｅ ９３ 

．

［
１ ２
］ Ｑ
ｉ ｎ Ｚ Ｈ ｅＴ ？ ，  Ｌ ｉ ａｎ  Ｈ ，  ｅ ｔ  ａｌ  ． Ｒ ｅ ｓ ｅ ａｒ ｃ ｈ  ｏ ｎ ｊ
ｕ ｄ ｃ ｉ ａ ｌ  ｄ ａｔ ａ  ｓ ｔ ａ ｎ ｄ ａ ｒ ｄ ［ Ｃ ］ ／ ／ ２ ０
ｉ １ ８  ＩＥ Ｅ Ｅ



Ｉ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ
ｎｔ ｅｒ Ｑ ｕａ ｌ ｉ ｔ
ｙ ， Ｒｅ ｌ ｉ ａｂ ｉ ｌ ｉ ｔ
ｙ  ａｎ ｄ  Ｓ ｅ ｃ ｕｒ ｉ ｔ ｙ



Ｃ ｏ ｍ ｐ ａｎ ｉ ｏ ｎ（ Ｑ ＲＳ Ｃ －

）
． Ｉ Ｅ ＥＥ ？ 
２ ０ １ ８ １ ７ ５ ：
－

１ ７７ 

．

［
１ ３
］
Ｌ ｉ ａｎ  Ｈ ，  Ｈ ｅ Ｔ Ｑ 
？
ｉ ｎＺ ，  ｅ ｔ  ａｌ  ． Ｒｅ ｓ ｅ ａｒ ｃ ｈ  ｏ ｎ ｔ ｈ ｅ  ｎ ｆｏ ｒ ｍ ａ ｔ ｏ ｎ  ｑ ｕ ａ
ｉ ｉ ｌ ｉ ｔ
ｙｍ
ｅ ａ ｓ ｕｒ ｅ ｍ ｅ ｎｔ  ｏ ｆ



ｊ
ｕｄ ｉ ｃ ｉ ａ ｌ  ｄ ｏ ｃ ｕｍ ｅ ｎ ｔ ｓ ［ Ｃ ］ ／ ／ ２ ０ １ ８  Ｉ Ｅ Ｅ Ｅ  Ｉ ｎ ｔ ｅ ｒ ｎ ａｔ ｉ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｓ ｏ ｆ
ｔ ｗａｒ ｅ  Ｑ ｕａ ｌｉｔ
ｙ 

，

Ｒｅ ｌｉ ａｂ ｉ ｌ ｉ ｔ
ｙ  ａ ｎ ｄ  Ｓ ｅ ｃ ｕ ｒ ｉ ｔ ｙ  Ｃ ｏ ｍ ｐ ａ ｎｉ ｏ ｎ  （ Ｑ Ｒ Ｓ Ｃ ）
－

． Ｉ Ｅ ＥＥ ， 
２０ １ ８ １ ７ ８
：
－

１ ８ １ 

．

［
１ ４ ］  Ｌ ａｍ ｅ  Ｇ ．  Ｕｓ ｉ ｎ ｇ  Ｎ Ｌ Ｐ  ｔ ｅ ｃ ｈ ｎｉ ｑ ｕ ｅ ｓ  ｔ ｏ  ｄ ｅ ｎｔ ｉ ｆ ｙ  ｌ ｅ ｇ ａ ｌ  ｏ ｎｔ ｏ ｌ ｏ ｇ ｙ  ｃ ｏ ｍ ｐ ｏ ｎ ｅ ｎ ｔ ｓ ｉ ： ｃ ｏ ｎｃ ｅ
ｐｔｓ



ａｎ ｄ  ｒ ｅ ｌ ａｔ ｉ ｏ ｎ ｓ ［
Ｍ ］
／／ Ｌ ａｗ  ａｎ ｄ  ｔ ｈ ｅ  Ｓ ｅ ｍ ａｎｔ ｉ ｃ  Ｗｅ ｂ ． Ｓ
ｐ ｒｉ ｎ ｇ ｅ ｒ ， 
Ｂ ｅｒ ｌ ｉ ｎ ， 
Ｈｅ ｉ ｄｅ ｌ ｂ ｅｒｇ ， 
２００ ５ 

：

１ ６９ －

１ ８４ 

．

５６


 参考文献
 



Ｍ Ｒ Ｈ ａｎ Ｍ Ｋ Ｎ ａｂ
’

［
１ ５
］
Ｔａ ｌｉ ｂ 
，
ｉ ｆ 
， 
ｉ Ｚ ， 
ｅ ｔａｌ ．  Ｔｅ ｘ ｔ ｍ ｎ ｎ ｇ  ｏ ｆ ｊ ｕ ｄ  ｉ ｉ ｉ ｃ ｉ ａｌ ｓ
ｙ ｓ ｔｅ ｍ ｓｃ ｏｒ
ｐ ｏｒａ ｖ ｉ ａ



ｃ ｌ ａｕ ｓ ｅ  ｅ ｌ ｅ ｍ ｅ ｎｔ ｓ
［
Ｊ
］
． Ｉ ｎ ａｔ ｉ ｏ ｎ ａ
ｎｔｅ ｒ ｌ Ｊ ｏ ｕｒ
ｎａ ｌ  ｏ ｎ  Ｉ ｎ ｆｏ ｒ ｍ ａｔ ｉ ｏ ｎ  Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ
ｇ ｉ ｅ ｓ  ＆  Ｓ ｅ ｃ ｕｒ ｉ ｔｙ 

，

２０ １ ７ ， 
９ （３ ）


．

［
１ ６
］
高 菲 基于 机 器学 习 的 计 算 机辅 助 量 刑 初 探
．

［
Ｄ ］
．
华 东 政法 学 院 ，
２００ ５ 

．

［
１ ７
］
邹 晓玫 修春波 基于神经 网 络 的刑 事案件量刑 决策系 统 ，
．

［
Ｊ
］
．
微计算机信


息 ，
２００８
（
０ ３ ） ２ ６４ ２ ６ ５ ：
－



．

［
１ ８
］ 程春 惠 何钦铭 面 向 不 均 衡类别 朴 素 贝 叶斯犯 罪 案件文本 分类
，
．

［
Ｊ
］
．
计算机工程


与应用 ，
２００９ ４５ ， （
３５
）
： １ ２６ －

１ ２８＋ １ ３ １ 

．

［
１ ９］ 夏明 ．
面 向 刑事案件的精细分类与 串 并案分析技术研 究 ［
Ｄ ］
．
华 中 科技大


学 ，
２０ １ ６ 

．

［
２ ０］ Ｍ ｉ ｋｏ ｏｖＴ ｌ
，  Ｃ ｈ ｅ ｎ Ｋ ，
Ｃ ｏ ｒｒ ａｄ ｏ  Ｇ ，
ｅｔａｌ ． Ｅ ｆ ｆｉ ｃ ｉ ｅ ｎｔ ｅ ｓ ｔｉ ｍ ａ ｔ ｏ ｎ ｏ ｆ  ｗ ｏ ｒ ｄ
ｉ 


ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａｔ ｏ ｎ ｓ ｎ  ｖ ｅ ｃ ｔ ｏ ｒ  ｓ ｐ ａ ｃ ｅ ［ Ｊ ］
ｉ ｉ ，  ａｒ Ｘ ｉ ｖ ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｉ ｖ

：  １ ３ ０ １ ． ３ ７８ １
， 
２０ １ ３ 

．

［
２ １
］ Ｃ ｏ
ｌｌ ｏ ｂ ｅ ｒ ｔ  Ｒ  Ｗｅ ｓ ｔ ｏ ｎ  Ｊ  Ａ  ｕ ｎ ｉ ｆ ｉ ｅ ｄ  ａｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ  ｆｏ ｒ  ｎ ａ ｔ ｕ ｒ ａ ｌ  ｌ ａ ｎ ｇ ｕ ａ ｇ ｅ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ
，
． 

：

Ｄ ｅ ｅ ｐ  ｎ ｅ ｕｒ ａ  ｎ ｅ ｌ ｔ ｗ ｏ ｒｋ ｓ  ｗ ｉ ｔ ｈｍｕ ｌ ｔｉｔ ａ ｓ ｋ  ｌ ｅ ａｒｎｉ ｎ ｇ ［ Ｃ ］ ／ ／Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔｈ ｅ  ２ ５ ｔ ｈ




ｉ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ
ｎｔ ｅ ｒ ．  ２ ０ ０ ８ １ ６ ０ ：
－

１ ６７ 

．

２２
Ｚ ｈａｎ ｇＸ Ｚ ｈａ ｏ  Ｊ Ｌ ｅ Ｃ ｕｎ  Ｙ  Ｃ ｈ ａｒ ａｃ ｔ ｅ ｒ ｅ ｖ ｅ ｌ  ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  ｔ ｅ ｘ ｔ
－

． ｌ 

［ ］ ， ，

ｃ ｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａｔ ｉ ｏ ｎ
＾ ］
．  ａｒ Ｘ ｉ ｉ ｎｔ  ａ ｒＸ ｖ
ｖ ｐｒ ｅｐ ｒ ｉ ：  １ ５ ０９ ． ０ １ ６２６ ， 
２０ １ ５ 

．

［
２ ３ ］Ｌ ａｉＳ ，
Ｘ ｕＬ ， Ｌ ｕＫ ｉ
，
ｅｔａｌ ．  Ｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ  ｃ ｏ ｎｖ ｏ ｕ ｔ ｏ ｎ ａ ｌ  ｎ ｅ ｕ ｒ ａ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  ｔ ｅ ｘ ｔ

 ｌ ｉ ｌ

ｃ ｌ ａｓ ｓ ｉ ｆ
ｉ ｃ ａｔｉ ｏ ｎ ［
Ｃ ］
／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｎｇ ｓ  ｏ ｆ ｔｈ ｅ ｉ   Ａ Ａ Ａ Ｉ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ａ ｒ  ｔ ｉ ｆｉ ｃ ｉ ａ ｌ  Ｉ ｎｔ ｅ ｌ ｌ ｉ
ｇｅ ｎｃ ｅ 

．

２０ １ ５ ，
２９（ １
）


．

［
２ ４ ］ＺｈｏｕＣ ，  Ｓ ｘｉ ｎ
 Ｃ ， 
Ｌ ｉｕＺ ？ ｅｔａ
ｌ ．  Ａ Ｃ 
－

Ｌ Ｓ Ｔ Ｍ  ｎ ｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｆｏ ｒ  ｔ ｅ ｘ ｔ  ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａｔ ｉ ｏ ｎ ［ Ｊ ］ 

．

ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｉ ｖ ：  １ ５ １ １ ． ０８６３０ ， 
２０ １ ５ 

．

［
２５
］ 
Ｊｏ ｔ
ｙ  Ｓ  Ｍ ａｒ ｑ ｕ ｅ ｚ  Ｌ  Ｎ ａ ｋ ｏ ｖ  Ｐ  Ｊ ｏ ｉ ｎ ｔ  ｍ ｕ
， ，
． ｌ ｔｉ ｔ ａ ｓ ｋ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ  ｆｏ ｒ  ｃ ｏ ｍｍ ｕ ｎ ｉ ｔ ｙ  ｑ ｕ ｅ ｓ ｔ ｏ ｎ

 ｉ

ａｎ ｓ ｗ ｅ ｒ ｉ ｎ ｇ  ｕ ｓ ｉ ｎ ｇ  ｔ ａ ｓ ｋ －

ｓ
ｐｅｃ ｉｆ
ｉ ｃ  ｅ ｍｂ ｅ ｄ ｄｉｎｇ ｓ  ［
Ｊ
］
．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａｒＸ ｖ ｉ ：  １ ８０９ ０８ ９２ ８ ．


，

２０ １ ８ 

．

［
２６
］ 
Ｙａ ｎ ｇ  Ｚ ，  Ｙａ ｎ ｇ  Ｄ ？  Ｄ ｙ ｅ ｒ  Ｃ  ｅ ｔ  ａ ｌ  Ｈ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ  ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  ｄｏ ｃ ｕｍ ｅ ｎ ｔ
５
． 
 ｉ

ｃ ｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａｔ ｉ ｏ ｎ
［
Ｃ ］
／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｎ ｇ ｓ  ｏ ｆ  ｔｈ ｅ ２ ０ ｉ １ ６  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｆ  ｔ ｈ ｅ  Ｎｏｒ ｔ ｈ Ａｍ ｅ ｒ ｉ ｃ ａｎ



ｃ ｈａ
ｐｔｅｒ ｏ ｆ ｔ
ｈ ｅ  ａ ｓ ｓ ｏ ｃ ｉ ａｔ ｏ ｎ  ｆｏ ｒ  ｃ ｏ ｍ ｐ ｕ ｔ ａｔ ｉ ｏ ｎ ａ ｉ ｌ  ｌ ｉ ｎ ｇｕ ｉ ｓ ｔ ｉ ｃ ｓ ：  ｈ ｕｍ ａ ｎ  ｌ ａｎ ｇ ｕ ａ ｇ ｅ



ｔｅ ｃ ｈｎ ｏ ｌ ｏ ｇ ｉ ｅ ｓ ．  ２０ １ ６ １ ４ ８ ０
：
－

１ ４８９ 

．

２７］  Ｓ ａｃ ｈ ａｎ  Ｍ  Ｘ ｎｇ Ｅ Ｓ ｅ ｆ ｔｒ ａｉ ｎ ｎ ｇ  ｔ ｏ  ａ ｓ ｋ  ａｎ ｄ  ａｎ ｓ ｗ ｅ ｒ
ｎ ｎ ｇ  ｆｏ ｒ  ｊ ｏ ｎｔ ｌ ｙ  ｌ ｅ ａｒ
－

ｉ ． ｌ ｉ 
 ｉ ｉ
［ ，

ｑｕ ｅ ｓ ｔ ｉ ｏ ｎ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  ２ ０ １ ８  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｆ  ｔ ｈ ｅ  Ｎ ｏ ｒ ｔ ｈ  Ａ ｍ ｅ ｒ ｉ ｃ ａｎ



Ｃ ｈ ａｐ ｔ ｅ ｒ  ｏ ｆ  ｔ ｈ ｅ  Ａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｉ ｏ ｎ  ｆｏ ｒ Ｃ ｏ ｍ ｐ ｕ ｔ ａｔ ｉ ｏ ｎ ａ ｌ  Ｌ ｉ ｎ ｇ ｕ ｉ ｓ ｔ ｉ ｃ ｓ ：  Ｈ ｕｍ ａ ｎ  Ｌ ａ ｎ ｇ ｕ ａ ｇ ｅ



Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇｉ ｅ ｓ ， 
Ｖｏ ｌ ｕｍ ｅ  １  （ Ｌ ｏ ｎ ｇ  Ｐ ａ ｐ ｅ ｒ ｓ ） ． ２ ０ １ ８ ： ６２ ９ ６４０ －



．

［
２８
］
Ｌ ｉ ａｎ  Ｈ Ｑ ？
ｉ ｎ Ｚ ，  Ｈ ｅＴ ？ ｅ
ｔａｌ ．  Ｋｎ ｏ ｗ ｌ ｅｄ
ｇ ｅ  ｇ ｒ ａｐ ｈ  ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｊ
ｕ ｄ ｉ ｃ ｉ ａ ｌ  ｄ ａｔ ａ



５ １



北京 邮 电大学工学硕 上学位论文 



ｗ ｉ ｔ ｈ  ｓ ｏ ｃ ｉ ａ ｌ ｍ ｅ ｄ ａ ［ Ｃ ］ ／ ／ ２ ０ ｉ １ ７  １ ４ ｔ ｈ Ｗｅ ｂ  Ｉ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ  Ｓ ｙ ｓ ｔ ｅ ｍ ｓ  ａ ｎ ｄ  Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ



Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  （ Ｗ Ｉ Ｓ Ａ ） ． Ｉ Ｅ ＥＥ ， 
２０ １ ７ ：  ２２５ －

２２ ７ 

．

［
２ ９］ Ｄ ｉ ｎ ｇＸ ， Ｌ Ｚ ｉ
，
Ｌ ｉ ｕＴ ，
ｅｔａｌ ．  Ｅ Ｌ Ｇ  ａ ｎ ｅ ｖ ｅ ｎ  ： ｔ ｌ ｏ ｇ ｃ  ｇｒ ａｐ ｈ ［ Ｊ ］  ａｒ
ｉ ． Ｘ ｉ ｖｐ ｒ ｅ
ｐ ｒ ｉｎ ｔ



ａｒ Ｘ ｉ ｖ ： １ ９０７ ０８０ ． １ ５ ，
２０ １ ９ 

．

［
３ ０
］  Ｌ ｉ  Ｚ  Ｚ ｈ ａ ｏ  Ｓ  Ｄ ｉ ｎ ｇ  Ｘ  ｅ ｔ  ａ ｈ  Ｅ Ｅ Ｇ  ｋｎ ｏ ｗ
５ ， ，
； ｌ ｅ ｄ ｇ ｅ  ｂ ａ ｓ ｅ  ｆｏ ｒ  ｅ ｖ ｅ ｎ ｔ  ｅ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎａ ｒ


ｙ

ａ ｓ ［ Ｃ ］ ／ ／ Ｃ ｈ ｉ ｎ ｅ ｓ ｅ  Ｎ ａｔ ｉ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｓ ｏ ｃ
ｐ ｒ ｉ ｎ ｃ ｉ ｐ ｌ ｅ ｓ  ａ ｎ ｄ  ｐ ａｔ ｔ ｅ ｒ ｉ ａｌ Ｍ ｅ ｄ ｉ 

ａ

Ｐｒｏ ｃ ｅ ｓ ｓ ｎｇ ｉ ． Ｓ
ｐｒ ｎ ｇ ｅ ｒ ｉ
， 
Ｓｉｎ
ｇ ａｐ ｏ ｒ ｅ ， 
２０ １ ７ ：  ４０ －

５２ 

．

［
３ １
］
Ｌ ｉ  Ｚ ５  Ｄ ｉ ｎ ｇＸ ？ Ｌ ｉ ｕ Ｔ  ． Ｃ ｏ ｎ ｓ ｔｒｕ ｃ ｔ ｉ ｎ ｇ  ｎ ａ ｒ ｒ ａ ｔ ｉ ｖ ｅ  ｅ ｖ ｅ ｎ ｔ  ｅ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｒ ｙ  ｇ ｒ ａ ｐ ｈ  ｆｏ ｒ  ｓ ｃ ｒ ｉ ｐ ｔ

ｅ ｖ ｅ ｎｔ
 ｐ ｒ ｅ ｄ ｉ ｃ ｔｉ ｏ ｎ ［ Ｊ ］ ．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａｒＸ ｖ ｉ ： １ ８ ０５ ． ０５０８ １
， 
２０ １ ８ 

．

［
３ ２
］ 
Ｚ ｈａｏＳ ，  Ｗａ ｎ ｇ  Ｑ ？  Ｍ ａ ｓ ｓ ｕｎ ｇ  Ｓ ， ｅ ｔａｌ ．  Ｃ ｏ ｎ ｓ ｔｒｕ ｃ ｔ ｉ ｎ
ｇ  ａｎ ｄ  ｅ ｍ ｂ ｅ ｄ ｄ ｉ ｎ ｇａ
ｂ ｓ ｔ ｒ ａ ｃ ｔ  ｅ ｖ ｅ ｎｔ



ｃ ａｕ ｓ ａ ｌ ｉ ｔ
ｙ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｒ ｏ ｍ  ｔ ｅ ｘ ｔ  ｓ ｎ ｉ ｐ ｐ ｅ ｔ ｓ  ［
Ｃ ］ ／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  Ｔ ｅ ｎ ｔ ｈ  Ａ Ｃ Ｍ

 ｉ

Ｉ ｎｔｅ ｒ
ｎ ａｔ ｏ ｎ ａ ｉ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ｗｅ ｂ  Ｓ ｅ ａ ｒ ｃ ｈ   ａｎ ｄ  Ｄａ ｔａ Ｍ ｉ ｎｉ ｎ ｇ ．  ２０ １ ７ ： ３ ３ ５
－

３ ４４ 

．

［
３ ３
］ Ｍ ｉ ｋｏ ｌ ｏｖ Ｔ ，
Ｃ ｈ ｅ ｎ Ｋ ，
Ｃ ｏ ｒ ｒ ａ ｄｏ  Ｇ  ｅ  ａ  Ｅ ｆ ｆ ｃ ？
ｔ ｌ ． ｉ ｉ ｅ ｎ ｔ  ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｏ ｎ ｏ ｆ  ｗｏ ｒｄ



ｒｅ
ｐ ｒ ｅ ｓ ｅ ｎｔ ａｔ ｉ ｏ ｎ ｓ  ｉ ｎ  ｖ ｅ ｃ ｔ ｏ ｒ  ｓ ｐ ａｃ ｅ ［ Ｊ ］ ．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｉ ｖ ： １ ３ ０ １ ． ３ ７８ １
？ 
２０ １ ３ 

．

３４
 Ｃ ｏ ｌ ｌ ｏ ｂ ｅ ｒ ｔ  Ｒ  Ｗｅ ｓ ｔ ｏ ｎ  Ｊ  Ａ  ｕ ｎ ｆ ｉ ｅ ｄ  ａ ｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ  ｆｏ ｒ  ｎ ａ ｔ ｕ ｒ ａ ｌ  ｌ ａ ｎ ｇ ｕ ａ ｇ ｅ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ
ｉ ． 

：

［ ］ ，

Ｄ ｅ ｅ ｐ  ｎ ｅ ｕｒ ａ  ｎｅ ｌ ｔ ｗ ｏ ｒ ｋ ｓ  ｗ ｉ ｔｈ  ｍ ｕ ｌ ｔ ｉ ｔ ａ ｓ ｋ  ｌ ｅ ａ ｍ ｉ ｎ ｇ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  ２ ５ ｔ ｈ



ｉ ｎ ａｔ ｉ ｏ ｎ ａ ｌ  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｌ ｅ ａｒ ｎ ｉ ｎ ｇ
ｎｔ ｅ ｒ ．  ２００ ８ ： １ ６ ０
－

１ ６７ 

．

［
３ ５
］ Ｌ Ｑ Ｍ ｅ ，
ｉ ｋｏ ｌ ｏ ｖ Ｔ ． Ｄ ｉ ｓ ｔｒ ｉ ｂ ｕ ｔ ｅ ｄ  ｒｅｐｒｅ ｓ ｅ ｎ ｔ ａｔ ｉ ｏ ｎ ｓ  ｏ ｆ ｓ ｅｎ ｔｅ ｎ ｃ ｅ ｓ  ａｎ ｄ



ｄ ｏ ｃ ｕｍ ｅ ｎ ｔ ｓ ［ Ｃ ］ ／ ／ Ｉ ｎ ｔ ｅ ｍ ａ ｔ ｉ ｏ ｎａ ｌ  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ．  Ｐ ＭＬ Ｒ ，
２０ １ ４ 

：

１ １ ８ ８
－

１ １ ９６ 

．

Ｇｏ  Ｙ  Ｌ ｅ ｖｙ  Ｏ ｗ ｏ ｒ ｄ ２ ｖ ｅ ｃ  Ｅ ｘ ｐ ａ ｎ ｅ ｄ ｄｅｒ Ｍ ｋ ｏ ｌ ｏ ｖ ｅｔ ａｌ

＇

［
３ ６
］
ｌ ｄ ｂ ｅ ｒｇ ，
． ｌ ｉ ： ｉ ｖｉ ｎ ｇ ｉ ． 

ｓ

ｎ ｅ ｇ ａｔ ｉ ｖ ｅ ａｍ ｐ ｌ ｉ ｎ ｇ  ｗ ｏ ｒ ｄ ｅ ｍ ｂ ｅ ｄｄｉ ｎ
ｇ  ｍ ｅ ｈ ｏ ｄ ［ Ｊ ］  ａ ｒＸ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａｒ Ｘ ｉ ｖ ４ ０ ２ ３ ７２２
－ －

ｓ ｔ ． ：  １ ．



，

２０ １ ４ 

．

３ ７
Ｄ ｅｖ ｎ  Ｊ  Ｃ ｈ ａ ｎ ｇ Ｍ  Ｗ  Ｌ ｅ ｅ  Ｋ  ｅ ｔ  ａ ｌ  Ｂ ｅ ｒ ｔ  Ｐ ｒ ｅ ｔｒ ａ ｉ ｎｉ ｎ ｇ  ｏ ｆ  ｄ ｅ ｅ ｂ ｉ ｄ ｉ ｒ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌ
－
ｌ ｉ
ｐ
． ：

［ ］ ， ？ ｓ

ｔｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ ｓ  ｆｏ ｒ  ａ ｎ ｇ ｕ ａ ｇ ｅ  ｕ ｎｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｉ ｎ ｇ ＾ ］  ａ ｒ Ｘ ｖ  ｐ ｒ ｅ ｐ ｒ ｎ ｔ  ａｒ Ｘ ｖ
ｌ ． ｉ ｉ ｉ ： １ ８ １ ０ ０４８ ０５．



，

２０ １ ８ 

．

［
３ ８
］ 
Ｖａ ｓ ｗ ａ ｎ ｉ  Ａ ，  Ｓ ｈ ａ ｚ ｅ ｅ ｒ  Ｎ  Ｐ ａｒｍ ａｒ  Ｎ  ｅ ｔ  ａ  Ａ ｔ ｅ ｎ ｔ ｏ ｎ  ， ，
ｌ ． ｉ ｉ ｓａ ｌ ｌ
 ｙ ｏ ｕ  ｎ ｅ ｅ ｄ ［ Ｊ ］  ａ ｒＸ ｖ

 ． ｉ

ｐ ｒ ｅ ｐ ｒｉ ｎｔ ａｒ Ｘ ｖ  ｉ ：  １ ７０６ ０３ ７６２ ．
， 
２０ １ ７ 

．

“ ”

［
３ ９
］  Ｔａｙ ｌ ｏ ｒ Ｗ Ｌ  Ｃ ． ｌ ｏ ｚ ｅ  ｐ ｒ ｏ ｃ ｅ ｄ ｕｒ ｅ ：  Ａ  ｎ ｅ ｗ  ｔ ｏ ｏ  ｆｏ ｒ  ｍ ｅ ａ ｓ ｕ ｒ ｎ ｇ  ｒ ｅ ａ ｄ ａ ｂ ｉ ｌ ｉ ｔ ｙ ［ Ｊ ］ ｌ ｉ 

．

ｎ ａｌ ｉ ｓ ｍ
Ｊ ｏ ｕｒ ｕ ａｒｔ ｅ ｒ ｌ ｙ １ ９５ ３ ３ ０（４） ４ １ ５
－

４３ ３
ｑ ： 

．
， ，


［
４ ０ ］  Ｙａ ｎ ｇ  Ｚ ， 
Ｄ ａ Ｚ Ｙａ ｎ ｇ Ｙ  ｅ
ｉ
，   ，
ｔ ａｌ ．

ｇ
ｅ ｎ ｅ ｒ ａｌ ｉ ｚ ｅ ｄ  ａｕ ｔ ｏ ｒ ｅ
ｇ ｒ ｅ ｓ ｓ ｉ ｖ ｅ  ｐ ｒ ｅ ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ  ｆｏ ｒ  ａ ｎ ｇ ｕ ａ ｇ ｅ

 ｌ

ｕｎ ｄ ｅ ｒ ｓ ｔ ａ ｎｄ ｉ ｎ ｇ ．  ａｒ Ｘ ｉ ｖ２ ０ １ ９ １ ９ ０ ６ ０ ８ ２ ３ ７
；
．

［
Ｊ
］
． １ ９ ０ ６ 

．

［
４ １
］  Ｋ ｒ ｚ ｈ ｅ ｖ ｓ ｋ ｙ  Ａ  Ｓ ｕ ｔ ｓ ｋ ｅ ｖ ｅ ｒ  Ｉ  Ｈ ｉ ｎ ｔ ｏ ｎ  Ｇ Ｅ  Ｉ ｍ ａ ｇ ｅ ｎ ｅ ｔ  ｃ
ｉ
， ，
． ｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａ ｔ ｉ ｏ ｎｗ ｉ ｔ ｈ  ｄ ｅ ｅ


ｐ

ｃ ｏ ｎｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ  ｎ ｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ
［
Ｊ
］
．  Ａ ｄ ｖ ａ ｎ ｃ ｅ ｓ  ｉ ｎ  ｎ ｅ ｕ ｒ ａ ｌ  ｉ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ



５ 

８
 参考文献
 



ｙｓｔ ｅｍ ｓ
ｓ ， 
２０ １ ２ ， 
２ ５ １ ０ ９ ７ ：
－
１ １ ０５ 

．

［
４２］ Ｚｅ ｉ ｌ ｅｒ  ＭＤ ，
Ｆ ｅ ｒｇ ｕ ｓ  Ｒ ． Ｖ ｉ ｓ ｕａ ｌ ｉ ｚ ｉ ｎ
ｇ  ａ ｎｄ  ｕ ｎ ｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｉ ｎ ｇ  ｃ ｏ ｎｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ

ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ［ Ｃ ］ ／ ／ Ｅ ｕ ｒ ｏ ｐ ｅ ａ ｎ  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  ｖ ｉ ｓ ｉ ｏ ｎ  Ｓ ｐ ｒ ｉ ｎ ｇ ｅ ｒ  Ｃ ｈ ａ ｍ  ２ ０ ．

， ，
１ ４ 

：

８ １ ８
－

８３３ 

．

［
４ ３ ］  Ｓ ｉ ｍ ｏ ｎｙ ａ ｎ  Ｋ  Ｚ ｉ ｓ ｓ ｅ ｒ ｍ ａ ｎ  Ａ  Ｖｅ ｒ ｙ  ｄ ｅ ｅ ｐ  ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  ａ ｒ ｇ ｅ
？
． ｌ
－

ｓ ｃ ａｌ ｅ



ｉ ｍ ａｇ ｅ  ｒ ｅ ｃ ｏ ｇ ｎｉ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａｒ Ｘ ｉ ｖ ：  １ ４０９ ． １ ５ ５ ６ ， 
２０ １ ４ 

．

［
４ ４ ］  Ｓ ｚｅ ｇ ｅ ｄ ｙ  Ｃ ？ 
Ｌ ｕＷ ｉ
？ Ｊ
ｉ ａ Ｙ ｅ ，
ｔａｌ ．  Ｇｏ ｉ ｎ ｇ  ｄ ｅ ｅ ｐ ｅ ｒ  ｗ ｉ ｔ ｈ  ｃ ｏ ｎｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ｓ
［
Ｃ ］
／／ Ｐ ｒｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ



ｏｆ  ｔ ｈ ｅ  Ｉ Ｅ Ｅ Ｅ  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｖ  ｉ ｓ ｉ ｏ ｎ  ａ ｎｄ  ｐ ａｔ ｔ ｅ ｒ ｎ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ．  ２０ １ ５ １ ：
－

９ 

．

［
４５
］ 
Ｚ ａｒ ｅ ｍ ｂ ａ  Ｗ ，
Ｓ ｕｔ ｓ ｋ ｅ ｖ ｅ ｒ  Ｉ ，
Ｖ ｉ ｎｙ ａ ｌ ｓ  ０ ？  Ｒ ｅ ｃ ｕ ｒｒ ｅ ｎｔ  ｎ ｅ ｕｒ ａ ｌ  ｎ ｅ ｔｗ ｏ ｒｋ  ｒ ｅ
ｇ ｕ ａｒ ｚ ａ
ｌ ｉ ｔｉ ｏｎ Ｊ
［ ］


．

ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎｔ  ａ ｒＸ ｉ ｖ ：  １ ４０９ ２ ３ ２ ９ ．

， 
２０ １ ４ 

．

［
４ ６ ］Ｌ ｉ ｐｔｏ ｎＺＣ ， 
Ｂ ｅ ｒｋｏ ｗ ｉｔ ｚＪ ５ 
Ｅ ｋ ａｎ  Ｃ
ｌ ．  Ａ  ｃｒ
ｉ ｔ ｉ ｃ ａ ｌ  ｒ ｅ ｖ ｉ ｅ ｗ  ｏ ｆ ｒ ｅ ｃ ｕ ｒｒ ｅ ｎ ｔ  ｎ ｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ

 

ｆｏ ｒ  ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ  ｌ ｅ ａ ｍ ｉ ｎ ｇ ［
Ｊ
］
．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｖ ｉ ： １ ５０６ ０００ ． １ ９ ， 
２０ １ ５ 

．

［
４ ７ ］  Ｏ ｌ ａｈ  Ｃ ．  Ｕ ｎ ｄｅ ｒｓ ｔａ ｎ ｄ ｉ ｎｇ  ｌ ｓ ｔｍ ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ ［ Ｊ］  ．  ２０ １ ５ 

．

［
４ ８ ］  Ｓ ｔ ａ ｕ ｄ ｅ ｍ ｅ ｙ ｅ ｒ  Ｒ  Ｃ  Ｍ ｏ ｒｒ ｉ ｓ Ｅ  Ｒ  Ｕ ｎ ｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｉ ｎ ｇ  Ｌ Ｓ Ｔ Ｍ ，
．
￣

ａ  ｔｕ ｔ ｏ ｒ ｉ ａ ｌ  ｉ ｎｔ ｏ  Ｌ ｏ ｎ ｇ



Ｓ ｈ ｏ ｒｔ －

Ｔｅ ｒ ｍ  Ｍ ｅ ｍ ｏ ｒｙ Ｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎｔ  Ｎ ｅ ｕｒａ  Ｎ ｅ ｌ ｔ ｗ ｏ ｒ ｋ ｓ ［ Ｊ ］  ａ ｒＸ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ ．

ａｒ Ｘ ｉ ｖ ： １ ９０ ９ ０９５ ８ ６ ．

，
２０ １ ９ 

．

［
４ ９ ］  Ｓ ｃ ｈｕ ｓ ｔ ｅ ｒ  Ｍ  Ｐ ａ ｌ ｉ ｗ ａ ｌ  Ｋ  Ｋ ，
． Ｂ ｄ ｉ ｉｒ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｌ  ｒ ｅ ｃ ｕ ｒｒ ｅ ｎ ｔ  ｎ ｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ
［
Ｊ
］
． ＩＥ Ｅ Ｅ



ｔｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ  ｏ ｎ  Ｓ ｉ ｇｎ ａｌ  Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ， 
１ ９９７ ， 
４５（ １ １
）
： ２ ６７ ３
－

２６８ １ 

．

５０
］ Ｌ ｕ ｏ ｎｇ Ｍ Ｔ 
Ｐ ｈ ａ ｍ  Ｈ  Ｍ ａ ｎ ｎ ｉ ｎ ｇ  Ｃ  Ｄ  Ｅ ｆ ｆｅ ｃ ｔ ｉ ｖ ｅ  ａｐ ｐ ｒ ｏ ａ ｃ ｈ ｅ ｓ  ｔ ｏ  ａ ｔ ｅ ｎ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ

 ，
．
－

［ ，

ｎ ｅ ｕ ｒ ａ ｌ ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｔ ｒ ａ ｎ ｓ ｌ ａｔ ｉ ｏ ｎ ［ Ｊ ］
 ．  ａｒ Ｘ ｉ ｖ  ｐ ｒｅ
ｐ ｒ ｎｔ  ａｒ
ｉ Ｘｉｖ ：  １ ５ ０ ８ ０４０ ２ ５ ．

， 
２０ １ ５ 

．

［
５ １
］
Ｒ ｕ ｓ ｈ Ａ Ｍ  Ｃ ｈ ｏ ｐ ｒａ  
，
 Ｓ ？ 
Ｗｅ ｓ ｔ ｏ ｎ Ｊ ．  Ａ  ｎ ｅ ｕ ｒ ａｌ  ａｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ  ｍ ｏ ｄ ｅ ｌ  ｆｏ ｒ  ａｂ ｓ ｔ ｒ ａ ｃ ｔ ｉ ｖ ｅ  ｓ ｅ ｎ ｔ ｅ ｎ ｃ ｅ



ｓ ｕ ｍｍ ａ ｉ ｚ ａｔｉ ｏ ｎ ［ Ｊ ］
ｒ ．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｉ ｖ ：  １ ５ ０９ ００６８ ５ ．
， 
２０ １ ５ 

．

［
５ ２］ Ｙａ ｎ ｇ  Ｚ ，  Ｙａ ｎ ｇ  Ｄ ，  Ｄ ｙ ｅ ｒ  Ｃ  ｅ ｔ  ａ ｌ  Ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ  ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  ｄ ｏ ｃ ｕｍ ｅ ｎ ｔ
，
． 


ｉ ｃ ａｔ ｉ ｏ ｎ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ
ｃ ｌ ａｓ ｓ ｉ ｆ
ｇ ｓ ｏ
ｆ  ｔｈ ｅ  ２ ０ １ ６  ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｆ  ｔｈ ｅ  Ｎ ｏｒ ｔ ｈ Ａｍ ｅ ｒ ｉ ｃ ａｎ



ｃ ｈ ａｐ ｔ ｅ ｒ  ｏ ｆ  ｔ ｈ ｅ  ａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｉ ｏ ｎ  ｆｏ ｒ  ｃ ｏ ｍ ｐ ｕ ｔ ａｔ ｉ ｏ ｎａｌ  ｌ ｉ ｎ ｇｕ ｉ ｓｔｉ ｃ ｓ ：  ｈ ｕｍ ａ ｎ  ｌ ａｎ
ｇｕａｇ ｅ



ｔｅ ｃ ｈｎ ｏ ｌ ｏ ｇ ｉ ｅ ｓ ． ２ ０ １ ６ １ ４ ８ ０ ：
－

１ ４８９ 

．

［
５３
］ Ｊ
ｉ  Ｓ  Ｐ ａｎ  Ｓ  Ｃ ａｍ ｂ ｒ ｉ ａ  Ｅ  ｅ ｔ  ａ ｌ 
， ５ ，
． Ａ  ｓ ｕ ｒ ｖ ｅ ｙ  ｏ ｎ  ｋｎ ｏ ｗ ｌ ｅｄ
ｇ ｅ  ｇ ｒ ａｐ ｈ ｓ  Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ：


，

ａ ｃ ｑ ｕ ｉ ｓ ｉ ｔ ｉ ｏ ｎ  ａｎ ｄ  ａ ｐ ｐ ｌ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ［ Ｊ ］ 
．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎ ｔ  ａ ｒＸ ｉ ｖ ２ ０ ０ ２ ０ ０ ３ ： ． ８ ８ ， 
２ ０２０ 

．

４
ＪｉＧ Ｌ ｕＫ Ｈ ｅＳ ｅｔａ Ｋｎｏ ｗ ｇ ｅ  ｇ ｒ ａ ｐ ｈ  ｃ ｏ ｍ ｐ ｌ ｅ ｔ ｉ ｏ ｎ  ｗ ｉ ｔ ｈ  ａ ｄ ａｐ ｔ ｉ ｖ ｅ  ｓ ｐ ａ ｒ ｓ ｅ
５ ｉ ｌ ． ｌ ｅｄ 

［ ］ ， ， ９

ｔｒ ａ ｎ ｓ ｆｅ ｒ  ｍ ａｔ ｒ ｉ ｘ ［ Ｃ ］ ／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ ＡＡＡ Ｉ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ａ ｒ ｔ ｉ ｆｉ ｃ ｉ ａ ｌ

ｉ

Ｉ ｎｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ． ２ ０ １ ６ ， 
３０
（
１
）


．

５ ５
Ｂ ｏ ｓ ｓｅ ｕｔ  Ａ  Ｃ ｈ ｏ  Ｙ  Ｄ ｙ ｎ ａｍ ｃ  ｋｎ ｏ ｗ ｌ ｅ ｄ
ｇ ｅ  ｇｒ ａｐ ｈ  ｃ ｏ ｎ ｓ
ｔｒ ｕ ｃ ｔ ｉ ｏ ｎ  ｆｏ ｒ  ｚ ｅ ｒ ｏ ｓ ｈｏ ｔ


－

ｌ ｉ ． ｉ
［ ］ ，

Ｘ Ｘ
＂

ｃ ｏ ｍｍ ｏ ｎ ｓ ｅ ｎ ｓ ｅ ＾ ｖ  ｅ ｐ ｒ ｉ ｎｔ ｓ
ｑ ｕ ｅ ｓ ｔ ｉ ｏ ｎ  ａｎ ｓ ｗ ｅ ｒ ｉ ｎ ｇ ［ Ｊ ］ ．  ｉ
－


２０ １ ９ ：  ａｒ ｉ ｖ １ ９ ： １ １ ． ０３ ８７６ 

．

 ，

［
５６
］ 
Ｚ ｈ ａｎ ｇ  Ｆ ，  Ｙｕ ａ ｎ Ｎ  Ｊ 
５ 
Ｌ ｉ ａｎ  Ｄ ，  ｅ ｔ  ａｌ  Ｃ ． ｏ ｌ ｌ ａｂ ｏ ｒ ａ ｔ ｉ ｖ ｅ  ｋ ｎ ｏ ｗ ｌ ｅ ｄ ｇ ｅ  ｂ ａ ｓ ｅ  ｅ ｍ ｂ ｅ ｄ ｄ ｉ ｎ ｇ  ｆｏ ｒ



５ ９


 北京 邮 电 大学 工学硕士学位论文
 



ｒｅｃｏ ｍｍ ｅ ｎ ｄ ｅ ｒ  ｓ ｙ ｓ ｔ ｅ ｍ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  ２ ２ ｎ ｄ  Ａ Ｃ Ｍ  Ｓ Ｉ Ｇ Ｋ Ｄ Ｄ  ｉ ｎｔ ｅ ｒ
ｎ ａｔ ｏ ｎ ａ ｉ 

ｌ

ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  ｋｎ ｏ ｗ ｌ ｅ ｄ ｄ ｉ ｓ ｃ ｏ ｖ ｅ ｒｙ  ａｎ ｄ  ｄ ａｔ ａ  ｍ ｉ ｎ ｉ ｎ ｇ ２０ ３ ６２
ｇｅ ６ ３ ５３
－

 ．  １ ： 

．

［
５７
］
Ｌ ｉ  Ｚ ５  Ｄ ｉ ｎｇ

Ｘ ，  Ｌ ｉ ｕ  Ｔ  Ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｎ ｇ  ｎ ａ ｒ ｒ ａ ｔ ｉ ｖ ｅ  ｅ ｖ ｅ ｎ ｔ  ｅ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｒ ｙ  ｇ ｒ ａｐ ｈ  ｆｏ ｒ  ｓ ｃ ｒ ｉ ｐ ｔ
． 


ｅ ｖ ｅｎｔ
 ｐ ｒｅ
ｄ ｉ ｃｔｉ ｏ ｎ Ｊ
［ ］
．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎｔ  ａｒＸ ｉ ｖ ： １ ８０５ ． ０５０８ １
，
２０ １ ８ 

．

［
５ ８
］  Ｄ ｎｇＸ Ｌ
ｉ
，
ｉ ａｏ Ｋ ，  Ｌ ｉ ｕ  Ｔ  ｅ ｔ  ａ ｌ Ｅ ｖ ｅ ｎ ｔ  ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎｔ ａｔ ｏ ｎ 
，
． ｉ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ  ｅ ｎｈ ａ ｎ ｃ ｅ ｄ  ｗ ｉ ｔ ｈ



ｎ ａ ｌ  ｃ ｏ ｘ ｎｍ ｏ ｎ ｓ ｅ ｎ ｓ ｅ  ｋ ｎ ｏ ｗ ｌ ｅ ｄ
ｅ ｘ ｔｅ ｒ
ｇｅ ［Ｊ］ ．  ａｒ Ｘ ｉ ｖ ｐ ｒ ｅ
ｐ
ｒｉ ｎｔ  ａｒ Ｘ ｉ ｖ ：  １ ９０９ ０５ ． １ ９０ ， 
２０ １ ９ 

．

［
５９
］
Ｒ ａ ｓ ｈｋ ｉ ｎ  Ｈ  Ｓ ａｐ  Ｍ ？ ，  Ａ ｌ ｌ ａ ｗ ａｙ

Ｅ ，  ｅ ｔ  ａ ｌ  Ｅ ｖ ｅ ｎ ｔ ２ ｍ ｉ ｎ ｄ  Ｃ ｏ ｍ ｍ ｏ ｎ ｓ ｅ ｎ ｓ ｅ  ｉ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ
． 
 ：

ｅ ｖ ｅ ｎｔ ｓ ， 
ｉ ｎ ｔ ｅ ｎｔ ｓ ， 
ａ ｎｄ  ｒ ｅ ａ ｃ ｔ ｉ ｏ ｎ ｓ ［
Ｊ
］
．  ａｒ Ｘ ｉ ｖ  ｐ ｒ ｅ ｐ ｒ ｉ ｎｔ  ａｒＸ ｉ ｖ ：  １ ８０５ ． ０６９３ ９ ， 
２０ １ ８ 

．

［
６ ０ ］  Ｐ ａｐ ｐ ａ ｇ ａ ｒ ｉ  Ｒ   Ｚ ｅ ｌ ａ ｓ ｋ ｏ  Ｐ  ？ ？ 
Ｖ ｉｌ ｌ ａｌ ｂ ａＪ ｅｔａｌ  ，
． Ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ  Ｔ ｒ ａ ｎ ｓ ｆｏ ｒ ｍ ｅ ｒ ｓ  ｆｏ ｒ  Ｌ ｏ ｎ


ｇ

Ｄ ｏ ｃ ｕｍ ｅ ｎ ｔ  Ｃ ｌ ａ ｓ ｓ ｆｉ ｃ ａ ｔ ｏ ｎ ［ Ｃ ］ ／／  ２ ０
ｉ ｉ １ ９  Ｉ Ｅ Ｅ Ｅ  Ａ ｕ ｔ ｏ ｍ ａｔ ｉ ｃ  Ｓ ｐ ｅ ｅ ｃ ｈ  Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔｉ ｏ ｎ ａｎ ｄ



Ｕ ｎｄ ｅ ｒ ｓ ｔａ ｎ ｄ ｉ ｎ ｇ  Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐ  （ Ａ Ｓ Ｒ Ｕ ） ． Ｉ ＥＥＥ ， 
２０ １ ９ 

．

［
６ １
］ 
Ｋ ｉ ｍ  Ｙ   Ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ  Ｎ ｅ ｕ ｒ ａ ｌ  Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ｆｏ ｒ  Ｓ ｅ ｎ ｔ ｅ ｎ ｃ ｅ  Ｃ ｌ ａ ｓ ｓ ｉ ｆ
■ ｉ ｃ ａｔ ｉ ｏ ｎ ＾ ］  Ｅ ｐ ｒ ｉ ｎ ｔ ．

Ａ ｒｘ ｉ ｖ ， 
２０ １ ４ 

．

［
６ ２ ］Ｚ ｈｏ ｎｇ

Ｈ ， Ｇ ｕ ｏＺ  ＴｕＣ  ｅ ｔ ａ ５ ５
ｌ ．  Ｌ ｅ ｇ ａｌ  Ｊｕ ｄ ｇ ｍ ｅ ｎｔ  Ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ  ｖ ｉ ａ  Ｔ ｏ ｐ ｏ ｌ ｏ ｇ ｉ ｃ ａ ｌ

ｐ ｉ ｒ ｃ ａ  Ｍ ｅｔｈ ｏ ｄ
Ｌ ｅ ａｒｎ ｎ ｇ Ｃ ｉ ／／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔｈｅ ２ ０ １ ８  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ｅ ｍ ｉ ｌ ｓ ｉ ｎ


［ ］

Ｎａ ｔ ｕ ｒ ａ ｌ  Ｌ ａ ｎ ｇ ｕ ａ ｇ ｅ  Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎｇ ． ２ ０ １ ８ 

．

［
６ ３ ］ Ｙａ ｎ ｇ  Ｚ  Ｙａ ｎｇ Ｄ  Ｄ ｙ ｅ ｒ Ｃ  ５   ？ 

，  ｅ ｔ  ａｌ  ． Ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａｌ  Ａｔ ｔｅ ｎｔ ｉ ｏ ｎ  Ｎ ｅｔ ｗ ｏ ｒｋｓ  ｆｏ ｒ  Ｄ ｏ ｃ ｕ ｍ ｅ ｎｔ



Ｃ ｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａｔ ｉ ｏ ｎ ［ Ｃ ］ ／／  Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  ２ ０ １ ６  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｆ  ｔ ｈ ｅ  Ｎ ｏｒ ｔ ｈ  Ａ ｍ ｅｒｉ ｃ ａｎ



Ｃ ｈ ａｐ ｔ ｅ ｒ  ｏ ｆ  ｔ ｈ ｅ  Ａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｉ ｏ ｎ  ｆｏ ｒ  Ｃ ｏ ｍ ｐ ｕ ｔ ａｔ ｉ ｏ ｎ ａ ｌ  Ｌ ｉ ｎ ｇ ｕ ｉ ｓｔｉ ｃ ｓ ：  Ｈ ｕｍ ａｎ  Ｌ ａｎ ｇ ｕａ ｇ ｅ



Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇｉ ｅ ｓ ． ２ ０ １ ６ 

．

［
６４］ 谭红 叶 ， 张博文 ， 张虎 等 ，
．
面 向 法 律 文 书 的 量 刑 预测 方 法 研 究 ［
Ｊ
］
．
中 文信 息


学报 ，
２０２ ０ ， 
０ ３４ ００３
（ ）
：  １ ０７
－

１ １ ４ 

．

［
６５］ 王文广 ， 陈运文 ， 蔡华 等 ，
．
基于 混 合深度 神 经 网 络 模 型 的 司 法文书 智 能 化处


理 ［
Ｊ
］
．
清华大学学报 （ 自 然科学版 ） ，
２０ １ ９ ， 
ｖ ５ ９ （０ ７ ）
． ： １ ２ －

１ ８ 

．

［
６６］ 曹晨 ．
基于 裁判 书 数据挖掘 的 法 院 辅助 判 决研 究 ［
Ｄ ］
．
河北经贸 大学 ，
２０ １ ９ 

．

王子 基于 智 能推荐 的 辅助判 案系 统 的 设计与 实现 Ｄ 北 京 交通大学

一

６７］ ．

［
． ２０ １ ９ 

．

［ ］ ，

［
６８］ 程豪 ．
面 向 司 法大 数据 的 法条预测 与 相 似案 例 匹 配研 究 ［
Ｄ ］
．
山 西大学 ，
２０２０ 

．

６０


 




致谢



转 眼 间 三年硕 士生活马 上就要结 束 了 ， 回 想 起三年前 的 那 个五 月 ， 我还站 在



阿 克 苏职业技术 学 院 的 讲 台 上 我从 未为 那 年 的 支教生活后悔过 那是 年让


一 一

。 ，

“ ”
我成长 的 经历 ， 让我体会 到 了 为人师 的 感觉 ， 让我体会到 了 吴老 师在 教 育 我


的 时 候有 多 不 易 （ 此处有笑 出 声 ） ； 那是
一

年让 我变 成 熟 的 经 历 ， 让我 体验到 了


”
让我在 次 从学生 的 身 份 中 走 出 来 这种 感觉 与 在


“
工作 的感觉 年来第
一

， ２０ ，

学校参与 学生工作 时 与 老 师们 相 处不 同 它 让我先其他 同 学 步体会 到 了 工作 的



一

艰辛和 学 习 生活 的 来之不 易 那也是 年让我开 阔 眼 界 的 经历 我和 我共 同 支教



一

，
；

的 战友们 走遍 南 疆 四 地州 ， 穿越 了和 田 的沙漠公路 ，
走过 了 壮美 的 独库 公路 ， 

站
在过红旗拉普 的 国 门 之 下 领略 了 新疆人 民淳朴 的 民风 我 非 常 感 谢这 年的经


一

， 。

历 它给我 的 人生增 添 了 抹不 样 的 色彩
一 一

， 

。

回 看我 的 研 究生三年生活 ，
印 象最深 的 ， 不 是表 白 成功脱 离 ２０ 余年单 身 生



活的 时候 不是开题 中 期挨骂 的 时候 也 不 是 团 代会 结束松 了 口 气 的 时候 


其
一

， ， ，

实是 年 到 月 疫情 的 这半年 多 时 间 上 次 在 家 连续待 这么 长 时 间
一

２０２ ０ １ 月 ８ ， 

，

可能还是幼 儿 园 之 前 的 事 了 ， 那 个时候 ， 姥姥姥爷每 天 陪着我 ， 姥姥陪我打打扑



克 ， 姥爷教我识字 读书 看报 。 ２０ 多 年过去 了 ， 姥爷 已经离 开 了 我 。
疫情 的 半年


多时间 ， 多 数 时 候 只 是 我和 姥 姥 两 人 在 家 ， 姥姥 已 经有 些糊 涂 了 ， 会记 不 起现 在


是几月 ， 会记 不 起 自 己 的 东 西 放在 哪 里 ， 也会记不起为什 么 我 在 家 待 了 多 久 以 及


什 么 时 候会 走 每 天 看着 姥 姥 就 会 深 深 地 体 会 到 父 母 家 人 把 我 拉 扯 这 么 大 有 多 不
， 

容易 。 感谢这半年 的 时 间 ，
未来 的 几十年 中 我可能 都没 有机会有这么 久 的 时 间 陪


伴我 的 家人 ， 也 感 谢这 半 年你 的 时 间 ， 让时间慢 了 下来 

。

很抱歉 占 用 了 这 么 大 的 篇 幅 说 与 学 校 和 学 习 无 关 的 事 ， 但是想想 ， 如果不是




要 坐 在这 写 致谢 的 话 ， 我也 不会 有机会好好坐 下 来 回 想 自 己 的 生 活 了 

。

接下来言 归 正传 ， 最 先 的 感 谢理 应给 我 的 父 母 ， 是你们 把我抚养成人 ， 是你




们 见证 了 我成长 的 点 滴 是你们 即 使 是在我最崩 溃 心情 最差 的 时候 也还在不 断包

， 


容着我 如 果 以 后 我有 了 孩子 我 也会争取像你们 样做好 个认真负 责有耐心



一 一

。 ，

的 家长 的 

。

第 二声感谢 ，
我要 说给吴老 师 ， 我的恩师 ， 虽然我做本科 毕 设 的 时 候吴老 师


曾 两 度 忘 记我研 究 生 会 是他 的 学 生 虽 然 我毋 庸置 疑 的 是所 有 学 生 中 基 础 最 差 的

 ，

那 个 但三年 的 学 习 中 吴老 师从未 放 弃我 从开题 到 小 论 文再 到 毕 设 不断鼓



一

， ， ，

励着我 ， 教导着我 ， 给 我提 供 知 识 ，
给我提供 思 路 ， 让我 成 功 的 有 了 机会现 在 坐



在这里 写我毕 设 中 的 最后 个部 分 致谢
一
一 一



。

６ 

１

北京 邮 电 大 学 工 学硕 士学位 论 文 



第三声感谢 ， 属 于 我的 女朋 友 ， 刘丽杰 。 在遇 到你之前 的 ２４ 年中 ，

单身 的



生活固 然 也是精彩 的 但终 究少 了 抹色彩 在 此之前我没有 那 么 多 照 顾 人 的 经



一

，
。

验 也 没有 与 女孩子独处 的 经验 我知 道我不 是 个很 出 色很合格 的 男 朋 友 


我
一

， ， 。

们 起走过 的 两 年 多 之 中 我们 不 断磨 合 同 成长 你包容 了 我许许 多 多 的 缺



一 一

， ， ，

“ ”

点 也 给我在 学 校 中 提供 了 个可 以 分享快乐 抒发困惑 发泄情 绪 的 小家

一

， ， ， 

，

个可 以 放声 大 笑 ， 也可 以抱头痛哭 的 依靠 。
如 果可 以 ， 我愿与你继续走下 去 

。

“ ”

第 四 声感谢 ， 我想给我 的 几位好朋 友 、 好兄弟 。

首先 是我 亦师亦友 的好


兄弟 、 前室友 、 前辅导 员 、 现同窗同学
一 一

管 占明 ， 不 知 不觉我们 己经认识 

８

年了 ， ８ 年 里生 活上 、 学 习 中 的 方方面面 ， 你都 曾 帮 助 过我 ，
谢谢你 ， 有你在 

，

在 学校 的 日 子里 ， 我 不孤单 。 然 后 是张 睿和 侯 健 ，
与 侯健相 识 也有 ８ 年了 ，
但接


触最 多 的 还是 大 四 确 定 支教之后 也是这个时候我们 认识 了 睿 哥 大四 年和 支


一

， ，

教的 年中 我们 几乎 天 天 都 待 在 起 我们 是 同 学 是朋 友 也是战友 感谢


一 一

， ， ， ， ，

你们 对我 的 帮 助 和 包 容 

。

第五声感谢 ， 要给我 的 实验室 的 老师们 、 学长学姐们和 同 学们 。 这里尤其是




要感谢周 鹏 鹏 学 姐 我是 个很不省 心 的 学 弟 让 学姐操 了 很 多 心 感 谢学姐

一 

一

， ， ，

路 以来的帮助和支持 。 感谢王老 师 、 石老师 、 于老师 、

肖 老 师 在 我 学 习 的 过程 中



不断点 出 我的 问 题 ， 帮助我成长 。 感谢各位 同 学在学业上 的 帮 助 ， 可 以 和 你们 共



同 学 习 共 同 成长 ， 是我 的 幸运 ， 希 望 我 们 今 后 都 有 美好 的 前 景 

。

第 六 声 感谢 ， 献 给校 团 委 的 各 位 老 师 和 朋 友 ， 晋书记 、
许书记 、 春晓哥 、 

瑾

梁哥 、 秋实姐 ， 你们 永远 是我学 习 的 榜样 ；
王哥 、 田 哥 、 思思姐 ， 俊哥 、 喵姐 

，

你们 直 是我 心 中 最好 的 大 哥 哥大姐姐 梦秋 德东 金宇 丁丁 喆姐 梓凡
一

、 、 、 、 、 

、
；

芊芊 阿甘 阿坤 阿桥 还有所有所有 在 团 委遇 到 的 各 位 朋 友 能与 你们 

同
一

、 、 、 ， ，

工作 ， 是我在北 邮 的 ８ 年 中 最大 的 收获 。
祝 ， 团 情 永驻 

。

第七声感谢 也是最后 声 给学校 中 的每 位北邮人 感 谢我 的 室 友三年



一 一

， ， 。

来 的包容 感 谢每 位努力 学 习 的 同 学对北 邮 的 未来 为社会 的 未来 为祖 国 的



一

、 、
；

未来作 出 的 贡献 ； 感 谢每
一

位 老 师 对 学 生们 的 谆 谆 教诲 ； 感 谢楼 管 、 超市大姐 

、

食堂大叔 保洁 阿姨等等每 位为 我们 的 美 好 校 园 生 活 无私 付 出 的 人 们
一

、 

。

七声 感谢 八年北 邮情 感谢我们 生命 中 遇 到 的每 个人 也 感 谢我 们 生 命


一

，
。 ，

中 的每 个 陌生人
一



。

６２



攻读硕士学位期 间 发表论文 



攻读硕 士 学 位期 间 发 表论文



［
１
］
Ｇｕｏ Ｊ
，
Ｗｕ Ｂ
，
Ｚ ｈ ｏ ｕ Ｐ   Ｂ Ｌ Ｈ ＮＮ  Ａ
 ． ：  Ｎｏｖｅ ｌ Ｃ ｈ ａｒｇ ｅ  Ｐ ｒ ｅ ｄ ｉ ｃ ｔｉ ｏｎ Ｍ ｏ ｄ ｅ Ｂ ａｓ ｅ ｄ
ｌ  ｏｎ



Ｂ ｉ
－

Ａｔｅｎ ｔｉ ｏ ｎＬ Ｓ ＴＭ －

Ｃ ＮＮ  Ｈ ｙ ｂ ｒ ｉ ｄ  Ｎ ｅ ｕ ｒ ａ ｌ  Ｎ ｅ ｔｗ ｏ ｒｋ ［ Ｃ ］ ／ ／  ２ ０ ２ ０  Ｉ Ｅ Ｅ Ｅ  Ｆ ｉ ｔｈ Ｉ ｎｔ ｅｒ
ｆ ｎ ａｔ ｉ ｏ ｎ ａ ｌ

Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ｄ ａｔ ａ  Ｓ ｃ
 ｉ ｅ ｎｃ ｅ  ｉ ｎ Ｃ
ｙｂ ｅ ｒ ｓ ｐ ａｃ ｅ（ Ｄ Ｓ Ｃ ） ． Ｉ ＥＥＥ ，
２ ０２ ０ ？ 己  Ｅｌ检 索



６３

