Ｍ  ｒ ／ ％

０
 Ｎ ｏ ｒ ｔ ｈ ｅ ａ ｓｔ ｅ ｒ ｎ
＇

？  ，
］



Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ



硕 士 学 位 论 文


ＴＨＥ Ｓ Ｆ
＇

Ｓ Ｉ Ｏ Ｒ Ｍ Ａ Ｓ ＴＥＲ Ｓ Ｄ Ｅ Ｇ Ｒ Ｅ Ｅ



论 文 题 目 基 于 Ｂ Ｌ Ｓ ＴＭ 和 注 意 力 机 制 的
ｉ
－



人体行 为 识 别 方 法 的 研 究 与 实 现 


作 者 张 森



学 号 １ ６７ １ １ ２２



学 院 部 （ ） 信 息科学 与 工程 学院



专 业 控制 工程



指 导 教 师 潘 峰 副 教授



二 〇 八 年 十二 月


一
分类号  密 级 



ＵＤ Ｃ  



学 位 论 

文

基于 Ｂ ｉ
＿

Ｌ Ｓ ＴＭ 和 注 意 力 机制 的


人体行为 识别 方 法 的 研究 与 实现



作 者 姓 名 ：
张 森



指 导 教 师 ：
潘 峰 副 教授



东 北 大学信 息 科 学 与 工程 学 院

申 请学位级别 ：
硕 士 学 科 类 别 ：
专业学位



学科专业名 称 ：
控制 工程



论文提交 日 期 ： ２０ １ ８ 年 １ ２ 月 论文答辩 日 期 ： ２０ １ ８ 年 １ ２ 

月

学位授 予 日 期 ： ２０ １ ９ 年 １ 月 答辩委 员 会主席 ：

魏 颖

评 阅 人 ：
薛定宇 、 张艳珠

东 北 大 

学

２０ １ ８ 年 １ ２ 

月
Ａ Ｔｈ ｅｓ
 ｉｓｉ ｎＣ ｏ ｎ ｔ ｒｏ ｌ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒｉ ｎ ｇ



Ｈ ｕ ｍ ａ ｎ Ａｃ ｔ  ｉ ｏ ｎ Ｒｅｃ ｏ ｇｎ ｉｔｉ ｏ ｎ Ｍ ｅｔ ｈ ｏ ｄ Ｂ ａ ｓ ｅ ｄ   ｏ ｎ Ｂ ｉ －
Ｌ Ｓ ＴＭ



ａ ｎ ｄ Ａ ｔｔ ｅ ｎ ｔ ｉ ｏ ｎ Ｍｅｃｈ ａ ｎ ｉｓ ｍ

Ｂ ｙ Ｚ ｈａｎ ｇ
 
Ｓ ｅｎ



Ｓ ｕｐ ｅ ｒ ｖ ｉ ｓ ｏ ｒ ：  Ａ ｓ ｓｏｃ ｉ ａｔ ｅ  Ｐ ｒ ｏ ｆｅ ｓ ｓ ｏ ｒ Ｐ ａ ｎ  Ｆ ｅ ｎ ｇ




Ｎ ｏ ｒｔ ｈ ｅ ａ ｓ ｔ ｅ ｒ ｎ  Ｕ ｎ ｉ ｖ ｅ ｒ ｓｉ ｔｙ



Ｄｅｃｅｍｂ ｅｒ  ２０ １ 

８
东 北 大 学 硕 士 学 位 论 文 摘 要



摘 

要

无论 是 商业角 度还是社会角 度上 ， 人体行为识 别 技术在 智 能监控 、 人机交互 、 视频




检索 等领域都有 着 重 要 的 应用 价值 。 在 人体动 作 本 身 具有 高度 复杂 性 、 外界背景干扰 


、

相 机存 在 扰动 等 条件 下 提高人体行为识 别 任务 的 准确 率 成为 个 富 有挑 战 性 的研 究 内


一

容 ， 因 此人体 行为 识 别 算法 的 研 究 有 着 重 要 的 现 实 意 义 。
本文深入研 究 了 人体行为识 别



的 相 关技 术 后 ， 主要工作 如 下 

：

首先 构建 了 种 将 视频 分成若 干段 每 段使用 Ｄ 卷积神经 网 络 的 特征提取方



一 一

， ， ３

法 。
考虑 到传统 的 ３ Ｄ 卷积 神 经 网 络输入连续 帧 图 像是 固 定 的 ， 不 能 充 分表 征 整个视频



动 作 特 征 本 文 首 先 将 视频 分 成 若 干 段 然 后 各 分 段 进 行
， ， ３ Ｄ 卷积神 经 网 络 的 特征 提取 

。

最后 在 ＵＣＦ １ ０ １ 数据 集上进 行测 试 测 试结 果 表 明 分段 的 ， ， ３ Ｄ 卷积 网 络准 确 率 为 ８２ ７． ％ 

，

未加 载预训 练模 型 的 双流 网 络 的 准确 率 为 ８ １ ． ６％ ，
实验表 明 ， 本文 的 分段 ３ Ｄ 卷积 网 络



在 视 频特 征 提 取 上 比 ２ Ｄ 卷积 网 络 效果更好 

。

其次 讨论 了 种 基于 长 短 时 记忆神 经 网 络 Ｌ ｏ ｎｇ  Ｓ ｈ ｏ ｒ ｔ  Ｔ ｅ ｒ ｍ  Ｍ ｅ ｍ ｏ ｒ ｙ Ｌ ＳＴＭ 

学
一

， （ ，
）

习 动 作特征上下文 的方法 针对动 作 时 序信 息 既受到 前文影 响 又受到后文影响这 


问
一

。 ，

题 ，
本文 使用 两 个 Ｌ Ｓ ＴＭ 网 络并联 的方式 ，
分别 对视频特征从前 向 后 和 从后 向 前 处理 

，

可 以 处理上 下 文 的 视频 特征 。 最后在 ＵＣ Ｆ １ ０ １ 数据 集上验证 了 该 模 型 在 人 体 行 为 识 别 任




务上 比单 向 的 Ｌ Ｓ ＴＭ 有 着更好 的 表现 

。

最后 提出 了 种 基 于 注 意 力 机制 的 显 著 性 特 征 提 取 的 方 案 由 于 图 像不 同 区 域具


一

，
。

有不 同 的 重要性 ， 本 文 利 用 基 于输入项 的 软注 意 力 机制 对 特 征 图 像各 像 素 点 分 配不 同 的



权重系数 ，
使得 网 络 更 容 易 学 到 权重较 大 的 区 域 。 各 分 段 视频 的 结 果 融合使用 自 注意力



机制 ， 通过本 身 的 特征序 列 分布 ， 分配各个分段 的 结 果序 列 的 权重 系 数 。 最后本文系 统




在 ＵＣＦ １ ０ １ 测 试集 上 与 几种 主 流 的 人体 行 为 识 别 方 法 比 较 ：
使用 Ｓ ＶＭ 的 双流 网络准确



率为 ８ ８ ０ ． ％ ， ２ Ｄ Ｃ ＮＮ ＋ Ｌ Ｓ Ｔ Ｍ  网 络准 确 率达到 ８ ８ ． ６％ ， 而本文 的  Ｃ ３ Ｄ＋Ｂ ｉ

－

Ｌ Ｓ Ｔ Ｍ ＋ Ａ ｔ ｅ ｎｔ ｏ ｎ

 ｉ

模型 在上 的 准 确率达到 ９ ０ ７％
． ，
结 果表 明 ，
本文提 出 的 系 统方案效 果更佳 。

关键词 ：
人体 行 为 识 别 ；
３ Ｄ 卷积 神 经 网 络 ； 长短 时记忆神经 网 络 ； 注意 力 机制

Ｉ Ｉ


东 北 大 学领士 学 位 论 文 Ａ ｂ ｓ ｔ ｒ ａｃ ｔ



Ａ ｂ ｓ ｔｒ ａ ｃ ｔ

Ｎ ｏ  ｍ ａｔ ｔ ｅ ｒ  ｆｒ ｏ ｍ  ｃ ｏ ｍ ｍ ｅｒｃ ｉ ａｌ  ａｓ
ｐ ｅ ｃ ｔ  ｏ ｒ  ｓ ｏ ｃ ｉ ａｌ  ｐ ｅ ｒ ｓ ｐ ｅ ｃｔ ｖ ｅ ｉ
， ｈ ｕ ｍ ａ ｎ  ｂ ｅ ｈ ａ ｖｉ ｏ ｒ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ 
ｔ


ｅｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ  ｐ ｌ ａ ｙｓ  ａ  ｃ ｒ ｉ
ｔ ｉ ｃ ａ ｌ  ｒ ｏ ｌ ｅ  ｉ ｎ  ｉ ｎ ｔｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ ｍ ｏ ｎ ｉ ｔ ｏ ｒ ｉ
ｎｇ， ｕｍａ ｎ － ｏ ｍｐ
ｕ ｔｅ ｒ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ
ｏ ｎ， ｉｄ ｅｏ
ｒ

ｃ

ｈ ｖ

ｅ ｔｒ ｅ ｖ ａｌ ｔ ｃ ． Ｕ ｄ ｅ ｒ  ｔ ｈ ｅ  ｃ ｏ ｎ ｄ ｉ ｔ ｉ ｏ ｎ ｏ ｆ ｈ ｉ ｇ ｈ  ｃ ｏ ｍ ｐ ｌ ｅ ｘ ｉ ｔ ｙ
ｉ ，
ｅ
ｎ  ｏ
ｆ  ｈ ｕ ｍ ａｎ  ｂ ｏ ｄ ｙ  ｍ ｏ ｔ ｉ ｏ ｎ ， ｅ ｘ ｅ ｒ ｎ ａ ｌ 
 ｂ ａｃｋ ｔ

ｇ ｒｏ ｕ ｎ ｄ  ｉ ｎ ｔ ｅ ｒ ｆ ｅ ｒ ｅ ｎｃ ｅ ，ｃ ａ ｍ ｒ ａ  ｄ ｉｓ ｔ ｕ ｒ ｂ ａ ｎ ｃ ｅ， ｅ ｔ ｃ ． ｉ ｔ  ｉ ｅ ，
ｓ
 ａ ｃ ｈ ａ ｌ ｌ ｅ ｎ ｇ ｉ ｎ ｇ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｃ ｏ ｎ ｔ ｅ ｎ ｔ  ｔ ｏ  ｉ ｍ ｐ ｒ ｏ
ｅ
ｖ

 ｔ ｈ ｅ  ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ  ｏ ｆ  ｈ ｕ ｍ ａ ｎ  ｅ ｈ ａ ｖ ｉ ｏ ｒ  ｒ ｅｃ ｇ ｎ ｉ ｔ ｉ ｏ ｎ  ｔ ａｓ ｋ ． Ｔ ｈ ｅ ｒ ｅ ｆ ｂ ｏ ｏ ｒ ｅ ， ｔ ｈ ｅ ｒ ｅ ｓ ｅ ａ
ｒ ｃ ｈ  ｏ ｎ  ｈ ｕ ｍ ａ ｎ   ｂ ｅ ｈ ａｖ ｉ ｏ

ｒ

ｒ ｅ ｃ ｏｇ ｎ ｉ ｔ ｉ ｏ ｎ  ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ  ｇ ａ ｉ ｎ ｓ  ｉｍ ｐ ｏ ｒ ｔ ａ ｎ ｔ  ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌ ｓ ｉｇ ｎ ｉ ｆ ｉ ｃ ａ ｎ ｃ ｅ ． Ａ ｆ ｔ ｅ ｒ  ｔ ｈ ｏ ｒ ｏ ｕ ｇ ｈ ｌ ｙ   ｓ ｔｕ ｄ ｙ ｉ ｎ ｇ
ｔ


ｈ ｅ ｒ
ｅｌａｔ ｅ
ｄ ｔ ｅ ｃ ｈ ｎ ｏｌ ｏ ｇ ｉ ｅ ｓ  ｏ ｎ  ｈ ｕ
ｍ ａ ｎ  ｂ ｅ ｈ ａ ｖｉｏ ｒ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ， ｆ ｏ
ｌ ｌ ｏ ｗ ｉ ｎｇ  ｊ
ｏｂ ｓ  ｗ ｅ ｒ ｅ  ｄ ｏ
ｎ ｅ ：   Ｆ ｉ ｒ ｓ ｔ ｏ ｆ ｌ
ａ


ｌ ， ｔｈｉ ｓ  ｔ ｈ ｅ ｓ ｉ  ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｓ  ａ  ｆ ｅ ａ ｔ ｕ ｒ ｅ  ｅ ｘ ｔ ｒ ａｃ ｔｉ ｏ ｎ  ｍ ｅ ｔ ｈ ｏ ｄ  ｔ ｈ ａ ｔ  ｄ ｉ ｖ ｉ ｄ ｅ ｓ  ｔ ｈｅ  ｖ ｉ ｄ ｅ ｏ  ｉ ｎ ｔ ｏ   ｓ ｅ ｖ ｅ ｒ ａ ｌ  ｓ ｅ
ｓ
ｍ
ｇ

ｅ ｎ ｔ ｓ ｉｎ  ｗ ｈ
ｉ ｃ ｈ ３ Ｄ  ｃ ｏ ｖｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ  ｎ ｅ ｕ ａｌ ｎ ｅｔ
ｎ ｒ  ｗｏ ｒ ｋ  ｉ ｓ  ａ ｐ ｐ ｌ ｉｅ ｄ ｔ ｏ  ｅ ｘｔｒ ａ ｃ ｔ  ｔ ｅ ｍ ｐ ｏ ｒ ａ ｌ  ａ ｎ ｄ  ｓ ｐ ａ ｔ ｉ ａ ｌ  ｉｎ
ｏ
ｆ

ｒ
ｍ ａｔ ｉ ｏ ｎ  ｆ ｅａｔ ｕ ｒ ｅｓ  ｓ ｉ ｍ ｕｌ ｔａ ｎ ｅ ｏ ｕ ｓ ｌ ｙ ． Ｃ ｏ ｎ ｓ ｉ ｄ ｅ ｒ ｉ ｎ ｇ  ｔ ｈ ａ ｔ  ｈｅ 
ｔ ｒａ ｔ
ｄ
ｉ ｔ ｉｏ ｎ ａ ｌ  ３ Ｄ  ｃｏ ｎ ｖｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ  ｎｅ ｕ ａｌ ｎ ｅ ｔ ｗｏｒ ｒ 

ｋ  ｉ ｎ ｐ ｕ ｔ  ｃ ｏ ｎ ｔ ｉｎ ｕ ｕｓ ｆ ｒ ａ ｍ ｅ ｏ ｉ ｍａ ｇ ｅ  ｉ ｓ
 ｆ ｉ ｘ ｅ ｄ ， ａｎ ｄ  ｉ ｔ  ｃ
ａ ｎ  ｎ ｔ  ｆ ｕ ｌ ｌ ｙ  ｃ ｈ ａ ｒ ａｃ ｔ ｅ ｒ ｉ ｚ ｅ  ｔ ｈ ｅ   ｗｈ ｏ ｌ ｅ
 ｖｉ ｄ ｅ ｏ 
ｏ
ｍ ｏ

ｔ ｉ ｏ ｎ  ｆ ｅ ａ ｔ ｕ ｒ ｅ ， ｓ ｏ  ｔ ｈ ｅ ｔ ｈｅ ｓ ｉ ｓ  ｆ ｉ ｒ ｓ ｔ ｄ ｉ ｖｉｄ ｅ ｓ  ｔ ｈ
ｅ  ｖ ｉ ｄ ｅ ｏ  ｉ ｎ ｔ ｏ  ｓ ｅ ｖ ｅ ｒ ａ ｌ  ｓ ｅ ｇ ｍ ｅ ｎ ｔ ｓ ， ｔ ｈ ｅｎ   ｐ ｅ ｒ ｆ ｏ ｒ ｍ ｓ  ３ Ｄ  ｃ ｏ
ｖ
ｎ

ｏ ｌ ｕ ｔｉ ｏ ｎ ａ ｌ  ｎ ｅ ｕ ｒ ａｌ  ｎ ｅｔ ｗ ｏ ｒ ｋ  ｆ ｅ ａ ｔ ｕ ｒ ｅ  ｅ ｘ ｔ ｒ ａ ｃｔ ｉ ｏｎ ．Ａ ｎ ｄ  ｆ ｉ ｎ ａ ｌ ｌ ｙ  ｔ ｅ ｓ ｔ ｓ  ｉｔ ｗ
ｉ ｔｈ  Ｕ
Ｃ Ｆ
１０ １ ａ ｓ  ｔ ｈｅ ｔ ｅ ｓｔ ｓ ｅ Ｉ
．
ｔ

ｔ ｔ ｕ ｒｎ ｓ ｏ ｕｔ  ｔ ｈａ  ｔ ｈ ｅ ａ ｔ ｃ ｕ ａ ｃｙ ｒ  ｏ ｆ ｔ ｈ ｅ  ｓ ｇｍ ｅ ｎ ｔ ｅ ｄ  Ｄ  ｏ ｎ ｖ
ｅ
３
ｃ ｏ ｌｕ
ｔｉ ｏ ｎｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｉｓ  ８ ２． ７ ％ ，  ａ ｎ ｄ  ｔ ｈ  ｅ  ａｃｃ ｕ ａｃ ｒ
ｏ

ｙ

ｆ  ｔ ｈ ｅ  ｔ ｗ ｏ － ｓ ｔ ｒ ｅａ
ｍ ｎ ｅ ｔｗｏｒｋｗ ｉ
ｔ

ｈ ｏ ｕ ｔ  ｔ ｈｅ  ｐ ｒｅ － ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ ｍ ｏ ｄ ｅ ｌ  ｉ ｓ


８ １ ．６ ％．   Ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ｓ  ｓ ｈ ｏ ｔ

ｗ

ｈ ａ ｔ  ｔ ｈ ｅ  ｓｅ ｇ ｍ ｅｎｔｅ ｄ  ３ Ｄ ｏ ｎ ｖ ｃ ｏｌ ｕ ｔｉ ｏ ｎ ａｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｃ ｏ ｍ ｅ ｓ  ｕｐ  ｎ  ｔ ｈ ｉ ｓ  ｈ ｅ ｓ ｉ ｓ ｉ ｓ  ｂ ｅ ｉ ｔ  ｔ ｔ ｅｒ   ｔ ｈａ ｎ  ２ Ｄ ｃｏ ｎ ｖｏ
ｌｕ ｔ
ｏ
ｉ

ｎ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒｋｉ ｎ ｖ ｉ ｄ ｅ ｏ  ｆ ｅ ａ ｔ ｕ ｒ ｅ ｅ ｘ ｔ ａ ｃ ｔ ｉ ｏ ｎ ． Ｓ ｅ ｃ ｏ ｎ ｄ ｌ ｙ ， ａ ｍ ｅ ｔ ｈ ｒ 
ｄ
ｏ

ｂ ａ ｓ ｅｄ ｏ ｎ 
Ｌ ｏ ｎ ｇ Ｓ ｈ ｏ ｒ ｔ Ｔ ｅ ｒ ｍ  Ｍ ｅ ｍ ｏ ｒ ｙ  （ Ｌ Ｓ Ｔ
Ｍ ）  ｔ ｏ ｌ ｅ ａ ｒ ｎ ｍ ｏ ｔ ｉ ｏ ｎ  ｆｅ
ａ ｔ ｕ ｅ   ｃ ｏ ｎ ｔ ｅ ｘ ｔ  ｉ ｓ ｄｉ ｓ ｃ ｕ
ｒ ｓ

ｅ ｄ ．Ｔ ｈ ｅ  ａ ｃ ｔ ｉ ｏ ｎ  ｔ ｅ ｍ ｐ ｏ ｒ ｌ  ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ  ｉ ａ

ｓ  ａｆ ｆ ｅ ｃ ｔ ｅｄ  ｂ ｙ ｔ ｈ ｅ  ｏ ｎ ｔ ｅ ｘｔ ． Ｔ ｗ ｏ  Ｌ Ｓ Ｔ Ｍ   ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ
ｃ  ａ ｒ ｅ ｕ ｓ ｅ ｄ 
ｎ
ｉ

 ｐ ａ ｒ ａ ｌｌ ｅ ｌ  ｔ ｏ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ  ｔ ｈ ｅ  ｖ ｉ ｄ ｅ ｏ  ｆ
ｅａ
ｔ ｕ ｒ ｅ ｓ  ｆ ｒ ｏ ｍ  ｆ ｒ ｏ ｎ ｔ  ｔｏ ｂ ａ ｃ ｋ  ａ ｄ ｂ ａ ｃ
ｎ ｋ  ｔｏ   ｆ ｏ ｒｗ ａ ｒ ｄ ， ｓｏ  ｔ ｈａ ｔ  ｔ ｈ

ｅ

ｖｉ ｄ ｅ ｏ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｏ ｆ  ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｅｘ ｔ ｃ ａｎ  ｂ ｅ 
 ｐ ｒ ｏ ｃ ｅ ｓ ｓｅｄ ． Ｔ ｈ ｅ ｎ  ｔ ｈ ｅ  ｐ ｒ ｏ ｇ ｒ ａ ｍ  ｖ ｅ ｒ ｉ ｆ ｉ ｅ ｄ   ｏ ｎ ｔｈｅ Ｕ ＣＦ ０ １ 
ｄ ａ ａｓ
ｔ
ｅ 
１ ｔ

ｔ ｈ ａ ｔ ｔ ｈｅ ｍ ｏ ｄｅ ｌ ｈ ａ ｓ  ｂ ｅ ｔ ｔ ｅｒ  ｐ ｅ ｒ ｏ ｒ ｍ ａ ｎ ｅ ｔ ａ ｎ
ｆ ｔ ｈ ｅ ｏ ｎ ｅ －ｗ ａ ｙ  Ｌ Ｓ Ｔ
ｃ ｈ

Ｍ  ｉｎ ｈ ｕ ｍ ａ   ｂ ｈ ａｖｎ
ｅ

ｉ
ｏ ｒ ｒ ｅ ｃ ｏ ｎ ｉｔ ｉ ｏ
ｇ 
ｎ

ｔ ａ ｓ ｋｓ ．   Ｆ ｉｎａ ｌ
ｌｙ ， ａ  ｓ ｃ ｈｅ ｍｅ  ｆ 
ｒ
ｏ

ｅ ｔｒ
ｘ ａ ｃ
ｔ ｎ ｇ  ｓ ｉ ｇ ｎ ｉｆ ｉ ｃａ ｎ ｔ  ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ  ｂ ａ ｅ ｄ  ｏ ｎ ａ ｔｔ ｅ ｎｔ ｉｏ ｎ  ｍ ｅ ｃ ｈ ａｎ ｉ ｓ ｍ ｉ ｓ  ｐ ｒ ｏ ｐ ｓ ｅｄ ． Ｂ ｅ ｃ ａ ｕ ｓ ｅ  ｄ
ｉ
ｓ ｏ ｉ ｅ
ｆ

ｒｅｎｔ ｒｅｇ ｉ ｏ ｎ ｓ  ｏｆ  ｔ ｅ ｈ  ｉ ｍａ ｇ ｅ ｈ ａ ｖｅ
 ｉ ｆｆ ｅ ｒ ｅ
ｄ ｔ ｉ ｍ ｐ ｏ ｒ
ｔ ａ ｎ ｃ ｅ， ｔ ｈ ｉ ｓ ｔｈ ｅ ｓ ｉ ｓ  ｕ ｓ ｅ ｓ  ｔ ｈ ｅ   ａ ｔ
ｔ ｅｎ ｔ ｉ ｏ ｎ  ｍ ｅ ｃｈａｎ ｉ ｓ ｍ  ｔｏ
ａ


ｓｓ ｉ ｇ ｎ  ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ  ｗ ｅ ｉ ｇ ｈ ｔ  ｃ ｏ ｅ ｆ
ｆ ｉ ｃ ｉ ｅ ｎ ｔｓ  ｔ ｏ ｅ ａ ｃ 
ｐ ｉ ｘ ｅ ｌ  ｏ ｆ ｔ ｈ ｅ  ｆ ｅ ａ ｔ ｕ ｒ ｅ  ｉ ｍ ａ ｇ ｅ ，   ｗ ｈ ｉ  ｍ ａ ｋｅ ｓ  ｉ ｔ  ｅ ａ ｓ ｉ
ｅｒ
ｈ ｃ ｈ
ｏ
ｆ


ｒ ｔ ｈ ｅ ｎ ｅ ｔ ｗ ｏ  ｒ ｋｔ ｏ  ｌ ｅ ａ ｒ ｔ ｈ ｎ ｅ  ｒ ｅ ｉ ｏ ｎ  ｗ ｉｔ
ｇ ｈ ｌａ ｒ ｇ ｅｒ  ｗ ｅ ｉｇ ｈ ｔ．
Ｔ ｈ ｅ ｅ ｒ ｓ ｕ ｌ ｔｓ ｏ ｆ  ｅ ａ ｃ ｈ ｖ ｉ  ｄ ｅ ｏ ａ ｒｅ  ｆ ｕ ｓ ｅ ｄ  ｕ ｓ ｎ ｇ ａ
ｓ
 ｉ

ｅ ｆ － ａ ｔ ｔｅ ｎ ｔ ｉ ｏ ｎ  ｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ  ｔ ｏ  ａ ｓｉ ｇ ｎ  ｗ ｉ ｇ ｈ ｔ  ｃ ｏ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ｓ  ｆ ｒ  ｅ ａ ｃ ｈ  ｒ ｅ ｓ ｕ ｌ ｔ   ｓ ｅ ｕ ｅ ｎ ｃ ｅ ｔ ｈ ｒ ｏ ｕ ｇ ｈ  ｉ ｔ ｓ  ｏ ｗ
ｌ
ｓ

ｅ 
ｎ ｏ ｑ

ｃｈ
ａ ｒ ａｃ ｔ ｅ
ｏ ｎ．Ｔ ｈ ｅ  ｓ ｙ ｓ ｔ ｅ ｍ  ｃ ｏ ｍ ｐ ａｒ
ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ  ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｅ ｓｗ ｉ ｔ ｈ

ｉ ｌ ｌ


东 北 大 学 硕 士 学 位 论 文 Ａ ｂｓ ｔ ｒ ａｃ ｔ



ｓ ｅ ｖ ｅ ｒ ａ ｌ  ｍ ａ ｉ ｎ ｓ ｔ ｒ ｅ ａ ｍ  ｈｕ ｍ ａ ｎ  ｂ ｅ ｈ ａｖ ｉ ｏ ｒ  ｒ ｅ ｃ ｏ
ｇｎ ｉ
ｔｉ ｏ ｎ ｍ ｅ ｔ ｈｏ ｄ ｓ  ｏ ｎ
  ｔ ｈｅ  ＵＣＦ １ ０ １  ｔｅ ｓｔ  ｓ ｅ ｔ ： ｔｈ ｅ  ａ ｃｃ ｕ ｒ ａ ｃｙ 
ｏ


ｆ ｔ ｗｏ－
ｓ

ｔ ｒ ｅａ ｍ  ｎ ｅｔ ｗ ｏ ｒ ｋ  ｕ ｓ ｉ ｎ ｇ Ｓ Ｖ Ｍ  ｉ ｓ  ８ ８ ． ％ ， ０

ａ ｎ ｄ  ｔ ｈ ｅ  ａ ｃ ｃｕ ｒ ａ ｃ ｙ ｏ ｆ  ２ Ｄ Ｃ Ｎ Ｎ ＋ Ｌ Ｓ Ｔ Ｍ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｉ ｓ ８


，ａ  Ｃ３ Ｄ ＋ Ｂ ｉ－Ｌ Ｍ ＋ Ａ ｔｔ ｎｔ ｄｅ ｌ  ｉ ｎ  ｔ ｈ ｉ ｓ ｈｅ ｓ ｉ ｓ ９０． ７％． Ｔ ｅ ｓ ｕｌ ｓ  ｓ ｈ ｏｗ  ｔ ｈ ａ ｔ  ｔ ｈ ｅ  ｐ ｒ ｏ ｐ

ｅ

．６ ｉ ｏ ｎ ｍ ｏ ｓ
ｏ
Ｔ

％ Ｓ  ｔ ｉｓ  ｈ ｒ ｅ ｔ
ｎ ｄ

ｅｄ  ｓ ｙ ｓ ｔ ｅ ｍ  ｉ ｓ  ｂｅ ｔ ｔ ｅ ｒ ．

Ｋｅｙ  ｗ ｏ ｒｄ ｓ ：  Ｈ ｕ ｍ ａ ｎ  ａｃ ｔ ｉ ｏ ｎ  ｒｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ  ３ Ｄ  ｃ ｏ ｎｖ ｏ ｌ ｕｔ ｉ ｏ ｎ ａ ｌ  ｎ ｅ ｕ ｒａ ｌ  ｎｅ ｔ ｗｏ ｒｋ  Ｌ Ｓ Ｔ Ｍ  ａｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ
；

 ； ；

ｍ ｅ ｃ ｈａ ｎｉ ｓ ｍ

Ｉ 

Ｖ
东 北 大 学硕士 学位论文

０
￡ 

＿

目 

录

独创 性声 明  
Ⅰ
＃

 中文摘 要 ＃

Ⅱ

Ａ ｂ ｓｔ ｒ ａｃ ｔ ＃ Ⅲ



第 １ 章  绪 论 １
＃


  １ ．１ 选题背 景 及 研 究 
义
意

＃ １   １ ．１．１  背
题
选

景  ＃ １  １． １． ２ 课 题 研 义
意
究

与 目 的  ＃ ２ １． ２ 内
国


外 研 究 现状  ＃ ２   １． ３  本课 题 究
研
的

内 容 与 章 节 安排 ＃ ６   ３
．
１

． １  要 主
研究内容 ＃６ １ ３
．

２  论 文结构 和 章节 安 排＃７  ２
第


章  视 频行为 特 征 的 分 取
提
段

 ＃ ９   ２．１卷积 神 络
网
经

 ＃ ９   ２．１．１卷积 运 算 
绍
介

＃  ９ ２ ． １ ． ２  卷 积 神 经 网络 结 构 ＃１３   ．
２

 于 基 ３ Ｄ卷积 神 经网络 的 视 频 分
征
特

段 取 ＃１ ５ 
提 
２． ２ ． １ ３ Ｄ 卷 绍
介
积

 １６
＃  ２．２． ２  ３ Ｄ 卷积 神经 网 络 
构
结

＃ ７ １   ２ ． ３３Ｄ 卷积神经网 络 的 与
果
结

分  １９  
析 ＃ ２．３． １ 常 用 数 据 库 和视
预
频

处  １
理 ＃
９２ ． ３．

２

３ 卷积Ｄ
神 经 网络
６
小
４
析
分
果
结
３
．


２
＃

练
训
型
模



Ｖ
东 北 大 学 硕士 学位论 文




第 ３ 章 各段行 为特 征 的上 下 文 关 系 学 习 ＃
９
２

  ３ ．１ 循 环 神 经 网络
＃


２ ９   ３ ．１． １  循环神 经 网络
绍
介

 ＃ ２ ９  ３．１ ． ２循 环 神 络
网
经

结 构  ＃ ３ １ ３ ． １ ． ３  循环 神 经网
的
络

前 向 传 播  ＃３２   ３ ． １ ． ４ 循 环神
网
经

络 的 后 向 传 播＃ ３ ３   ３．１ ． ５  循环
经
神

网 中 络
的梯 度 消
失

 ＃３４  ３．２ 基 于 Ｂ ｉ－
Ｓ
Ｌ

Ｔ Ｍ 的 上 下文 关 系 学习＃ ３５  ３
２
．

．  ＳＴ Ｍ 的
１ Ｌ
结

构  ＃３６  ３ ． ２．

２

Ｂ ｉ － ＳＴＬ
Ｍ的 建 立  ＃３ ９ ３ ．２ ． ３
级
层

Ｄ ｏｐｏ ｕ
ｒ
ｔ

算 法 ＃４０  ３ ． ３
ｉ
Ｂ

－ ＳＴＭ
Ｌ
效 果 分析
＃


４ ２   ３ ．４  小结  ＃ ４７   第 ４ 章
合
融

注 意 力 机 制 的 人体 行 为 识 别  ＃４

９

 ４ ． １  注 意 力 机制 算 法  ＃４

９

 ４ ． １ ． １  注 意力 机 制 简 介  ＃ ４９



４ １ ．
． ２  注 意 力 机 制 的 结 构 原理  ＃ ５ ０
４


．  ２ 基 于 注意 力 机 制 的 显著 性 特 征 提 取 ＃５ ３ 
．
４

２ １ 基
．  于软 注 意力 机 制的 图 像 显 著性 表 达
５
＃

４  
４．２ ．２  基 于 自注
力
意

机 的 制
结果 融 合 ＃ ５ ６  ４．

３

实 结 验 果 与 分析
＃


５ ７   ４． ４  深 度学
框
习

架 的 选 择＃ ６ ３ 
．
４

５  小 结 ＃ ６４  第
章
５

总 结和 展 望
７
献
文
考
参
望
展
与
题
问
２
结
总
作
工
１
．


５
６
＃

Ｖ 

Ｉ
东 北大 学 硕 士 学 位 论 文 目 

录

致 谢  １
７
＃

Ｖ Ｉ Ｉ


东 北 大学 硕士 学 位 论 文 第 １
章 绪论



第 １
章 绪 论



本章 从宏 观 角 度 介 绍本文研 宄 内 容 的 意 义 与 背 景 ， 介绍 国 内 外主 流 的 人体行为识别



技术 方法 ， 以 及 时 下 流 行 的 深 度 学 习 技 术 和 针 对 人 体 行 为 识 别 任 务 的 改进 。 在本章 的最



后 ， 介 绍 了 本 文 的 主 要研 究 内 容和 章 节 安 排 

。

１ ． １ 选 题 背景及研究意义



１ ． １ ． １ 选题背景



年冯 诺依曼和 他 的 现代计算机 问 世 以 来 人们 逐渐 发 现 在 些重 复计 算


一

自 ９４６
？

１ ， ，

的 事情上 ， 计 算 机做 得 比 人好 得 多 。 而 关 于 让计 算 机根据 传 感 器 数据 理 解 人 类动 作 则 伴



随 了 整 个 计 算 机视 觉 的 发 展 史 ，
其 中 基于 计 算机视觉 的 人体行 为 识 别 的 研 宄尤为重要 

。

因 为 在 人 与 人 交流 的 过程 中 ，
视觉信 息 是第
一

时 间 接收到 的 。 通过对方 的 姿 态 、 面 部动



作和 手势 等 ， 可 以 帮助 人们 获得对方 的 情 感或者 意 图 。 在 大数据 时代 中 ， 处理人机交互




或者视频监控情 况 中 ， 如 果 试 图 通过 人 工 的 方 式来 鉴 别 ，
完成对全部任务 的遍 历 是 不 可



能的 ， 它 需要 消 耗大量 的 人力 物 力 资源 。 因此 ， 基于计算机视觉 的 人体 行 为识 别 技术 的



研 宂正 在逐渐 获得更 多 学者 的 关注 

。

１ ９ 世纪 ７０ 年代 ， Ｍ ａｒｅｙ 等学者最早开始 了 人体行为识别 技术 的 研 究Ｗ ，

但 是 限于计



算机水平低 下 ，
没有 获得 更 多 的 关注 。 上世纪 ８０ 年代开始 ， 反向 传播算法 （ 即 Ｂ ａｃ ｋ



算法 简称 多 层 感知器 的 出 现 以 及各种


２］
Ｍｕ
３
Ｐ ｒｏ ｐ ａｇ ａｔ ｏ ｎ ｉ ， Ｂ Ｐ ） ［
， （ ｌ ｔｉ ｌ ａｙ ｅ ｒ Ｐ ｅ ｒ ｃｅ ｐ ｔ ｉ ｏ ｎ ） 
［ ］

Ｗ
基于传 统 的 机器 学 习 的 模 型 陆 续 问 世 ，
例如 Ｂ ｏ ｏ ｓｔ
ｉ ｎｇ 、 最大熵法 ％ 支 持 向 量机Ｗ等 

。

机器学 习 算法使得人体 行为识 别 的 传统特征融合和 分类效果达 到 了 个高度 也使得学



一

者 们 开始 更 多 地 关注 人体 行 为 识 别 技术 的 研 宄 。 １ ９８ ５ 年 ， 多伦多 大学 的 Ｈ ｉ ｎｔ
ｏｎ 教授 提



深层神经 网 络 的 思想 而 后 又应 用 了 卷积 神 经 网 络
７］
出了 ［

， （ Ｃ ｏ ｎｖ ｏ ｌ ｕｔ ｉ ｏ ｎ  Ｎ ｅ ｕｒａ Ｎ ｅｔｗ ｏ ｒｋ
ｌ


＾

即 Ｃ ＮＮ ） 尤其 是 卷积神 经 网 络 的 提 出 ，
使得深度学 习 技术在 自 然语 言 处理 、 计 算机


视 觉 语 音 识 别 与 合 成 等 领域 取 得 了 重 要 进 展 人 体 行 为 识 别 研 究 进 入 了 个新 的 高度
一

、 ， 

。

进入 ２ １ 世纪 ， 国 际顶尖学府 、 微软研 究 院 、 谷歌研 究 院等Ｐ 多 家机构 在 人体动 作识别领


 １

域展 开 了 更 加 深 入 研 宄 在 工 业 方 面 人 体 行 为 识 别 技 术 也 己 经 进 入 了 普遍 应 用 的 阶段 。 ， 

，

尤 其 在 ＡＲ 交 互 、 视 频 监控 、 视频检 索 等 领域 。 随 着 人工 智 能 与 人体 行 为识 别 技术越来



－ 

－

１ 
东 北 大 学 硕士 学位论文 第 １
章 绪论




越紧密 的 结合 ， 人 体 行 为 识 别 技 术 的 研 究 会 成 为计 算 机视觉 领 域 中 更加 热 门 的 研 究方 向



之
一



。

１ ． １ ． ２ 课 题研 究意 义 与 目 的



人体行 为 识 别 是指 对 人 体行 为进行分 析和 分类 ，
涉及 图 像处理 、 深度 学 习 、
机器学



习 等 多 个学 科领域 ， 在工业场景 中 ，
广泛应用 于 ＡＲ 交互 、
智 能监控 、 行 为捕获 分析 等



领域 ［
】 ０】


。

在 体感交 互 方 面 ，
手势 识 别 不 需 要使 用 键盘或 鼠 标 等 外 部 设 备 就可 以 理解 用 户 的 意



图 ，
实现人与 设备 的 交互 。 ＶＲ 游 戏 的 本 质 就 是 人体 行 为 识 别 ， 通过视 频 行 为 获 取用 户



动作 ， 了 解用 户 意 图 

。

在 安 全监控方面 ， 学校 、 超市 、 广 场 等 大 型 公 共 场 所 需 要 对 人群 进 行 监 控 和 分析 

。

传 统 的 视频监控 使 用 人工 监控 ， 在流量少 的 情 况下 ， 人工 监控 成 为 主 要 的 监 控手段 。 


然

而 ， 在人 口 密度高 、 流动 量大 的 地方 ，
效 果 并 没有 机器监控 的 效率 高 ， 人工监测 需要 大



量 的 人力 ， 人 体 的 注 意 力 会 随 着 时 间 的 推 移 而 减少 。 现在 常 用 的 是手段是利 用 人类 行 为


识别技术 自 动 识 别 视频 中 的 异 常行 为 ， 实现智 能监控 

。

在 行为捕 获和 行为搜索 方 面 ，
例 如 百 度 的 百度识 图 ， 视频检索 需要 识 别 人 的 行为 

，

提 取 要 检 索 的 视 频 的 特 征 计 算 视 频 库 中 的 相 似度 ， 匹 配 视 频 库 中 的 视频 ， 以 达到 分类 

目

的 。 行 为 捕 获技 术 在 互 联 网 搜 索 引 擎 中 被 广 泛 使 用 

。

目 前 人体 行 为 识 别 技术 已 取得 很好进 展 ，
但 也 存 在 着 如 何 提髙 复 杂 和 有 遮挡 动 作 识



别率 、 如 何 降低 视频 编 码 空 间 和 提高 图 像运算 速度 、 如 何 适 应 低 质 量 和 多 噪 声 的 视频 行



为识别 等 系列 问题
一



。

深度 学 习 算法在 图 像处理 、 文 本处理和 语音识别 方面得 到 了 广泛应用 ， 并取得 了 良




好效果 。 对于深度学习 中 序列模型 问 题 ， 涉 及 到 对 序 列 数据 的 底 层 知 识 信 息 提 取 和 序 列




关系 的 学 习 直 以 来 都 是 相 关 领域 的 研 究 重 点 和 难 点 因此 本课题 的 研 究具有重要


一

， 。 ，

的 理论价值 

。

１ ． ２ 国 内 外研究现状




＞

人体 行 为识别 在 现实生 活 中 应 用 广泛 成为 国 内 外研 宄机构和 高校 的研 宄热 点 之

一

， 

。

传 统 的 人体 行 为识 别 方法 主 要 使 用 人 工 提取 行为特征 再 利 用 分类 模 型 得 到 最终 的 结 果 

，

而 使用 深度 学 习 的算法可 以 自 动 学 习 并 获 取有 意 义 的 高层 特征 表达 ，
并对不 同 的 视频特



征进 行 分类 。
对 于 复 杂 动 作 或者 多 人参 与 动 作 的 数据 集 ， 视频 中 存在 大量动 作 ， 使得 提


－

２ 

－
东 北 大 学 硕 士 学 位 论 文 第 １
章 绪论



取有 意 义 的 特征表达变 得 困 难 如 何 能 有 效提取视频行 为特征 直是 国 内 外 学者 的研



一

。 ，

宄重点 

。

传 统方法主要 是 人工提 取特 征 ，
并建立起特征 分 类 的 模 型 ， 进而识 别 人体行 为 。 

按

照 表示方法 上 分为整 体 表示 方法和 局 部 表示 方 法 


。

整体 表示 方法 是 指整体分析 个人体动 作 将 人体完整 动作 作 为 个整体

１

Ｂｏｂ
一 一 Ｉ

ｃｋ
［ 

］
， 。 ｉ

提出 了 运动 能量 图 像 （ ＭＥ Ｉ ） 和 运动 历 史 图 像 （ ＭＨ Ｉ ） 来 表示视频特征 信 息 ， 其中 ， ＭＥ 

Ｉ

表示运动 图 像如 何移动 表示每个像素 点 的 时 间 历史 的 函 数 等人

２
ＭＨ Ｗｅ Ｄ
１

ｎ ａｎ ｄ
［ 

』

， Ｉ 。 ｉ ｌ

通 过 时 空体积 代 表 ＭＨ Ｉ ，
并使用 三 维 体积 的 扩展 增 加 了 拍 摄角 度变 化 的 鲁棒 性 。 Ｙ ｉ ｌ ｍ ａｚ



等人 使用 时 空体积 的不 同 特性来确定 行为 是 沿 时 间 轴 叠 加 物体轮廓



３
Ａ ＳＴ Ｖ Ｓ ＴＶ
１
ｔ ］

（ ） ，

建立起来 的 。 由 于缺 乏主体的外观和时 间 信 息 ， 整体 方法 的 方 式过于模板 ， 不 能有效捕




捉行为视点 ［
１ ４
］


。

相 比 于 整体表示法 ，
传 统 方 法 中 的 局 部表示法 有 更 好 的 效 果 。 区 域表 示 法是 指 视频



中 使 用 局 部 区 域来表 征人体 行 为 信 息 。 局 部特 征 表 征 视频信 息 主 要 步骤 ：

首先检测 出 视



频 中 运动 像素 点 位置 ，
然 后 在 运动 区 域 中 获取 有 效 的 描 述子 

。

在运动 区 域检测 方面 ， Ｌ ａｐｔｅ ｖ 等人 ［

１ ５
］

将 Ｈ ａｒｒ ｉ ｓ 角 点探测 ［
１ ６ ］

扩展到 ３ Ｄ 空间 ， ３ Ｄ Ｈ ａｒｒ
 ｉｓ


探 测 器 能 够 在 大 空 间 变化 下 和 不 稳 定 运动 下 发 挥 作 用 。 Ｌ ｕＪ
ｉ 等 人Ｍ 提 出 利 用 兴趣 点 的

 ｌ

统计属 性 裁剪 无 意 义 的 特征 

。

在局 部描述子提取方面 ，
获取兴趣点 区 域后 ，
需 要 对局 部 区 域形 成描 述符表示 行 为



信息 Ｋ 等人
７］
基于 方 向 直方 图 ＨｏＧ 
８

提 出 梯度方 向 直方 图 ＨｏＧ３ Ｄ 作为


１ １

ａｓ ｅｒ
［ ［ 】

。 ｌ （ ） ， （ ）

运动 描述符 等人
９
将局 部 区域 的 光流直方 图 ＨｏＦ 当做时 空信 息描述符 Ｄａ
１

。 Ｌ ａｐｔ ｅ ｖ ［ 】

（ ） ， ｌ ａ ｉ

等人 ［
２Ｇ 】

提 出 运动边 界 直方 图 （ ＭＢ Ｈ ） 扩 展 了 Ｈ ｏ Ｆ 的 鲁 棒 性 。 轨 迹 是 随 着 时 间 推移 而 正



确 追踪 的 特征 并逐渐应用 于 行 为识 别 等人 和 等人 首次提 出
４］
Ｍｅ ｓ ｓ Ｍａ 

１

ｎｇ ｋａ ｎｅ ｎ
［
， 。 ｉ ｔｉ ｉ

轨迹提取局 部特征 ， 使用 轨迹速度作 为 局 部特征 。 Ｍｅｓｓ ｉ ｎｇ 等人 使用 ３ Ｄ Ｈ ａｒｒ

ｉｓ  角 点检



测 兴趣点 然后使用 跟踪 器 对运动 区 域兴趣 点 生成轨迹 等人 


使
２２］ ４
ＫＬ Ｔ Ｍａ
１

ｋａ ｎｅ ｎ
［ ［ 】

， 。 ｔｉ ｉ

用 ＫＬＴ 跟 踪 器 提 取 轨 迹 特 征 ，
再 将特征 聚 类 ； 计 算 仿射变换矩 阵 是利 用 各 个 聚 类 中 心



点 ，
最 后 计 算得 到 的 仿 射 变换矩 阵 中 元 素 表示轨迹 。 Ｂ ｒｅ ｇｏ ｎｚ ｏ ｉ 等人 同 时使用 ＳＩ ＦＴ 

描

述子和 ＫＬ Ｔ 跟踪 器提取特征轨迹 ，
可 以 抓取 视频 中 细 微动 作 

。

在局部描述符 的 聚合方面 ，
从视频 中 获取 局 部特征 后 ，
需要 对特征进行 固 定 长度 的



处理 才能作为模型 的输入 等人 提出 词袋 中 局 部描述子 分布



７ ９ ２４ ２ ５
＿

Ｄｏ Ｂｏｖ
｜ ｜
、

ａｒ Ｐ
，
［ １

， 。 ｌ ｌ （ ）

作为描述符 最近 种 更好的编码描述方式 ＦＶ（ Ｆ Ｖ ｅｃ 编 码 逐 渐 成 为 更



一

， ， ｉ ｓ ｈｅｒ ｔ ｏｒ ）

Ｗ２
好 的 选择 。 Ｚ ｈｕ Ｙ 等人 ［
２
Ｍ吏 用 时 空 词 典 和 稀疏编 码 进行 聚 合 得 到 固 定 大 小 的 描述 符 ， 

。

３


－
东 北 大 学 硕 士 学 位 论 文 第 １ 章 绪论



近年来 深 度 学 习 在 计 算 机 视觉 领域 获得越来越 多 的 关注 些 学 者 也 尝试将 深度



一

， ，

学 习 算法应用 于 行为识 别 。 深度 学 习 方法不 用 手动提 取特征 ， 保 留 了 更 多 视频 原 有 的 信




息 般更优于传统方法
一

， 

。

等人 提出时空网络 如 图 Ｕ 所示 利用 Ｃ ＮＮ 提取 空 间 特征 使用 Ｌ ＳＴ Ｍ 

等
３ ３
Ｌ Ｃ ［ １

ｉ ， ， ，

循环 网 络提取时 间 信 息 ，
两种 网 络使用 串 联结构 ，
并且提 出 了 最大融合 、 平均 融 合和 逐



元 素相 乘 融合三种 融 合方法 等人 提 出 三维卷积 网 络 方法 在

３４
。 Ｊ ｉ
［ ］

（ ３ Ｄ ＣＮＮ ） ， ２ＤＣＮＮ



的基础上加 入 了 时 间 维度 ， 不仅可 以 学 习 到 空间信 息 ， 而且可 以 获取 时 间 信 息 。 Ｗ ａｎ ｇ 


等

人 ［
３ ５ ］

提出 了  ３ Ｄ Ｃ ＮＮ 和 ＬＳＴＭ 结合的网络 ， 加 强 了 动作识别 中 时 间序列 的学 习 ， 同 时对




视 频 帧 图 像进 行 显 著 性 检测 ，
减 少 网 络参 数 ，
提 高训 练速度 。 ３ Ｄ Ｃ ＮＮ 每次只 能获取固



定帧数 图像 不像 ＬＳＴＭ 可 以 动 态 改变输入 具有 定局 限性 但是其效果 比 Ｃ ＮＮ 


和
一

， ， ，

ＬＳＴＭ 结 合 的 方法要 好 并且 训 练速度 更快 另外 Ｄ Ｃ ＮＮ 和 ＬＳＴＭ 的结合也是 


个
一

， 。 ， ３

很好 的 思路 

。

Ａｃｔ ｉ ｖ ｉ ｔ
ｙＲ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏｎ



ｌ ｎ ｐ ｕｔ ： Ｓｅ ｑ ｕ ｅ ｎｃｅ



ｏ ｆＦ ｒ ａ ｍｅｓ



＼  ｃ
＼  Ｎ  Ｎ  ／
ｃ
 ７
Ｎ  Ｎ  ／

＼ ＇
 ／ ＬＳＴ Ｍ
 

Ｉ

＼  ／
Ｏ ｕｔ ｐ ｕｔ ： Ｌａ ｂ ｅ 

ｌ



ｍ
，


Ｐ ａ ｙ ｎ ｇＢ ａ ｓ ｋ ｅ ｔ ｂ ａｌ
ｊ
ｉ 

ｌ

图 １ ． １  ＣＮＮ ＋Ｌ Ｓ Ｔ Ｍ 结构 图


ＣＮ Ｎ＋Ｌ Ｓ Ｔ Ｍｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒｅｄ
Ｆ ｉ
ｇ ．  １ ． １ ｉ ａ
ｇｒａｍ



２０ １ ４ 年 Ｓ ｉ ｍ ｏ ｎ ｙ ａｎ 等 人＿首 次提 出 双流 网 络 ，
如图 １ ． ２ 所示 ，
空间流网络和 时间流



网 络采用 相 同 的 Ｃ ＮＮ 网 络结构 ，
采用 并联架构 ， 互不 干涉 ，
各 自 提取 各 自 特征 。 最后



融合方 式 为平均 融合 、 最大值融 合或者 ＳＶＭ 进行分类融 合 ，

使用 ＳＶＭ 的 融合 分类效



果最好 

。

４
－ 

－
东 北 大 学 碩 士 学 位 论 文 第 １ 章 绪论



Ｓ
ｐａｔ
ｉ ａ ｌ ｓ ｔ ｒ ｅａ 

ｍ

ｆ ｕ ｌ
６ Ｗ
Ｃｏ  Ｃ Ｃ
Ｃ ｏ ｎｖ ｌ ｎ ｖ２ Ｃ ｏｎｖ３ ｏ ｎｖ ４ ｏｎｖ ５
 ２ ０ ４８ Ａ


 ＊ ＊

＊ ＊


＊ ＊
３
＊ ＊

＊ ＊

ｌｊ Ｖ
７ ７ ９ ６ ５ ５ ２ ５ ６ ３ ３ ５ １ ２ ３ ５ １ ２ ３ ３ ５ １２
 ｄ ｒ 〇
ｐ
〇ｕ ｔ ｄ ｒ 〇
ｐ
〇ｕ ｔ  Ｓｏ ｆｔ ｍ ａｘ

 ＼＼


＾ 丨
 Ｐ ｏｏ ｌ  ２
＊
２  Ｐｏ ｏ ｌ  ２
＊
２  Ｐ ｏ ｏ ｌ  ２
＊
２
 ＼＼  



■
｜ 
／／

｜
Ｓ ｉ ｎ
ｇ
ｌ ｅ  ｆ ｒ ａ ｍ ｅ －
     

 ｜
＼＼



ｌ
１
Ｖ ＇
：

 ／
ｓ ｃｏ
ｓｓ



ｒ 

ｅ

翁
：

ｆ ｕ ｓ ｏ ｎ


／／
ｉ

  ＼＼ Ｔ ｅｍ
ｐｏｒａ
ｌ ｓ ｔ ｒｅａｍ 

／

Ｗ＼ 


＾

Ｗ   丨
—

Ｉ
６ ｆ ｕ ｌ
ｌ
７

Ｎ Ｃｏ   Ｃ Ｃ
 ｎｖ ｌ Ｃ ｏ ｎｖ ２ Ｃ ｏ ｎｖ ３ ｏ ｎｖ ４ ｏｎｖ ５
４Ｑｇ ｇ  ２〇 ４８ ｖ


 
＊

  
＊ ＊ ＊ ＊ ＊ ＊ ＊ ＊ ＊

 ｔｍ ａｘ
ｆ
？


７ ７ ９６ ５ ５ ２ ５６ ３ ３ ５ １ ２ ３ ３ ５ １ ２ ３ ３ ５ １２ ｓｏ 

ｄ ｒ ｏ
ｐ
ｏｕ ｔ ｄ ｒ ｏ
ｐ
ｏｕ ｔ

 
＊ ＊ ＊
Ｐｏ ｏ ！  ２ ２ Ｐｏ ｏ ｌ  ２ ２ Ｐ ｏ ｏ ｌ  ２ 

２

Ｏ
ｐ
ｔ ｃ ａ ｌ  ｆ ｏ ｗ

图 １ ． ２ 双流网络结构 图



Ｆ ２Ｔ ｗ ｏ ｓ ｔ ｒ ｅ ａ ｍ ｎ ｅ ｔ ｗ ｏ ｒ ｋｓ ｔ ｒ ｕ ｃ ｕｒｅ



ｉ
ｇ ．  １ ． ｔ

Ｗ ａｎ ｇ 等 人Ｐ 使 用 改进 的 轨迹描 述子代 替 光流提取 时 间 信 息

Ｉ

，
将局部 Ｃ ｏ ｎｖ Ｎ ｅ ｔ 响应



汇 集在轨迹 为 中 心 的 时 空管 ， 生成 的 描述 符称 为 ＴＤ Ｄ ，
使用 Ｆ ｉ ｓ ｈｅ ｒ 向 量将 视频 中 局 部 区



域 ＴＤ Ｄ 聚合成全局 向 量 ，
使用 ＳＶ Ｍ 作 为 行 为分类 器 。 在双流 网 络基础上 ，
２０ １ ７ 年 

，

Ｗ ａｎｇ 等人 加 入 分段和 随机化采样 ，

提出 ＴＳＮ 网络 。
将视频分 成 多 段 ，
分 别进行时间



流和 空 间 流特 征提取 ，
时 间 流 网 络输 入使 用 掩膜 光流 ，
消 除相 机抖动 带来 的 影 响 。 训练



时 加 入 大数据 集预 训 练 、 数据增 强 、 图 像校准等技术 ，

使得 网 络 效 果 更优 

。

除 了 时空网络和双流网络 还有 些很 出 色 的 方法 尤 其 是基 于 无监 督 的 人 体 行 为


一

， ，

分析方法 。 Ｙ ａｎ Ｘ 等人Ｍ 提 出 ｌ

了 深度 自 动编码器 （ Ｄ ｙｎｅ ｎｃｏｄｅｒ ） 获 取 视频运 动 信 息 ，



将

Ｄｙｎｅｎｃｏｄｅｒ 当 做视频 的 时 空 紧凑 信 息 ，
给定 视频 的 Ｄｙｎｅｎｃｏ ｄｅｒ 的重构误差 当做 分类误



差 ， 压缩 了 行 为 识 别 的 存储和 运 行成本 。 为 了 更 好地 学 习 时 间 信 息 ， Ｓ ｒ ｉ ｖａｓ ｔ ａｖ ａ Ｎ 等 人＿ 


１

提出 了 基于 Ｌ Ｓ ＴＭ 的 自 编码模型 ， 由 编码器 ＬＳ ＴＭ 和 解码器 ＬＳ ＴＭ 组成 。 编码器 ＬＳＴＭ




接 受视频序 列 作 为输 入并 学 习 到 人 体 行 为 特征 的 紧 凑 表 达 解 码器 ， ＬＳＴＭ 将 紧凑序 列作




为输 入 ，
并 重 建输 入序 列 

。

虽然深度 学 习 目 前 在 人体 行 为识 别 方面有 了 很 好进展 ，

但 是也存在着
一

抖问题 ：


深

度 学 习 方法 需 要 大 量 的 数据 作 为 训 练样 本 ，
现在 大部 分 的 数据库 量相 关性较高 ｉｉ 偏小 

；

网 络 底 层 的 输 出 作 为 整体 局 部 特 征 ，
往往容 易忽略 ； 火部分深度 学 习 的 彳 丁 为识别方法 

，

容 易 忽 略 行为识 别 中 时 间 流和 空 间 流 的 倍 息维度 差 异 。 传统 的 桩于深度学 的人体 行为




识别 方法单 纯 使用 卷 积神 经 Ｎ 络 只 能提収 局 邰 动 作 的 特 征 表达 ，
小 能对完整视频 彳 Ｔ 为提



５
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 １ 章 绪论



取 出 有 效特征 。 而 后 改进 的 基于深度 学 习 的 人体 行 为 识 别 方法加 入循环 神 经 网 络 学 习 局




部特征 的 上 下 文 关系 ， 可 以 解 决 局 部 特 征 相 互独 立 的 问 题 ， 将 时 间 流特 征和 空 间 流信 息



特征结合 ， 共 同 作 为 视频信 息特征序列 ，

并取得 了 很好的 效果 。
所 以 本 文对人体行 为识



别 技术基 于 深度 学 习 相 关 的 方法 进行科研探索 

。

１ ． ３ 本 课题 的 研究 内 容 与 章节 安 排



１ ． ３ ． １ 主要研究 内 容



行为识别 作 为计算机视觉 的 个基本 问 题 在 机器 学 习 和 人 工 智 能领域具有 很 高 的



一

研 宄 价值 。 在 前期研宄 的基础上 ，
本 文 以 人体行为识别 为核心 ，
利 用 深度 学 习 方法特 别



是卷积 网 络和循环 网 络 ， 得 到 不 同 段动 作 的 上下 文关系 ，

随后 利 用 分类融合方法 ， 实现



人体行为 分析 。
本文 的 主要研 宄 内 容如 下 

：

（ １ ） 分析人体行为识别 的 研 宄现状和 现存 问 题 ， 将 人体行为 识 别 传 统 方法和 深度 学




习 方法对 比 。
发 现传 统 方 法 的 人工 提取 方 法 鲁棒 性 较 差 ， 而 且准确 率偏低 。 因 而选择基



于 卷积 网 络和循环 网 络方法进行人体行为识别 的研 宄 

。

（ ２ ） 研 究 分 析 深 度 学 习 中 二 维 卷 积 网 络 和 三 维 卷积 网 络在 行 为 识 别 中 的 差 异 。 对比



分析二 维卷积 网 络在双流 网 络上 的 效 果 和 三维卷积在 单流 网 络 的 效果 ，

二 维卷积 使用 

光

流 图 像作 为输入来获取时 间 信 息 ，
其计算时 间 长 ， 对视频 画 质 要 求较 高 ， 而且极 易 受相



机抖动 影 响 ， 不适合 行 为分析 的 实时应用 。 三 维 网 络针对 时 间 流信 息对二 维卷积 维度进




行扩展 ，
自 动 获取时 间 特征 ， 而且裁剪无意 义 的 时 间 信 息 ， 适合作 为视 频 行 为 识 别 的 特


征提取器 

。

（ ３ ） 研 宄深度 学 习 方法 中 常 见 的 序 列 模 型和 循环 网 络 的 几种变种 。 对 比循环 网 络 中




Ｒ ＮＮ 、 Ｌ Ｓ ＴＭ 、 双向 Ｌ Ｓ ＴＭ（ Ｂ ｉ
－

Ｌ Ｓ ＴＭ ） 三种 主 流方法 ，
针对 Ｒ ＮＮ 梯度消 失 问 题和 Ｌ Ｓ ＴＭ



只 能选 择前 序 时 间 信 息 问 题 ，
选择 Ｂ ｉ
－

ＬＳＴＭ 作为序列模型 ，
对 于序 列 模 型 学 习 时 间 加



速方面 ，
使用 层 次 Ｄ ｒｏ ｐ ｏ ｕ ｔ 算法作 为 人体行为 中 序列 上 下 文 学 习 模 型 的 正则 化方法 

。

设计 种 整合注 意 力 机 制 和 序 列 模 型 的 人 体 行 为 识 别 模 型 由 于人体行为 只 作


一

（ ４ ） 。

用于 张图像中 的 小 部分 正 如 人 的 视野注 意 力 只 会集 中 在人体动 作 区 域 对背景关



一 一

， ，

注的很少 。
在 特征 图 显 著 性提取方面 ， 通过注 意 力 机制 将 人体动作 部分显 著 性提 高 ，


增

强行 为特征 的表达能力 。 在 各个子段视频结 果 融合方面 ，

视频人体行为 的 分类结 果 融合



使用 自 注 意 力 机制 ， 将 显 著 得 到 视频特 定重要 的 动 作 段 ，
提 高 分类准 确 率 

。

－
６ 

－
东 北 大 学 硕 士 学 位 论 文 第 １
章 绪论



１ ． ３ ． ２ 论 文结构和 章节 安 排



ｒ


，  「 注 意 力 机制 获 ］  「

ｉ ｆｉ 去


’

视频分段处理
 ：
取显 繊特征 ：  誌ｇ


 

￣

连 续 帧   ｕｒｅ  Ｊ


Ｆｅ ａｔ
ｆ

 
＾

＾
 ｍ ａｐ ｓ
 ＾


：

＾
＇

ｆ
连 续 帧 ｕｆ ＴＴ  Ｉ  匀 ：

 ３ Ｄ Ｃ ＮＮ ＋ Ｂ １

 １ 

—


＾
／ Ｉ  ＼  ｔ 
 ＼
 °
：





；


．

／ 、 ；



；

（
连续倾
（ Ｋ  ＾

 ： ｎ 臟 ｓ 卜 州 

：

１
Ｌ Ｊ

－ －
－ １



１

Ｌ
 

！


 － － － －
  Ｊ

ｍｍ ？ 各连续 帧 特 征提 取 ？ 行 为识别结果分类 ？ 准 确 率 统计


—  
？ ■ ？

（ （ ）

图 １ ． ３ 论文框架


Ｆ ｇ ｉ ．  １ ． ３ Ｔｈ ｅｓ ｉ ｓ  ｆｒ ａ ｍ ｅ ｗ ｏｒｋ



本文研 宄为深度学 习 及 人体 行 为识别 ， 全文为五个章节 ， 以 下 为每个 章 节 简 介 


：

第 １
章 内 容分为研 究背景及 意 义 ，
国 内 外 研 宄现状 和 主 要 内 容 以 及对 本 文 的 安 排 介



绍 。 本 章 大致 介 绍 了 人 体 行 为 识 别 从传 统方法 到 深 度 学 习 方法 的 发 展 历 史 ，
介绍 了 国 内



外人体行 为识 别 的 研 究进展和 改进 原 因 ， 以 及 本 论文 的 大致 结 构 和 研 究 目 标 

。

第 ２ 章 主要 讨 论三维卷 积 网 络 用 于 视频 行 为特征提 取 。 本 章 主要 阐 述卷积 网 络算法




的理论 ，
对 比分 析二 维卷 积和三维 卷积 的 优缺 点 和适 用 场 所 ， 初步 确 定 以三维卷积作 为



人体行为特征编码层 。 最后 总 结 常用 的 人体行为识别 数据集并详细 介绍 ＵＣＦ １ ０ １ 数据集




和 ＨＭＤＢ５ １ 数据 集 ，
并在 ＵＣＦ １ ０ １
数据 集上 测 试 ３ Ｄ 卷积 神经 网 络 的 模型 性 能 

。

第 ３ 章 探讨 了 几种 常用 的适用 于人体行 为分析 的 序列模型 。

将这 几 种 网 络从 数学上



进 行推导 与 结 构 分析 。 提出以 Ｂ ｉ
－

Ｌ ＳＴＭ 作 为视频段 的 解码层 。 使用 第 ２ 章的 ３ Ｄ 卷积神




经 网 络作 为视频特征编码 层 ，
将 各 子段动作 特征 向 量作 为 Ｂ ｉ
－

ＬＳＴＭ 网 络 的 输入 ，
输出



向量使用 平均融合 的 方式得到 整体结 果 向量 ，

最后使用 Ｓｏｆ
ｔ ｍ ａｘ 分类器得到 分类结 果 

。

第 ４ 章 是在 序 列 模 型 的 基础上 融合 了 注 意 力 机制 获取特 征 图 的 显 著 性 区 域 。 对于视




频 各 帧 图 像 局 部 区 域 的 显 著 性提取 和 各 视频段 的 显 著 性 提取 ， 使用 基于项 的软注意力机




制 获得 图 像 各局 部 区 域 的 权重 分 布 和 各视频段 的 权重 分 布 ，
使用 自 注意 力机制 融合 各视



频 分段 的 结 果序 列 。 本 文 最后 通过对 比 实验选择 最适合行 为识 别 的 任务 的 注 意 力 机制 模




型和参数 ，
并且对模型 训 练 中 的批 次大 小 和 学 习 率两 个超参数进 行 调优 。 最后 ， 对比了



７ 

－
东 北 大 学 硕 士 学位论 文 第 １
章 绪论




几种 人体 行为 识 别 任 务 中 主 流 的 网 络结 构 ， 从 准 确 率 的 性 能 指 标 上 分 析 本 文 设 计 方法 的



优点 

。

第 章 为 总 结 与 展望 首 先 总 结 了 前 四 章 内 容 分 析 本方 法 设 计 的 些优点和缺点
一

５ ， ， 

，

阐 述训 练神 经 网 络 中 需要 注 意 的 些细节 展 望 本 方 法 需 要 改进 的 地方 以及 已经 出 现


一

。 ，

的 还 未 在 人体行 为 识 别 领域 应 用 的 新 技术 

。

－
８


－
东 北大 学 硕 士 学 位 论 文 第 ２ 章 视频 行 为 特征 的 分 段提 取



第 ２ 章 视频行为 特征 的 分段提 取



传 统 的 视频帧 图像 处理主要采 用 ２ Ｄ 卷 积 网 络进 行 特 征 提 取 ， 对于 目 前流行 的 双流




网 络框架 中 ， ２Ｄ 卷积 以 光 流信 息 图 作 为 输入 获取 时 间 信 息 特 征 光流 图 计算 较为 耗 时 ， 

，

且 易 受抖 动 干 扰 。
为 了 综合 时 间 信 息和 空 间 信 息 ， ３ Ｄ 卷积 网 络 应运而生 ， ３ Ｄ 卷积顾 名



思义 ， 就是将 ２Ｄ 卷积 在 时 间 维度进行 扩 展 即 不 仅可 以 获 得 ，
２Ｄ 卷积 网 络 的 空 间 特征 

，

而且可 以 获取连续若干 帧之 间 的 时 间 特征 。 本 章 将详细 阐 述卷积神 经 网 络结 构和 ３ Ｄ 


卷

积 网络的作用 ， 并利 用 ＵＣＦ １ ０ １
数据 集分 别 对 ２ Ｄ 卷积 网 络和 ３ Ｄ 卷积 网 络进行对 比 实



验 

。

２ ． １ 卷积神 经 网 络



卷积神 经 网 络 的理论提 出 是在 世纪 年代 等人 的生物学研 宄表 明

４
Ｈ ｕｂ ｅ
１
［ ］
２０ ６０ ， ｉ 

，

层局 部 区 域范 围 的 神经元 而后 网络 采用
４２ ］
每层 的 神 经元 节 点 只 响 应 前 内 Ｌ ｅＮ ｅｔ 

一
［
５
－

。 ，

若干 卷积层 和 若干全连接 层 组成 ，
中 间 包 含 各 种 非 线 性 操 作 以 及 池 化操 作 。 卷积 层 的 卷



积 核 对 图 像 的 指 定 位置进 行 卷积 运 算 ， 可 以 从低 阶 特 征 提 取 到 高 阶 语 义 。 与 其他 网 络相



比 ， 卷积 网 络 的 参数 共享 策 略 提 高 了 网 络 的 训 练 效 率 和 可 扩 展 性 。 Ｌ ｅＮ ｅｔ －

５ 网 络 的 成功



应 用 使 得卷积 神 经 网 络 得到 了 更 多 的 关注 。 随 后 出 现 了 很 多 卷积神 经 网 络框架 ， 


如

＾ 由 于 卷 积 运 算 主 要 处 理 类 网 格 结 构 的 数据 因 此对于时 间 序


４３］ ４４
Ｇ ｏｏｇ ｌ ｅ Ｎｅ ｔ
［

、 Ｒｅ ｓＮ ｅ ｔ
［
， ，

列 以 及 图 像数据 的 分析 与 识 别 具有 明 显 优势 。 随 着深 度 学 习 和 相 关 网 络框 架 的 发 展 ， 

卷

积神经 网 络在 图像识别 、 文 本 处理和 语音 处理都得到 了 广 泛 应 用 


。

２ ． １ ． １ 卷积运算介绍



在 卷积功 能 分析 中 ， 卷积 是通过 函 数 Ｘ 和 Ｗ 进 行 相 关 数 学 运算 ， 被加权函 数 Ｗ 和




乘积 函 数 Ｘ 围 成 的 曲 边梯 形 的 面积 

。

对 于 连续 函 数卷积 ：
设 Ｘ Ｏ 和 Ｗ 〇〇 是）
Ｒ 上 的 可积 函 数 ， 作积分 

：

Ｘ ｘ Ｗ ｘ
－

ｔ ｄｔ
 ２ １

＾
．

（ ） （ ） （ 

）
＼

对 于 离散 函 数卷积 ： 设Ｘ （
ｍ） 和Ｗ （
ｎ） 是长度 为 Ｎ 的 离 散信 号 ，
作积分 

：

（
Ｘ＊Ｗ ） ［
ｎ
］
＝

 ＹＸ ｊ （
ｍ
）
Ｗ （
ｎ
－

ｍ
）  （
２ ２）


．



ｍ

９ 

－
东 北 大 学 硕士学位论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取




卷积运算 的 应 用 相 当 广 泛 例如 使用 个二 维卷积核 Ｋ 对传统的 图像 做相应 的 卷



一

， Ｉ

积运算 

：

Ｋ） Ｋ 
＊
Ｓ ｊ ＾ＹＩ ｍ ｎ ｍ ｎ
＝ ＝
ｌ
￣ －

ｉ ｉ
， ｊ） ＾
ｉ
＞
Ｊ ２ ３
－

（ ）  （ （  ， （ ） （ ） （ 

）

ｍｎ



卷积 是可交换 的 ， 可 以 等价 写 作 

：

Ｙ＾ Ｋ 
＊
Ｓ ｉ
，
ｊ）
＾
Ｋ ｌ ｉ
， ｊ ）
＝
Ｉ ｉ
－

ｍ Ｊ ＞
－

ｎ
）
ｍ ｎ
＞
（
２ ４）
．


（ （ ） （  ｛ ｛ ）

ｍｎ



从增 加 ｍ 的 方 面 来看 ， 输入 的 指 数在 增 大 ，
但是核 的 指数在 下 降 ，
而核 翻转 是实 现



可交 换性 相 比之下 许多 深度 学 习 框架 实现 个称为 互相 关 函 数 的 相 关 函 数 该函数



一

。 ， ，

几乎和 卷积运算 样 但 是 没 有 翻 转 卷积 核
一

， 

：

Ｙ＾ Ｉ 
＇

Ｓ ｉ
， ｊ）
＝
ｌ
＊
Ｋ ｉ
， ｊ ）
＝
ｉ ＋ ｍ＾ ＋ ｎ
 Ｋ ｍ ｎ
＾
（
２ ５
－



）
｛   （ ） （  （ ） （ ）

ｍｎ



在 机器学 习 中 学 习 算 法在 卷 积 核 的 适 当 位置 学 习 适 当 的 值 因此 个基 于 核翻转


一

， ，

的 卷积运算 的 学 习 算法所学得 的 核 ， 是对 未进行翻转 的 算法学得 的 核 的翻转 。 单独 的卷




积运算在机器学 习 中 是很少 见 的 ， 无 论卷 积 运算 是 否 对 核 进行翻 转 ， 卷积 经 常 与 其 它 函




数 起使用 而 且 这 些 函 数 的 组 合 通 常 不 可 交换
一

， 

。

卷积 运算通过两 个重 要 思 想 ： 稀疏 交互和 参数共享 ，

作 为 区 别 传 统神 经 网 络 的 重 要



特性 ， 通过稀 疏交互 和 参数共享这 两种 思 想 ， 卷积 神 经 网 络 大大 改进 了 机器 学 习 系 统 


，

下 面 依 次介 绍 这两种 思 想 

。

稀疏交互 的 物理意 义是 ， 通常 图 像 、 文本 、 语音 等现实世界 中 的 数据 都 具有 局 部 的




特征结构 ，
首 先学 习 局 部特征 ，
然 后 结 合局 部 的 特征 以 形成 更 复杂 和 抽 象 的 特征 。 卷积



核 尺寸远 小 于输入 的 维度 因 此每个输 出 神 经元仅具有与 前 层特定局 部 区 域 内 的神经



一

元 的 连接权 重 ， 称之为稀疏交互 

。

传统 的 神 经 网 络 中 输入与 输 出 之 间 具有矩 阵乘法关系 ， 其中 ， 网 络层 之 间 的 输入与




输 出 的 连接 关 系 可 以 由 个权 值 参 数矩 阵来表示 每个 单 独 的 参数值 都 表示 了 前 后 层 某


一

两个 祌 经节 点 之 间 的 交 互 。 相反 ， 卷积 网 络 具 有稀 疏 交互特 征 ， 通过 卷积 核 在 指 定 图 像



位置滑动来实 现稀疏 交互 的 特 点 ， 由 于稀 疏交互 的 作 用 ，

所 以 卷积核 的尺寸远小 于 图像



本 身 的 尺寸 ， 以 减少 训 练参数 ，
提高计算 效率 。
如 果有 ｍ 个输入 和 ｎ 个输 出 ， 则 传 统神



经 网 络 的矩 阵乘法需要 个参数 而 且 相 应 算 法 的 时 间 复 杂 度 为 如果将每




个输 出 与 前 层 神 经元 的 连接数 限 制 为 则 连接 系 数 的 方法 只 需 要 个参数 以 及


一 一

ｋ ，

的 运行时 间 。 在 实 际应用 中 ， ｋ 远小于 ｍ 就可 以 取 得 可 观 的 效果 。

稀疏交互 的



图 像化解释 如 图 ２ ． １ 所示 ， 上面两层 网 络 ， 当 ｓ 是 由 卷积核大 小 为 ３ 的 卷积产 生 时 ， 


只

１ ０ 

－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视频 行 为 特征 的 分 段提 取



有 三个输 出 受到ｘ 的 影 响 ； 下 面两层 网 络 ， 当 ｓ 是 由 矩 阵乘法产 生 时 ， 连接不 再 是稀疏表




达 ， 所 以所有 的输 出 都会受到＆ 的影响 


。

图 ２ ． １
稀疏表 达和 全连接


Ｆ ｇ ２
ｉ ． ． １ Ｓ
ｐ ａ ｒ ｓ ｅ  ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｏ  ａｎ
ｎ ｄ  ｆｕ ｉ ｌ ｌ ｃ ｏｎｎ ｅｃｔ ｏ ｎ


ｉ

参数共享是指在 同 个模型 的 不 同 模块中 使用 相 同 参数 它 是卷积运算 的 固 有 属 性

一

，


。

在传统神 经 网 络 中 当计算 层 的输 出 时 权重矩 阵每 个参数仅对应 组输入和输 出

一 一
一

，


。
，

在卷积 网 络 中 ， 卷积核 的每
一

个元素将作用 于每
一

个输入 的特定位置 。
根据 参数共享 的



思想 我们 只 需要学 习 组参数集合 而不 需要针对每个位置的每个参数都进行优化

一



，
， ，

这 是参数共享最 大 的 优点 

。

图片有 个特性 图 片 的 语 义特征 不 随着 图 片 区 域 的位置 改变而 改变 对于主 要 用



一

。
，

于 提取底 层 特征 的 前 几层 网 络 把 图像每 个局 部 区 域对应 的 卷积 核 进 行权值共享 


就
一

，
，

可 以进 步减少 网 络 中 参数 的 个数 根据 参数共享 的 思 想 我们 只 需要 学习 组参数集



一
一

。 ，

合 ， 而 不 需要 针对 每 个位置 的 每个参数都进 行 优化 ， 前 向 传播的 运行时 间 是




但是大大 降低 了 模型 的存储 需求 ，
降至 ｋ 个参数 ，
而且 ｋ 远小于 ｍ 。 参数共享 的 物理 意



义 是使得卷积层 具有平移等变性 假如 图 像 中 有 只 猫 那 么 无论它 出 现在 图 像 中 的 任



一

。 ，

何位置 ，
都应该视为 猫 ，
即 神 经 网 络 的 输 出 对平移 变换来 说应 当 是 等变 的 。
如图 ２ ２
．


所

示 ， 上面两 层 网 络 ， 深 色箭 头 表示卷积 网 络 中 对卷积 核 的 使用 ， 由 于 参 数共 享 ， 这个单







－
－

１ １
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



独 的 卷积 核 参数被 用 于 所有 的 输入 位置 ； 下面两层 网络 ， 这 个 单独 的 深 色箭 头 表示 在 卷



积 网 络模型 中 对模型参数 的 中 间 元素 的应用 ， 由 于 没有 使用 权值共享 ， 所 以参数只 使用




次
一



。

Ｑ ＱＱ Ｇ



Ｖ
ｒ＞ ｒｖ ｒｒｖ ｎ


ＷＷ Ｗ Ｗ 〇



＞

图 ２ ２ ．
参数共 享和 全连接


Ｆ ｇ ２ ２  Ｐ ａ ｒ ａ ｍ ｅ ｔ ｅ ｒ  ｓ ｈ ａ ｒ ｎ ｇ  ａ ｎ ｄ  ｆｕ
ｉ ． ． ｉ ｌ ｌ ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｏｎ
ｉ 


由 于 卷 积运 算 主 要 用 于 处 理类似 网 格结 构 的 数 据 ，
尤其 是 卷积 网 络 具 有稀 疏连接 和



参 数共享 的 特 点 ， 大大减少 了 图 像处理 中 的计算时 间 复杂度和 空 间 损耗 ，

提高 了 模型 训



练效率 以 及可扩 展性 。 通过卷积运算 的 两种特性 ， 卷积 核 可 以 首先在输入 的 指 定位置 学




习 局部特征 ，
然后 结合局 部 特征 ， 形成更复杂 和抽 象 的 特 征 ，
与 传统的神经网络相 比 

，

不仅 提 高 了 训 练 效率 ，
而且提高 了 网 络鲁棒性 

。

二 维 卷 积 主 要 应 用 于 图 像 处理 领域 卷积通常对应着 个非 常稀疏 的 矩 阵 因 为输


一

， ，

入图像的大小 般远大于卷积核 的 大小尺寸 任 何 使用 矩 阵乘法但不 依 赖于矩 阵结 构 的



一

特殊属 性 的 神 经 网 络算法都适用 于 卷积运算 线 性滤波 是 图 像 处理最基本 的 方法 首 先 。 。 


，

对于 图像的每 个像素 点 计 算 其 邻 域 像 素 和 滤波 器矩 阵 的 对 应元素 的 乘积 然后将乘



一

， ，

积 相 加 起来共 同 作 为 该 像 素 位置 的 值 ，
从 而 完 成 了 滤 波 过程 。
如图 ２ ． ３ 所示 ，
演示 了 在



二 维 张量上 的 卷积运算 。 对于 图 像而 言 ， 通过在 图 像 指 定 位置 与 滤波 器模板进行翻转运




算 ， 然 后 在 原 图 像上 移 动 相 应 位置 ， 将 元 素乘 以 相 应 位置 并相 加 得 到 最 终 结 果 

。

１ ２ 

－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



Ｉ ｉ ｉ
ｐｕ 

ｔ

＂ ＂ ＂
＂ ＂ ＂ ＂ ＂

１ １   Ｉ

  Ｋ ｜ ｜ Ｊ
ｅ ｒ ｕｃ 

ｌ

ａ ｄ

ｅ
ｕ －
 



ｂ
｜


  —

＝ｚ  ｗｘ


ｐ ｜ ｜

＾
 ｆ ９ ｆｉ ＝ 

＝

ｍｍｍｍ －

ｍｍｍｍ  ＝ｚ  ＝  ｙ  ｚ



ｉ
 ｊ ｋ ｌ  Ｐ  ＝   ＝＝ ！


Ｉ

ｗ Ｏｕ ｔ
ｐ ｕ ｔ



？
ａｗ  ＋  ｂｘ  ＋  ｆ
ｅ ｕ  ＋  ｃｉ  ＋  ｃ  ＋ ＇

ｔｉ ； ｛ ｉｒ  ＋


ｅ
ｙ  ＾  ｆ ｚ  ｆ ｙ  ＋  ｇ ｚ  ｇ ｙ  ｈ ｚ

ｅｕ
？

＋／ｚ ＋  ｆ ｗ  ＋  ｐ ｘ  ＋  ｇ ｗ  ｈｘ  －

＼


－

ｉ
ｙ  ＋  ｊ ｚ  ｊ ｙ  ＋  ｋｚ  ｋ ｙ  ＋  Ｉ 

ｚ

图 ２ ３ ． 二 维卷积运算


Ｆ ｇ ２ ３Ｔ ｗｏ ｄ ｍ ｅｎｓ ｏｎａ ｃ ｏ ｎ ｖｏ ｕｔ ｏｎ


－

ｉ ． ． ｉ ｉ ｌ ｌ ｉ

计 算机视觉方 向 是深度 学 习 应 用 最广 和 最深 的 领域之 随 着硬件设 备 的 改进和 海



一

量 数据 的 增 加 ，
深度 学 习 在 图 像 处理领域 中 的研 究 和 应 用 得到 了 飞 速 发 展 ，
而卷积祌经



网 络 的研 宄在 图像处理 中 占据 了 绝对重 要 的 地位 

。

２ ． １ ． ２ 卷 积神 经 网 络结构



卷积神经 网 络在 多维 图 像 中 的 应用 十分广泛 。 卷积 网 络框架 众多 ，

但是各个 网络层



结构大致相 同 ，
如图 ２ ４ ．

所示 ，
典型 的 卷积神经 网络 中 ， 主 要包含 卷积 层 、 下采样层



和 全连接 层 等 网 络 结 构 。 卷积 层通常 和 下 采样 层 结 合 使用 ，
并 且 在 网 络 的 最 后 几层 中 使



用 全连接 层 网 络 用 于 下 采样 获得 整 体特征 

。

叩ｕ ｔ 丨
ｍ ａ
ｇｅ ３  Ｆ ｅａ ｔ ｕ ｒ ｅ Ｍ ｐａ ３ ｓ Ｆ ｅａ ｔ ｕ ｒ ｅ Ｍ ｐａ ｓ ５ Ｆ ｅａ ｔ ｕ ｒ ｅ Ｍ ｐａ ５ ｓ
 Ｆｅ ａ ｔ ｕ ｒ ｅ Ｏ ｕ ｔ
ｐ ｕ ｔ  Ｌ ａ ｙｅ 

ｒ

Ｍ ｐａ
ｎ
—

 ｎ—


ｓ
  
１

－
ｉ
－ －

， 

－

 
［

１   

．

￣
Ｌ —


了
■ ？ 口
 ｒ ｌ
 〇 ｑ



Ｕ 


■

－
Ｊ
Ｊ ．
一
－

Ｉ
—

—
｜
［ ＿ 

Ｃ ｏ ｎ ｖ ｏ ｕｔ ｏ ｎ ｌ
ｉ  Ｐｏｏ ｌ
ｉ
ｎ
ｇ  Ｃ ｏ ｎｖ ｏ ｌ
ｕｔ ｏ ｎ
ｉ  Ｐｏ ｏ ｌ
ｉ
ｎ
ｇ  Ｆ ｕ ｌ ｌ

ｙＣ
ｏ ｎ ｎ ｅ ｃｔ ｅ ｄ



Ｌ ａ
ｙｅ ｒ  Ｌａ
ｙ ｅ ｒ
 Ｌａ ｙ ｅ ｒ
 Ｌ ａｙ ｅ ｒ
 
Ｎ ｅ ｔ ｗｏ ｒ ｋ




图 ２ ４ ．
卷积神经 网 络结 构 图


Ｆ ４Ｃ ｏ ｎ ｖ ｏ ｏｎａ ｕ ｒａ ｅｔｗｏ ｋｓ ｔ ｒ ｕ ｃ ｔ ｕ
ｇ ２ ｕｔ ｎ ｅ ｎ ｒ ｒｅ


ｉ ． ． ｌ ｉ ｌ ｌ

３
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特征 的 分 段提取



卷积神经 网 络 中 各层 网 络 层作 用 不 一

。 其中 ， 卷 积 层 主要 用 于 提取输 入 图 的 语义 特



征 ； 池化层 本质 是 降采样 ， 主要 用 于 减少 计算量和 防止过拟合 ； 而 全连接层 是 为 了 将 各




特 征层 的 分 布 式 特 征 映射 到 样 本标记 空 间 ， 以 便于输 出 层 的 分类输 出 。

下 面分 别 是三个



网 络层 的计算过程 

：

（ １ ） 卷积层输 出 中 有 多 个特征 图 ， 每个特征 图 由 多 个神 经元组成 ，

而每个神 经元在



卷积 核 中 通过特 定 位置 和 前 层 特征 图 局 部 连接 卷积 层每 个特征 图 的 输 出 共享 个卷


一 一

积核 ，
将 卷积 核 作 为特 征提 取器 ，
那 么 每组输 出 看作 特征提取后 的 特征 。
每个输 出 特征



图 可 以 组合卷积 多 个特征 图 的 值 

：

ｘＪ ｆ ｕ
（ Ｊ 

）

Ｖ
＇  （
２ ６ ．



）

＋ Ｕ
ｕ ｒＬ ｘ ｋ ｂ 丨 ，

ｊ 

ｊ

Ｍ ｉ ｅ


｝

其中 ， ｕ
ｊ
称为卷积层 Ｌ 的第 Ｊ 个 通道 的特 征输 出 ， 它 是通过对输入 图 像特 定 局 部 区 域部



分 ｘ广 进 行 卷 积 运算 和 偏 置 求 和 得 到 其 中 ｘ 是卷积层 的第 个通道 的激活后 输 出

１
， Ｌ Ｊ 

。
ｊ

是前 层 的 输 出 特征 图集合 ，
作为第 Ｊ 个通道 的卷积 核矩 阵 ， 是卷积 核 的 偏 置 

。

公式 中 作 为卷积层 的 激活 函 数 般的神经 网 络 中 激活 函 数通常 为饱



一

（ ２ ． １ ） ， ｆ
（ 〇 。 ，

和非线性 函 数 ， 如 ｓ ｉ
ｇｍ ｏ
ｉ ｄ 函数 、 ｔａ ｎｈ 函 数等 。 当 网 络层 不 断加深 时 ，
神经 网 络会 出 现



梯度爆炸 和 梯度 弥散现 象 ， 这就使得 不饱和 非线性 函 数在深度神 经 网 络 中 尤为重要 ，



同

时 还可 以 加 快收敛速度 。 深度卷积神 经 网络常使用 线性整流 函 数 （ Ｒ ｅ ＬＵ ） 作 为激活 函




数 

：

／ （
ｘ
）
＝
 ｍａ ｘ
（
〇 ｘ ，
）  （
２ ７ ．



）

由 公式 和图 可知 Ｒｅ Ｌ Ｕ 函 数 的 非饱和性 和稀疏性 在 定程度上缓



一

（ ２ ７ ． ） ３ ． ５ ， ，

解 了 梯度爆炸和梯度弥散 的 问 题 ， 且 不 需要指 数运算 ， 计算复杂度低 ，

适合用 于 后



向传播 

。

■   
＼ 

／ 

？Ｕ




－



１
ｊ

图 ２ ５Ｒ ｅ Ｌ Ｕ
． 函 数曲线


Ｆ ｇ ２
ｉ ． ． ５ Ｒ ｅ Ｌ Ｕ  ｆｕ ｎ ｃ ｔ ｉ ｏ ｎ  ｃ ｕ ｒｖ ｅ



４ 

－
－

１
东 北 大 学 硕士 学 位论文 第 ２ 章 视 频 行 为 特 征 的 分段提 取




（ ２ ） 为 了 解 决 卷 积 层 输 出 神 经 元过 多 引 起过 拟 合 问 题 ， 卷积 神 经 网 络 引 入 池 化层 

。

池 化层 是将 特征 图 局 部 区 域 的 特 征 进 行 统计 分析 得 到 代 表整个 局 部 区 域 的 总 体特 征 ， 

如

式 （ ２ ８ ． ） 所 示 池 化 层 通过 减 少 神 经 元 的 数 量 来 减 少 网 络 模 型 的 计 算 量 即 下 采 样 过 程
， ， 

，

又可称为 下 采样层 。
 ， 

、
１

＝
ｘ ｆ ｕ
（ ＾


，

ｕ ｒ ａ ｊ
ＬＤ  卜 ｏｗｎ
Ｘ ｊ
、

｝
＋ ｕ
ｂ



ｊ
（
２ ８
－



）

其中 称为池化层 Ｌ 的第 通道 的 激活后 的 输 出 由前 层输 出 特征 图 下采样



一

， ｕ Ｊ ， ；
ｊ

加权和 偏置相加 得 到 ， Ｄ ｏ ｗｎ （ ＿

） 表示池化方法 ， 通过滑 动 特 征 图 对每个 图 像块 内 的 像 素




求和 、 求均值或者最大值 的方法 ，
作 为 图 像 块 的 整 体 表达 

。

（ ３ ） 卷积神 经 网 络 中 使用 卷积层和 池化层 获取 高 阶局 部特征 ， 在 网 络 的 后 几层 ，



如

式 所示 使 用 全 连 接 层 对 特 征 图 进 行 下 采样 得 到 整 体特 征 转换为 维特征 向 量


一

（ ２ ９ ． ） ， ，

作 为输入 

。

Ｘ ’ Ｗ

－

（ ）
（
２ ９）
．


／   ／ ／
－

Ｉ   ， 

／

＋
ｘ
＝

ｕ ｃｏ 

ｂ

其中 称为全连接层 的激活后 的输 出 由 输入特 征 图 进 行 权重Ｗ 加 权和 偏 置 Ｖ 相



１

， ｕ ／ ， ；

加得到 

。

卷积 神 经 网 络主 要 分为这三个 网 络层 ，
现在 主 流 的 卷积 神 经 网 络框架 也都 是基 于 这



个基础 层 结 构 根据 具 体 任 务 改进得 到 。 ２Ｄ 卷 积 网 络 在 处理
一

幅 图片 时有着很好 的表现



效果 但 是对于 时序类型 的连续多 帧 图 片

， ， ２Ｄ 卷积 却 无法得到 时 间 维度 上 的特征 信 息 

。

而 ３ Ｄ 卷 积 神 经 网 络 专 门 用 于 解 决 视频 流 的 连续 帧 特 征 提取 问 题 ， 下面作 详细介绍 

。

２ ２
．
基于 ３ Ｄ 卷积 神 经 网 络 的 视频 特征 分段 提 取



３ Ｄ 卷积顾名 思 义就是 比 ２Ｄ 卷积在时 间 维度上 多

一

维 ， 即 在 连续 帧 图 像流上进 行 卷



积运算 。 所以 ， ３ Ｄ 卷积 神 经 网 络 既可 以 提取 空 间 信 息 又可 以 提取 时 间 信 息 ，
相对于光


流图的时间消耗 ， ３ Ｄ 卷积运算大大减少 了 运算耗 时 ， 而且 效果不低于光流信 息 的 特征


提取方法 本文基 于 。 ３ Ｄ 卷积 神经 网 络 的特征提取部分 利 用 传统 的 ， ３ Ｄ 卷积 神 经 网 络 

，

对 视频 中 的 若干段分别进行特征编 码 ， 其 中 各段之 间 的 ３ Ｄ 卷积 网 络参数共享 。

如图 ２ ６

 ．

所示 本章基于 Ｄ 卷积神 经 网 络提取视频特征 部 分 的 步骤主 要 分 为 搭建 个用



一

， ３ ： （ １ ）

于人体 行 为识 别 的 ３ Ｄ 卷积神 经 网 络 ， 包括 ３ Ｄ 卷积层 、 ３ Ｄ 池 化层 和 全 连接 层 部 分 ， 


对

连 续 帧 图 片 流 的 每 个 通道进 行 由 前 到 后 的 特 征 提取 ，
最 终 通过 全连接 层 形 成 整体 的 特征



描述 ；
（ ２ ） 将 视频流 的 各个动 作 段 的 连续 多 帧 图 片 经过步骤 （ １ ） 得到 特征 向 量后 ， 

经

５
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视频 行 为 特征 的 分段提取



过特征 特 征 融 合方法 得 到 整个 视 频 的 特征 描 述子 ；
（ ３ ） 经过 Ｓｏｆ
ｔｍ ａｘ 分类器得到类别 概



率 

。


＾
驗
 ；续 ＾
？
￣ ￣ ￣ —

二１１ 
训 ｒ ＝
〇
Ｖ 
  ［
；

｜ （ 
Ｉ
（
＼＿  （ ）
络 训 练７
；
丨

Ｉ Ｃ ｏ ｎ ｖ ３ ｄ Ｉ
｜ 

丨


１

 
｜

   Ｔ ■

｜ 

｜

Ｃｌ Ｄ
＇

（
连续 帧
（ ）
！  １

Ｐ ｏ ｄ  ３ ｄ   

Ｊ

ＨＪ  ｙ ＾ 
Ｉ Ｉ

ｉ
ｖ ￣￣

＿ ＿  Ｉ  ？ 纖 网络



Ｌ
［

Ｌ ￣


Ｔ   

   ＾ ！
：

？
ｉ
！
？
！


Ｊ

＿ Ｉ —
．
－ １



！

    ｒ Ｌ
；

创建均 值 Ａ Ｉ Ｉ － 

Ｉ

（
！


１
￣ ￣ ￣￣

连续帧
文件 
１

）
Ｉ 

｜

Ｉ （ （

  Ｌ
丨
１

Ｉ ■  —
 一  ． 一 ．  一  ■ 一  ■ 一  － 一 一 一  一        一      一  

Ｊ

  ▼   



Ｍ ￣￣

？ 各 连 续 — 征 提取


？ 行为识别 结 果 分类


？ 准确 率统计


（ （ ）

图 ２ ６
．
基于 ３ Ｄ 卷积神经 网 络特征提取 框架 图



ｇ ２ ６  Ｆ ｅ ａ ｔ ｕ ｒ ｅ  ｅ ｘ ｔ ｒ ａ ｃ ｔ ｏ ｎ  ｆｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ３ Ｄ  ｃ ｏ ｎ ｖ ｏ
Ｆ ｉ ． ． ｉ ｌ ｕｔ ｉ ｏ ｎ ａ ｌ ｎ ｅ ｕ ｒ ａ  ｎ ｅ ｔｗ ｏ ｒ ｋ
ｌ 


２ ２
． ． １ ３ Ｄ 卷积介绍



３ Ｄ 卷积非常适合时 空特征学 习 ， ３ Ｄ 卷积 具有 更 好 的 时 间 信 息模型 能力 。 ３ Ｄ 卷积 


，

如图 所示 在 Ｄ 卷积 的 基础上增 加 个维 度 即 连续 多 帧 图 像卷积操作 如 图
一

２ ７ ．
， ２ ， 。 ２ ． ８ 

，

将 ２Ｄ 卷积 应 用 于 单 通道 图 像或 应 用 于 多 通道 图 像将 生 成 幅图像 因此 ２Ｄ 卷积 网 络


一

。 ，

无法 获取输 入 信 号 的 时 间 信 息 ； 只有 ３ Ｄ 卷积 保 留 了 输入信 号 的 时 间 信 息 ，
从而 产 生 了



个 图 像序 列 同 样 的 方法也适用 于 Ｄ 池化和 ２Ｄ 池化
一

， ３ 

。

ｔ ｅ ｍ ｐ ｏｒａ 

ｌ



Ｗ 图 ２ ７３
． Ｄ 卷积示 意 图



Ｆ ｇ ２ ７３ Ｄ ｃ ｏ ｎ ｖ ｏ
ｉ ．
． ｌ ｕ ｔ ｉ ｏ ｎｄ ａ ｉ

ｇ ａｍ
ｒ 


６
－ 

－

】
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视频行 为 特征 的 分段提取



 ／ ／
  

｜ ／


ｋ

  Ｈ 
ｋ
Ｄ ｄ
—



？

Ｈ  ＾

＾ ＞ ｋ

Ａ －


Ｊ

 ｏ ｕｔ ｐ ｕ ｔ   ＾ 


／


Ｗ
Ｗ 
２ Ｄｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏｎ  ３ Ｄｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏｎ



图 ２ ． ８ 二 维和 三维卷积运算


Ｆ ｉ
ｇ ． ２ ． ８２ Ｄ  ａｎ ｄ  ３ Ｄ ｃ ｏ ｎ ｖ ｏ ｕｔ ｌ ｉ ｏｎ



人体行为识 别 输入为连续 多 帧 图 像 ， 以往大多 数 网络采用 ２Ｄ 卷积层 ， 损失 了时间




信息 。 而使用 ３ Ｄ 卷积不仅 获取 了 时 间 信 息而且 保 留 了 空 间 信 息 。 相对于 ２Ｄ 卷积 网 络




使用 光流 图 获取时 间 信 息 ，
其耗时长 、 易 受干扰 的 缺 点 ， ３ Ｄ 卷积更适宜于连续帧 的特



征提取 

。

２ ２ ２ ３
． ． Ｄ 卷积神 经 网 络 结构



卷积神经 网 络是 等人 在 年第 次提 出 的 用 来解决连续 帧 图像任务



４６］
Ｄ
一

Ｓ ２０
［

３ Ｊ ｉ １ ３ ，

的 卷积神 经 网 络 后面的 些 改进 的 Ｄ 卷积 网 络都是 基于这个 网 络 的 优化 如下图 ２ ９



一

。 ３ 。 ＿

所示 ， 该 网 络含有 １
个 ｈ ａｒ ｄ ｗ ｉ ｒ ｅ ｄ  （ 硬连线 ） 层 、 ３ 个 ３ Ｄ 卷积层 、 ２ 个下 采样层 和 １


个

全连接层 

：

＊ 

＂

Ｉ
＇

．

咖



＾
ｃｏｎｖｏ
咖 咖ｏｎ
 ｓ ｕ ｂｓ ａ ＿
＾ ＾
ｎ
ｉ

、
ｈ ａ ｒｄｗ Ｄｓａ

ｆ ｅｄ 議  ｓｕ
ｃｏｎｖｏ ｕ ｏｎ

？
，

？
ｉ

ｌ
ｔ ｉ

／
１ ？
￣
１
－

＂

ｌ

ｓＴ
  ＆ ｐ  ＾  ＼

 ”
Ｆ
Ｉ

ｆ ｌ

 ｐｍ  临  ＼
 『
ｎ ｕ




ｐ ｔ
ｉ ：

ｌ ％
、
獅

，＾
７

上 

１

■ 

二
１

  匕 二 ２

＊
＊

２３ ２ § ５４ ｘ ３４  ２３ ２ ＾ ２ ７ｘ １ 

７

图 ２ ９ ．
经典 ３ Ｄ 卷积 网 络


Ｆ ｉ

ｇ ．
２ ９Ｃ
． ｌ ａｓ ｓ ｃ  ３ ｉ Ｄ ｃ ｏｎｖｏ ｌ ｕｔ ｉ ｏ ｎｎ ｅ ｗ ｏ ｒ ｋ

 ｔ

在第
一

个硬连线层 中 ， 上 图 网络应用
一

个 固 定 的硬连线核来处理原始帧 ， 生成多个



信道信息 ，
并分别 处理每 个信道信 息 。 ｈ ａｒ ｄ ｗ ｉ ｒｅ ｄ 层 相 当 于 提取 视 频信 息 的 特 征 先验 知



７
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



识 ，
包括五种特 征信 息 ：
灰度 图 、 ｘ 和 ｙ 方向 的梯度 、 ｘ 和 ｙ 方 向 的 光流信 息 。
随后 的



Ｄ 卷积层 对上述五个特 征通道 的 每 个特征通道进行卷积运算 如 同 ２Ｄ 卷积神 经 网 络



一

３ ，

样 的 卷积操作 不 同 在于 Ｄ 卷积 网 络 是在 连续 图 像上 的 相 同 位置 同 时执行卷积操作
一

， ３ 

。

Ｄ 卷积之 后 的 下 采样 层 同 Ｄ 卷积核工 作 原理
一

致 进 步 得到 空 间 分辨率 和 帧 数 降低


一

３ ３ ，

但是通道数不变 的特征 图 。 最 后 经过全连接层 和 Ｓｏｆ

ｔｍ ａｘ 分类器得到分类结 果 

。

经典 的 ３ Ｄ 卷积 网 络 依 旧 存在 着诸 多 问 题 ，
其中 ，
网 络输入 需 要 计 算 连 续 帧 的 光流



信息 且 不 能 处理长时 序 的 视频流 针对这些 问 题 种 更 加 简 洁 美丽 的 Ｄ 卷积神 经



一

， 。 ， ３

网 络框架 由 此产生 如图 所示 通用 的 卷积 神 经 网 络 卷积层

４７
。 ２ ． １ ０ ， ３ Ｄ ［ ］

使用 ８ 层 ３ Ｄ 

、

５ 层池化层和 ２ 层 全 连接 层 ， 提取人体行为特征 。 该 网 络具 有很好 的普适性 ， 适用 于 多




个视频动 作 场 景 ， 如行为识别 ，
场景识别 ， 视频相 似度分析 等 ， 此 网 络 以 多 张连续 帧 图



片 作 为 网络 的输入 ，
使用 八层 ３ Ｄ 卷积层 同 时 学 习 时 间 和 空 间 维度特征 ， 不 仅减少 了 时



间和 空 间损耗 ，
而且 效果更好 

。

＞
Ｃ ｏｎｖ ｌ ａ
＾ Ｃ ｏ ｎｖ ２ ａ


￣

  ￡


６４ １２８
２


Ｖ ．

＾  ＾  ｙＬ  ）


￣

ｒ ｒ ｎ

Ｃ ｏ ｎ ｖ ３ ａ Ｃ ｏ ｎｖ ３ ｂ
写


２５６  ２ ５ ６ § ＿ 
 ｔ 

ｎ

ｖ ｘ  ｖ ／Ｌ
ｆ  ．
 



ｒ
ｆ
＼


＾

＾  Ｃ ｏ ｎ ｖ ４ ａ Ｃ ｏ ｎ ｖ ４ ｂ
＾


连续 巾贞
 ５ １ ２ ５ １ ２  °


？Ｌ ｏ ｓ ｓ



图 片 ｌ Ａ 
Ｊ Ｌ ＾ Ｊ


Ｃ ｏ ｎ ｖ Ｓ ａ Ｃ ｏ ｎ ｖ ５ ｂ
 ＾ 



 ５ １ ２ ５ １ ２


ｖ 
／＼ 
／ 


）

ＦＣ６ ＦＣ７



４ ０ ９ ６ ４ ０ ９ ６



Ｓ ｏ ｆｔ ｍ ａｘ
： ］



图 ２ ． 〗 ０ 通用 的 ３ Ｄ 卷积 网 络


Ｆ ｉ

ｇ ． ２ ． １ ０Ｕ ｎ ｖ ｅ ｒｓ ａ ３
ｉ ｌ Ｄ ｃ ｏ ｎ ｖ ｏ ｌ ｕｔ ｏｎ ａ
ｉ ｌ ｎ ｅｔｗ ｏ ｒｋ



使用 ２Ｄ 卷 积 神 经 网 络 来 识 别 单 个 帧 图 片 类别 ， 显而 易 见 ， 这 种 方 式无 法考 虑 到 连续



帧 图 像 的 运动信 息 针对 这 问 题加入 了 光流场 作 为 时 间 信 息 的 改进 使用 传统光流信



一

。 ，

息代 替连续帧 图像 的运动信 息 随 即 使用 ， ２Ｄ 卷积神经 网 络提取光流 图 的 高阶语义 特征 


，

但是 光流信 息 般 只 获取前 后 两 帧 图 像运动 信 息 且极易 受背景影响 因此 种利用



一
一

， 。 ，

８
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特征 的 分段提 取



卷积神 经 网 络 来捕 获 空 间 和 时 间 维度信 息 特征 的 ３Ｄ 卷积神 经 网 络应运而生 。 上述 的传




统的 ３Ｄ 卷 积 神 经 网 络 可 以 在 连续 帧 或 者 多 帧 之 间 生 成 多 个 信 息 通道 ，
并 且 在 每 个 通道



中 分 别 执行卷积 和 下采样 像 卷积 网 络 样 通过组合动 作 特征 图 通道 的 信 息 来获



一

， ２Ｄ ，

得最终 的 特征表示 

。

本 章 系 统 中 为 了 更好地提取完整行为特 征 首 先将视频 分成 多 段 每 小 段视频处



一

， ，

理 成连续 多 帧 图 像 ，
并进 行 求均 值 化 、 翻 转等数据 预 处理 ， 作为 ３ Ｄ 卷积 网 络的输入 

。

然后 ，
根据 训 练标签 指 定 文 件 夹 里 的视频 作 为 网 络 输入 ， 经过上述 ３ Ｄ 卷积 网 络后 ，


将

最后
一

层 全连接层 的
一

维 特征 向 量 的 输 出 做 元 素 加 权 平 均 ， 作 为 融合 策 略 。 最后 ， 经过



Ｓ ｏ ｆｔ ｍ ａ ｘ 分类器得到 类别 的 概率 分 布 

。

２ ３３． Ｄ 卷积神 经 网 络 的 结 果 与 分析



２ ３ ． ． １ 常 用 数 据 库 和视 频 预 处理



随着人体行为识 别 技术 的 发展 ， 相 关 的 数据 库 也在 不 断 改进和 发展 ，
表 ２ ． １ 列出 

了

近 几年人体行 为 识 别 领域相 关 的 数据 库 

。

表 ２ ． １ 人体行为识 别数据集


Ｔ ａｂ ｌ ｅ ２ ． １ Ａ ｃｔ ｉ ｏｎＲｅ ｃ ｏ ｇｎ ｉ ｔ ｉ ｏ ｎ  ｄ ａｔ ａｓ ｅｔ



数 据 集 名 称 发 表 时 间 行 为 类 别 总 视 频 片 段



Ｋ Ｔ Ｈ ２００ ４  ６ ２ ３ ９ 

１

Ｗｅ ｉ ｚ ｍ ａｎ ｎ  ２ ００ ５ １ ０  ９０



Ｉ Ｘ ＭＡ Ｓ ２ ０ ０ ６ １ １  ３ ６３



Ｈｏ ｙｗ ｏ ｏ ｄ ２ ０ ０ ８ ８
ｌ ｌ ２ ４０



Ｕ Ｃ Ｆ Ｙ ｏ ｕＴｕ ｂ ｅ  ２ ０ ０ ９
 １ １  １ １ ００



Ｈｏ ２ ２ ０ ０ ９ ２ ３ ６ ６ ９
ｙ ｗｏｏｄ 

Ｉ ｌ １

Ｕ ＣＦ５ ０ ２０ １ ０ ５ ０  ５ ０ ００



Ｈ ＭＤ Ｂ ５  ２ ０ １ １ １  ５ １  ６８４９



ＵＣＦ １ ０ １  ２０ １ ２ １ ０ １  １ ３３２０



Ｓ ｐ ｏ ｒｔ －

１ Ｍ ２ ０ １ ４ ４ ８ ７  １ ０ ０ 

万

考 虑 到 数据 库 库 质 量 和 普 适 性 ，
本文 中 使用 ＵＣＦ １ ０ １ 数据集 和 ＨＭＤＢ ５ １ 数据集


［
４９ ］

作 为本文 的 数据集 ， 也是 目 前 人体 行 为 识 别 领域最 为挑 战性 的 两个 数据 集 。 其中




９
－ 

－

１
东 北 大 学 碩 士 学 位 论 文 第 ２ 章 视频行 为 特征 的 分段提取



ＵＣＦ １ ０ １ 数据 集包含 １ ０ １
个类别 ，
每个类别 至少 １ ００ 个样本 ，
共 １ ３ ３ ２ ０ 个视频 ， 总 时长



２７ 小时 训 练集包含 。 ９５３ ７ 个视频样 本 测 试集包 含 ， ３ ７８３ 个视频样本 如 图 。 ２ ． １ １ ， ＵＣ Ｆ １ ０ 


１

数据 集主 要 来 自 Ｂ Ｂ Ｃ ／Ｅ Ｓ ＰＮ 的 广 播 电 视频道 收集 的 各 类运动 样 本 、 以及互联 网 特别 是视




频网站 Ｙ ｏ ｕＴ ｕ ｂ ｅ 上 下载来 的样 本 ，
动 作 分类可分 为 五类 ： （ １ ） 人和 物体相 互作用 ；
（ ２ 

）

仅 身 体动 作 ；
（ ３ ） 人与 人相 互作用 ； （ ４ ） 演奏乐 器 ；
（ ５ ） 运动 。 相 对于 ＵＣＦ １ ０ １ ，
，
ＨＭＤ Ｂ ５ 

１

数据 集 具 有 相 对 较 少 的 数据 共有 个类别 每个类别至少有 个视频 段 


共
一
一

， ５ １ ， １ ０ １ ，

有 ６８４９ 个视频段 。 但是 ＨＭＤ Ｂ ５ １ 数据 集 画 质 稍 差 ， 且相 机抖动 明 显 ，

对 行为识别 模型



加入 了 更多噪声 ， 而且背景环境较为复杂 ， 相对于 ＵＣＦ １ ０ １ 数据集 ，

现有 的 网 络 中



ＨＭＤ Ｂ ５ 数据 集准确 率并 不 高 如图 Ｈ Ｍ Ｄ Ｂ ５ 数据库大多来 于 电影 还有



一

１ 。 ２ ． １ ２ ， １ 自 ，

些公开 数据 库 的 整合 以及 Ｙ ｏ ｕＴ ｕｂｅ 等视频 网 络 库 动 作 分类主要是五类  般的



一

， ： （ １ ）

面部表情 带有 辅助对 象 的 面 部 动 作 般 的 身体动作 有物体辅助 的



—

； （ ２ ） ；
（ ３ ）  ；
（ ４ ）

人体行 为 ；
（ ５ ） 人体 互动 的 身 体 动 作 ，
涵盖 了 日 常 见到 的人体行为 

。

ｏ
ｔ 

丄
 ＳＳ ｆＳ Ｔｉ  ＳＥＳ ＫＴ ＩＥ Ｓ Ｃ
Ｔ  ＳＪＣ
ＴＳＳＳＴ
＇

＊ ２３０ ２５ ＾＊ ｉ ａ
ｉ ｉ


＊

Ｓ ＳＣ Ｃ Ｔ ｔ ＨＤ Ｓ Ｋ ｊ
Ｅ３Ｃ２Ｘ ｏ  Ｅ ｓ Ｔ ３Ｈ Ｂ３ １  ２ ５ＫＺｎ３ ５
Ｍ ＥＳＣ Ｉ  Ｅ ５ｔ ５  Ｘ ２ Ｓ ３ ＳＥ Ｅ Ｋ  Ｊ Ｅ Ｓ Ｓ Ｅ Ｅ Ｓ Ｓ Ｓ Ｔ  ｉ ｉ Ａ Ｊ Ｒ ｉ Ｔ  

ｄ

 ：；



ＳＳ戀 ！ 盡 在 ３Ｅ

 Ｉ


—

＿ ：ｌ ＾ — 丄 ｗ ｒ＾ ｉＦ 

—   —
ｉ
 ＢＭ Ｈ ｍ  ＂＂＂＂＂＂＂＂Ｈａｍｍ  ｍｍｍｍｍｍｍ ｍｍ  ｍｍｍｍｍｍｍｍｍ 
ｍ
ｍｍａｍｍｍｍｍ  ｍ ｍ ｍ ｍ ｍ ｈ ｍ ｉ  ＾ 
＾  ＼ ｉ

ＢＰ



ｊ

」 ＾ Ｉ
？ ＪＬ ．— Ｉ Ｌ，



ｍ Ｗｉ 通ｍ ｎ Ｓ Ｓ Ｓ Ｅ Ｂ Ｕ ｆ
， ｔ ■ Ｅ ＥＪ Ｇ Ｔ ｌ Ｗ  Ｅ ５ Ｓ Ｏ ５ ＾  Ｍ Ｋ Ｔ ｕ ２ ？ １ Ｍ ￡ ｉ Ｍ ５ ５ Ｌ ＾  Ｅ ５ ２ ２ ３ ５ ５ ５ ５ １
＾
Ｂ  
 ！ ！ ｒ
 ｉ

１ ＾９


图 ２ ． １ １ ＵＣ Ｆ １ ０ １ 数据集样 例


Ｆ ｉ

ｇ ２ ． ． １ １ Ｕ ＣＦ １ ０ １  ｄ ａｔ ａ ｓ ｅ ｔ  ｓ ａ ｍ ｐ ｅ

 ｌ

２０


－
－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视频 行 为 特征 的 分段提取



４ ｍ  ＾ Ｂ  ｙ ｉ Ｉ  於’ ％
＾
、 ２＿也


 ＾  ＾  ＾
＾



ｈ
 ｐ ｕ ，

Ｃ ｕ ｓ ｈ ｏｒ ｔ ｖ ＾ ｃ ．  ｃ
－

－， 加 ｂ  ｃ ． ，
＾

＾ ｔ ＾ ｉ ４ ＊ ｉ
＾  ｍ ｗ ｍ ｍ ｍ
．

ｉ ｉｉ


＾ Ｕ  ＿  ？？ Ｗ  ｍ ｏｆ
ａ  ＾＊ ＊ａ
＾
．
， ＊ ． 

？

Ｗ 改 被 啟 嫩 ＊ ＾ｍ 切 Ｉ

 ｇ
ｂａ ｍ ｒ ｕｎ


恤

＾ ｌ ＾ ７
＾Ｂ＾ｆ
＇

ｔ
ｕ
 ｗ
ｉ
＊

ｈ ｓｒ
＾ ＜ ｝ Ｈ ｔ
！

ＷＳ
 Ｍｍ
ｉｌ
ｔ 
￡ ｆ ｔ  ？ ｔ ＊ ｎ＊ ＞ 

？ ？
＂


？
？ ？
＊ ？ ？ ？ ？ ？ ＊  ？？？  ？ ＊ ？ｙ＊？ 
／
ｔ ｕｒ


ｎ

Ｈｘ ＊ ｌ ＊＾  ｂ ｍ＊ ｔ ｗ ？ ？？ ？＞？




團 鱷
ｈ ｅｉ ｒ  ｋ ｖ  ｂｕ ｔ
＾■
＊
＊
？
ｐ ＊ ｔ ｖ  Ｆｃ
縐 ＿ ＿■ ｍ

 ？ ｉ
ｆ
 ｐ ｕ Ｍｕ ｐ  ｐ ｕｎ ｃｈ 
 
？＊＊？



ｂｔ
ｆ ｌ

图 ２ ． １ ２ Ｈ ＭＤ Ｂ５ １
数据 集样例


Ｆｉｇ ２ ． ． １ ２ Ｈ ＭＤＢ５ １ ｄ ａ ｔ ａ ｓ ｅ ｔｓ ａ ｍ ｐ ｅ

 ｌ

模 型 训 练之 前 首 先进 行视频 预处理 。 因为 ３ Ｄ 卷积 网 络 的输入 需要连续帧 图 像 ，



首

先将 ＵＣＦ １ ０ １ 数据 集 中 的 视频转 化 成 图 片 序 列 作 为 输 入 序 列 。
传统的 ３ Ｄ 卷积神经 网 络



的 输入 是在 段视频 中 随 机 连续 采 样 张图片 这样 的 方法使得不 太 合理 很 可 能 会造



一

ｎ ， ，

成关键 行为段的损 失 影响模型 效果 另 种 方 法 是 扩 大采样 的 帧 数 尽 可 能 获 取 完 整 的



一

，
；

行为 ， 这样 会造成 帧与 帧之 间 信 息 的 冗余 ， 而且增 加卷积网 络参数 ， 影响 网 络效果和 运




行效率 。 本 文采用 视频分段 的 方 式 ， 首 先将视频 分成 多 个子 段 ，

每 个段之 间 随 机采样 若



干张 图 片 ， 既包含 了 完整 的动作 ，
又减 少 了 无用 的 信 息输入 。 如图 ２ ． １ ３ 所示 ，
例如将视



频 分 成三段 ，
每段随 机取 两 张 连续 帧 图 片 ，
分别 作 为 ３ Ｄ 卷积祌经 网 络 的输入 

。

ｍＬ 

￣

ＨＰ ＃  ｉ  Ｈ ＩＴ  积 神经 网
＇


 ｔ 


Ｓｆ
—

ｃ －
 ｒ 

ｉ

Ｌ Ｚｊ



黾 命 

ｓ
如图 ２ ． １ ３ 视频预处理示意 图


Ｆ ｉ
ｇ ． ２ ． １ ３ Ｖ ｉ ｄ ｅｏ
 ｐ ｒ ｅ ｐ ｒｏ ｃ ｅ ｓ ｓ
ｉ ｎ
ｇｓ ｃ ｈ ｅ ｍ ａ ｔ ｉ 

ｃ

２ 
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



２ ． ３ ． ２３ Ｄ 卷积神 经 网络模型训练




本 章 的 动 作特征提取部 分 首 先将视频分成 多 段 然后每 段使用 层 Ｄ 卷积

一

８ ３ 

５
？

．
；
、

层 Ｐ ｏｏ ｌ 和 ２ 层 全连接 层 的 ３ Ｄ 神 经 网 络结构 作 为模 型 编码层 ，

并共享各段 的 部 分 网 络参



数权值 最后 Ｄ 神经 网 络输 出 层 为每段的结 果 向 量 即 维特征 向 量 并通过结 果段



一

；
３ ， ，

融合方 式得到 整体结 果序 列 


。

分 段输 出 层 的 特 征 向 量 融 合方法通 常 采 用 两 种 方法 种 是平 均 法 如图 

各
一

： ， ２ ． １ ４ ，

个子段最后 层 全 连接 层 的 维特 征 向 量 按元 素进行加 权平均 得到最终融合 的 维特



一
一 一

征向量 再经过 ｔｍ ａｘ
ｆ ＊类器得 到 最终结 果 种 是最 大值法 如图 按元素选


一

，
Ｓｏ ；
， ２ ． １ ５ ，

择 各子 段最大值 组成 个子段 将该子段的 维特征 向 量作 为最后 的特征 向 量 同样使



一 一

， ，

用 Ｓｏ ｔ ｍ ａｘ
ｆ 分类器得到 最终结 果 。 下 文将对 两 种 融合方式做对 比 ， 选择更适合人体 行 为



识 别任务 的 平均 融 合方 式作 为结 果序 列 的 融合方法 

。

０ ３ ．

 〇 ．
ｉ  ０ １０ ． ． ５

０ ２ ．

 ０ ２ ． ０ ． １ ０ ． ５  ｌ
 ＞ ０ ． ２ ０ ．
１３ ０ ．
１ ０ ． ５７



０ １ ．


 
Ｃ
Ｍ ０ ． １
 ｜
〇 ７ ．

图 ２ ．
１ ４ 平均 法融合示 意 图


Ｆ ｇ ２ｉ ． ． １ ４  Ｍ ｅ ａ ｎ  ｍ ｅ ｔ ｈ ｏ ｄ  ｆｕ ｓ ｉ ｏ ｎｄ ａ ｇ ｒ ａ ｍ

 ｉ

０ ３．
０ １ ．
０ ．
１ ０ ． ５

０ ２ ．

 ０ ２ ．
０ ． １ ０ ．
５ ｌ  ＞ ０ ． ３ ０ ． ２ ０ ． １ ０ ．


７

０ １ ．

 〇 ｌ ．

 ０ １
． ０ ． ７

图 ２ ． １ ５ 最大值融 合示 意 图


Ｆ ｇ ２ ｉ ． ． １ ５ Ｍ ａｘ ｉ ｍ ｕ ｍ  ｆｕ ｓ ｏ ｎ  ｄ
ｉ ｉ ａ ｇｒａｍ



网 络输入 的 帧 数 和 段数对模 型 本 身 有 着 决 定 性 的 影 响 ，
本 文 通 过对 比 交 叉 实 验 ， 

选

择最佳 的 帧数和 段数 的 组合 。 由 于 硬件 条件 限 制 ，
本文在通用 的 ３ Ｄ 卷积神 经 网 络基础



上 将卷积层设置为
， ８ 层 池化层 数和 全连接层数保持 不变 根据输入序 列 的 帧 数 不 同
， 。 

，

相 应 改变池化层 的 参数 

。

在 下 列 实验 中 ，
本文选择 了 几 组 在对 比 试验 中 性 能 效 果 较 好 的 实验 结 果 作 为 参考 

。

本 次帧数和 段数参数选择 的 对 比 实验 ， 是在 相 同 的 Ｄｒ
ｏｐｏｕ ｔ 值 、 相 同 的 正 则 化方 式 、 

使

用 相 同 的 优化方法情况下 ， 对 两个超参 数两两交 叉进行对 比 实验 ， 实验结果 如表 ２ ２ ．



所

示 ， 对 比 实验 中 分别 使用 两种 融合方式 ：
平均 融合和 最大值 融合方式 ，
不仅考虑到段数



２ ２
－ 

－
东 北 大 学 碩士 学 位论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取




和 帧数对模 型 影 响 ， 而 且 考 虑 了 不 同 的 分 段 数 对两 种 融 合 方 法 的 作 用 效果 ，
并使用 提前



停止 方式得 到 各参 数组合最佳模型 

：

表 ２ ２
．
不 同 超 参组 合 的 模型 结 果对 比 （ 准确率 ， ％）



Ｔ ａｂ ｌ ｅ  ２ ２  Ｃ ｏｍ ｐ ａｒ
． ｉ ｓ ｏ ｎ  ｏ ｆ ｍ ｏ ｄ ｅ ｌ  ｒｅ ｓ ｕ ｌ ｔ ｓ  ｏ ｆ ｄ ｉ ｆｆｅ ｒ ｅ ｎ ｔ  ｓ ｕ ｐ ｅ ｒ ｐ ａ ｒ ａ ｍ ｅ ｔ ｅ ｒ  ｃ ｏ ｍ ｂ ｉ ｎ ａｔ ｉ ｏ ｎ ｓ （ ａ ｃ ｃ ｕ ｒ ａｃ ｙ
 
－

％ 

）

帧 数 段 数 平 均 融 合  最 大 值 融 合



８  ６ ７ ８ ３ ．  ７８ ５

 ．

８  ９  ８ １ ． ４ ８ ０ ６

 ．

８  １ ２ ７ ９ ８ ７ ７ ３

 ． ．

１ ６ ６ ８ ０ ０ ．  ７９ ． 

７

１ ６ ９ ８ ０ ９ ．  ７９ ０

 ．

１ ６ １ ２ ７ ８ ０ ７ ８ ２

 ． ．

２４ ６ ７ ７ ５ ７ ７ ５

 ． ．

２ ４ ９  ７ ７ ９ ７ ６ ８

． ．

２ ４ １ ２  ７６ ２ ７ ７ ０

 ． ．

由 上表得 ， 当 帧数为 ８ ，
段数为 ９ 时准确率 效果最好 。 而且平均 融合方式 的 效果 在



多 数组合 中 比最 大值 融合方式更好 ，
尤其 是 在 段数较 少 的 情况 下 ， 平均 融合法相对 于 最



大值 融合法提升 效果更 大 。 下 面本文为 了 得 到 精确 的 参数值 ， 对 段数进行微调 ，

依旧是



在相 同 的 Ｄ ｒｏ ｐ ｏ ｕｔ 值 、 相 同 的 正 则 化方法 、 使 用 相 同 的 优化方 法 情 况 下 ， 设定最佳帧 数




为 ８ ， 对 段 数进 行 微调 ，
其结果如 下表 ２ ３ ．
所示 

：

表 ２ ． ３ 不 同段数 的模型结果对 比 （ 准确率 ， ％ 


）

Ｔ ａｂ ｌ ｅ  ２ ３  Ｃ ｏ ｍ ｐ ａｒ
． ｉ ｓ ｏｎｏ ｆ  ｍ ｏｄｅ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ  ｆｏ ｒ  ｄ ｉ ｆ ｆｅ ｒｅ ｎ ｔ  ｓ ｅ ｇ ｍ ｅ ｎ ｔ ｓ  （ ａ ｃ ｃ ｕ ｒ ａｃ ｙ ％ 

）

段 数 平 均 融 合 最 大 值 融 合



８  ８０ ９ ．  ８０ ． 

１

１ ０ ８ ２ ７ ８ ． １ ． 

１

１ １  ８ ０ ５ ７ ８ ８
． 
 ．

通过 以 上 实验可得 ，
段数越 长 ，
最大值融合 的方法效果 下 降 ； 帧数为 ８ 情况下 ， 

平

均 融合和 最大值 融合方法都 能得 到 最好 效 果 。 由 此可得 ， 结 果 融 合 中 使 用 平均 融 合方 式




更 适 合本文 的 人 体 行 为 识 别 任 务 ， 而且 ， 帧数为 ８ 、 段数为 １ ０ ， 可 以使得 ３ Ｄ 卷积神经




网 络 获得 最佳 的 特征表示 。
如下表 ２ ４
．
所示 ，
最 佳 帧 数 的 值 确 定 了３ Ｄ 卷 积 神 经 网 络 的



２３ 

－
－
东 北 大 学 硕士 学 位论文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取




各个层 结 构 结构 参 数 以 及输入输 出 的 尺寸 其中 各个段 的 网 络模型 结 构 完全 致

一

、 ， ， 

，

并 且各段 网 络 参数共 享 

：

表 ２ ４ ．
分段 ３ Ｄ 卷积 网 络结 构 图 参数


Ｔ ａｂ ｌ ｅ２ ． ４  Ｓ ｅ ｇ ｍ ｅ ｎ ｔ ｅ ｄ  ３ Ｄ  ｃ ｏ ｎｖ ｏ ｌ ｕｔ ｉ ｏ ｎ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ  ｃ ｈ ａ ｒ ｔ ｐ ａ ｒ ａ ｍ ｅ ｔ ｅ ｒ ｓ




网 络 层 名 输 入 大 小 滤 波 器 大 小 核 大 小 输 出 大 小



＊ ＊
Ｄａ ｔ ａ ８
＊
１ １ ２ １ １ ２ －  －

８＊ １ １ ２ １ １ ２
＊


３

＊
Ｃ ｏｎｖ ｌ ａ ８ １ １ ２
＊
１ １ ２
＊
３  ６４ ３ ＊３ ＊ ３ ８ ＊ １ １ ２
＊
１ １ ２
＊
６４



Ｐｏｏ ｌ ｌ ８＊ １ １ ２
＊
１ １ ２
＊
６４ －

 １
＊
２
＊
２ ８
＊
５６
＊
５６
＊
６４



Ｃ ｏ ｎｖ ２ ａ  ８ ＊ ５ ６ ＊ ５ ６ ＊ ６ ４  １ ２ ８  ３ ＊ ３ ＊ ３  ８ ＊ ５ ６ ＊ ５ ６ ＊ １ ２８



＊
Ｐｏ ｏ ２ ８ ｌ
＊
５６
＊
５６ １ ２ ８ －

 ２ ＊ ２ ＊ ２ ４ ＊ ２ ８ ＊ ２ ８ ＊ １ ２８



Ｃ ｏ ｎｖ ３ ａ  ４ ＊ ２ ８ ＊ ２ ８ ＊ １ ２ ８ ２ ５ ６ ３
＊
３
＊
３  ４＊ ２８ ＊２ ８ ＊２５ ６



ｖ３ ｂ  ４
＊
Ｃｏ ｘｉ
＊
２８
＊
２８
＊
２ ５ ６ ２ ５ ６ ３ ３
＊
３  ４ ＊２ ８ ＊ ２ ８ ＊ ２ ５ ６



Ｐｏｏ ｌ ３  ４ ＊ ２ ８ ＊ ２ ８ ＊ ２ ５ ６  ２ ＊ ２ ＊ ２ ２ ＊ －
１ ４
＊
１ ４
＊
２５ ６



＊ ＊ ＊ ＊
Ｃ ｏ ｎ ｖ４ ａ  ２ ＊ １ ４ １ ４ ２ ５ ６ ５ １ ２ ３ ３
＊
３ ２＊ １ ４ １ ４
＊
５ １ 

２

Ｃ ｏ ｎｖ ４ ｂ  ２ ＊ １ ４
＊
１ ４
＊
５ １ ２ ５ １ ２  ３ ＊ ３ ＊ ３ ２ ＊ １ ４
＊
１ ４
＊
５ １ 

２

Ｐ ｏｏ ４ ２
＊
＊
ｌ １ ４
＊
１ ４ ５ １ ２ －

 ２ ＊ ２ ＊ ２ １
＊
７
＊
７
＊
５ １ 

２

＊ ＊ ＊ ＊
Ｃ ｏｎ ｖ５ ａ  １ ７
＊
７
＊
５ １ ２ ５ １ ２  ３ ＊ ３ ＊ ３ １ ７ ７ ５ １ 

２

Ｃ ｏ ｎｖ ５ ｂ  １
＊
７
＊
７
＊
５ １ ２ ５ １ ２  ３ ＊ ３ ＊ ３ １
＊
７
＊
７
＊
５ １ 

２

Ｐｏｏ ５ １
＊ ＊ ＊
ｌ ７
＊
７ ５ １ ２ －

 １ ２
＊
２ １
＊
４
＊
４
＊
５ １ 

２

Ｆ ｃ６ 
＊ ＊
１ ４
＊
４ ５ １ ２  ４ ０ ９ ６  ４ ０ ９ ６

 －

Ｆ ｃ ７ ４０ ９ ６ ４ ０ ９ ６ －

 ４０ ９ ６



２ ３ ３
． ．
结果分析



下 面 将本 章 的 分段 ３ Ｄ 卷积神 经 网 络模型 与 双流 ２Ｄ 卷 积神 经 网 络模 型 和 传 统 的 ３ 

Ｄ

卷积神 经 网 络做对 比 。 其 中 双流 ２Ｄ 卷积神 经 网 络 中 的 的 ２Ｄ 卷积神经 网 络为 ５ 层 卷积




层 、 ３ 层池化层和 ２ 层 全连接层 空 间 流和 时 间 流 网 络 的 网 络结 构相 同 但 是 参数不共享 ， 


。

如下 图 所示 空 间 流 网 络 的 输 入 从视频 流 中 随 机 采 样 张图像 时 间 流 网 络输入 从



一

２ ． １ ６ ， ，

视频流 的 光流 图 中 随 机采样 张 连 续 帧 的 光 流信 息 两 个 网 络结 果使用 平均 融 合 合并

一

， 

，

得 到双流 网 络 的最终结果 分段 。 ３ Ｄ 卷积 神 经 网 络 结 构 与 传 统 的 ３ Ｄ 卷积 网 络结构相 同 


，

２４
－


－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



使用 ８ 层 ３ Ｄ 卷积层 、 ５ 层 ３ Ｄ 池化层 和 ２ 层 全连接层 。 如图 ２ ． １ ７ 所示 ， 传统 的 ３ Ｄ 卷积




神 经 网 络 输 入 是在 视 频 流 中 连续 采样 １ ６ 帧 图 像作 为视频 的 时 空信 息 

：

＿
，




、

＿ ｗｍ  

鉍
：

图 ２ １ ６
．
空 间 流 网 络输 入 （ 左 ） 和 时 间 流 网 络输入 （ 右 

）

Ｆ ２ ６Ｓ ｓ ｔｒ ｅ ａ ｍ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｎ ｐ ｕ ｔ（ ｍｎ ｅ ｔ ｗ ｏ ｒ ｋ

ｇ ｐ ａｔ ａ ｅ ｆｔ ａ ｎ ｄｔ ｍ ｅｓ ｔ ｒ ｅａ ｎ
ｐｕ
ｒ
ｇｈ
ｉ ． ． １ ｉ ｌ ｉ ｌ ｉ ｉ ｔ ｉ ｔ
） （ 

）

－
Ｉ  

．

｜  ｜

 ＿

Ｉ
图 ２

． １ ７３ Ｄ 卷积 神经 网 络输 入




＾

Ｆ ｉ

ｇ ． ２ ． １ ７３ Ｄ ｃ ｏ ｎ ｖ ｏ ｌ ｕｔ ｉ
ｏ ｎ ａ ｎ ｅ ｕ
ｌ ｒａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｎ ｐ ｉ
ｕ 

ｔ

本文采用 固 定 的 输入 和 输 出 维度 方 式 ，
各 个 模 型 的 激活 函 数 均 使 用 Ｒｅ Ｌ Ｕ 函数 。


所

有模型 都在大致相 近 的 时 间 内 达 到 神 经 网 络 稳 定 收 敛状 态 ，
并且 模 型 训 练 时 采 用 提 前 终



止 的 正 则 化方式 ，
保证模 型 达到 最 佳状 态 。 不 同 的 神经 网 络模 型 采用 了 相 同 的 归
一

化方



式 所有 模 型使用 相 同 的 梯度 下 降法 和 学 习 率
， ，
并 采 用 相 同 的 正 则 化方法和 正 则 化参 数 

，

对比结果如 下表 ２ ． ５ 和图 ２ ． １ ８ 所示 

：

表 ２ ． ５ 分段 ３ ＤＣＮＮ 与其他模型对 比


Ｔａｂ ｌ ｅ２ ． ５Ｓ ｅ
ｇｍ ｅｎ ｔ ｅ ｄ３ Ｄ Ｃ Ｎ Ｎｃ ｏ ｍ ｐ ａ ｒｅ ｄ ｔ ｏｏ ｈ ｔ ｅ ｒ ｍ ｏｄｅ ｌ 

ｓ

性 能 指 标 空 间 流 网 络 时 间 流 网 络 双 流 网 络 ３ ＤＣＮ １ Ｍ 分 段 ３ Ｄ ＣＮ Ｎ



准确 率 （ ％  ６６ ） ． ８ ７ １ ． ５ ８ １ ． ６ ８ ０ ． ３ ８２ ．


７

运行时间 （ ｈ ） ２ １ ． ５ ３２ ． ０  ２２ －

． １ ２３ ． 

４

２ ５
－ 

－
东 北 大学硕士 学 位 论 文 第 ２ 章 视频行 为 特征 的 分 段提取



准确率 （ ％ 

）

８１ ６ ．

 ８０ ．
３  ８２ ７



Ｍ
空 间 流 网 络  时 间 流 网 络 双 流 网 络  ３ Ｄ Ｃ Ｎ Ｎ  分 段
ｉ ｌ 

ｌ
３ ＤＣＮ Ｎ



图 ２ ． １ ８ 不 同 模型 的对 比结果


Ｆ ｇ ２
ｉ ． ． １ ８ Ｃ ｏ ｍ ｐ ａｒ ｉ ｓ ｏ ｎｒｅ ｓ ｕ ｌ ｔｓ ｏ ｆ ｄ ｆｆｅ ｒ ｅ ｎ ｔ  ｍ ｏ ｄ ｅ
 ｉ ｌ 

ｓ

由 以 上数据可 知 ，
分段 ３ Ｄ 卷积神 经 网 络在人体行为识别任务 上 比 ２ Ｄ 卷积祌 经 网 络



有更优异 的表现 分段 ， ３ Ｄ 卷积 网 络 充 分考 虑 了 完 整视频动 作 信 息 ，

并且与传统的 ３ Ｄ 

卷

积 神 经 网 络 随 机采样 部 分视频 帧 相 比 ，
有 更好 的 准确 率效果 ；
且 各段参数共享可 以 并 行



计算 ， 所 以 相 比 于传统的 ３ Ｄ 卷积 网 络 ，
分段后 的 时 间 复 杂度 并没有 明 显 的 缺 陷 。 以上



结果是在采用相 同 正则 化系数 、 梯度学 习 率和 Ｄ ｒｏ ｐｏｕ ｔ 规则情况下 ， 在相 同 数据集




ＵＣ Ｆ 上进 行控 制 变量 的 结 果 其 中 双流 网 络与 原文结果稍有不 同 但是大抵是 

致
一

１ ０ １ ， ，

的 至于不 同 的 原 因 是 因 为 为 了 对 比 实验 的 条件 致性 双流 网 络和 本 章 的 分段 

Ｄ
一

， ， ， ３

卷积 网 络都没有加入 预训 练模 型 

。

从结 果 来看 ， 在 提 取视频 序 列 特 征 方 面 ， ３ Ｄ 卷积 网 络 模型 相 对 于 ２ Ｄ 卷积 网 络有 更



好的结果 。
在 时 间 要 求严格 的 情况下 ，
使用 分段 ３ Ｄ 卷积 网 络 的 表现超过 了 双流 网 络 的



表现 。
然而 ， 正 如 前述实验所 知 ， 由于 ３ Ｄ 卷积祌 经 网 络 只 能输入 固 定 序列 长度 ，
而且



序列 长度越 多 ， 训 练参数成倍 数增 加 ，
使得模 型 训 练 时 间 复杂度 大大增 加 ，
甚至损 失 函



数不 收敛 。 因此 ，
使用 ３ Ｄ 卷积神 经 网 络 处理 人 体 行为识 别 任务在长 时 间 的 视频特征 提



取 中 具有 定局 限性 本文后 续将利 用 循环神 经 网 络 的 结构 特点 解决视频序 列 的 长 时 间



一

依赖 问 题 

。

２ ４
．
小结



在本章节 中 ，
本 文 从数 学 角 度剖 析 了 卷积 运算 原理和 作用 ，
阐 述 了 卷积神经 网 络和



传 统 神 经 网 络在 结构 和 信 息 传 递上 的 区 别 。 分 析 了２ Ｄ 卷 积 网 络 在 序 列 图 像 中 提 取 时 间



２６
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视频 行 为 特征 的 分段提取



特征 的 原 因 和 问 题 并且 从结 构上 解释 了
，
３ Ｄ 卷积神 经 网 络与 ２ Ｄ 卷积 神经 网 络 的 区 别 

，

以及 ３ Ｄ 卷积 网 络 的 设计理念 

。

在传统 的 ３ Ｄ 卷积 网 络 的 基础 上 ，
本文将视频首 先进行分段 ， 其 中 各段之 间 的 ３ Ｄ 

卷

积 网 络 的 参数共享 ， 然后将每
一

段经过 ３ Ｄ 卷积 神 经 网络得到 特征 向 量 ， 最后 经 过平 均



融合 的 方法得 到 人体行 为 识 别 结 果 。
本 章 通过控制 变量 方法 ， 得 到 了 视频 段 数 和 视 频 帧



数 的 最佳参数 ，
并且 与 双 流 网 络算 法进 行 对 比 实验 ，
得 出 了 分段 的 ３ Ｄ 卷积神 经 网 络在



视频信 息特征提取上 的 优越 性 。 为 后 两 章 网 络模 型 的 搭建奠 定 良 好 基础 


。

２７
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ２ 章 视 频 行 为 特 征 的 分 段提 取



２８
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上 下 文 关 系 学 

习

第 ３ 章 各段行为特征 的上下文 关系学 


习

本 章 将 通过 数 学 推 导 的 方 式 详细 介 绍 循环 神 经 网 络 的 工作 流程 。 接 下 来将 从 结 构 上



分析循环神经 网 络面临 的 问 题 ， 梯度消 失现象产生 的数学原 因 。 随后 介绍 了 循环神经网




络的 种升级结构 长短期记忆 网 络 并 仔细 介 绍 长短 期 记 忆 神 经 网 络 的 门 结 构 最后


一

，
。
，

在长短 时记忆 网 络 的 基础上利 用 ３ Ｄ 卷积神 经 网 络提取 的 视频特征作 为输入 ， 学习不同




时 间 的 各个动 作 段 的 上 下 文关 系 ， 并利 用 ＵＣＦ １ ０ １ 数据集和 Ｈ ＭＤＢ ５ １ 数据集进行对 比




实验 ，
分析 该算法 的特点 

。

３ ． １ 循环神经 网络



循环神经 网 络 （ Ｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ Ｎ ｅ ｕｒ ａ Ｎ ｅ
 ｌ  ｔ ｗｏ ｒｋｓ ，  Ｒ ＮＮ ） 源 自 于物理学家 Ｊ ． Ｊ ． Ｈｏｐｆ
ｉｅ ｌ ｄ 

教

授在 年提 单层反馈神经 网 络 人们 后来称这种 反馈 网 络为 霍 普 菲 尔 德


５ Ｑ

出 的
［ ］

１ ９８２ ，

（ Ｈｏｐｆ
ｉｅ ｌ ｄ ） 神经 网络 。 传 统 的 神 经 网 络 无法在 时 间 序 列 上 建模 ， 然而 ，
样 本 出 现 的 顺序



对于 自 然语 言 处理 、 语音 识 别 、 人体 行 为识别 等 序列 任 务尤其重要 。 而循环神 经 网 络对



￣
并 生成 出 许 多 变种 等
５２

序 列 问 题表现 的 尤为 突 出 如
５
ＧＲＵ ＬＳＴＭ
１
［ １ ［ Ｉ

， ，
、 

。

３ ． １ ． １ 循环神经 网络介绍



循环神经 网 络 中 的 每 个 时 间 步 也 是 由 若干神 经元组成 如图 所示 神 经 元接



一

， ３ ． １ ，

受输 入 Ｘ ， 通过 权重 ｗ 的连接 ，
并将权重加权后 的信 号 与 神经元的 阈 值进行 比较 ， 通过



激活 函 数确 定是否激活 

。

ｘ ＾ ．

２ 



＾ ｈ ｘ
ｗ ｂ ，
（ 

）

Ｘ
３  

－

＋ １


’

图 ３ ． １ 单个神 经元表达


Ｆ Ｓ ｎ ｇ ｅｎ ｅ ｕ ｒｏ ｎｅ ｘ ｅｓｓ ｏ ｎ


ｇ ３
ｐｒ
ｉ ． ． １ ｉ ｌ ｉ

如 公式 （ ３ ． １ ） 所示 ，
单 个神 经元表达对应 的 表达式 为 

：


Ｔ

＾Ｗ
３
ｆ Ｗ ／ ＋ ｂ） １
ｈ， ．

ｆ，
（
ｘ ）  ＝ （ ｘ ）  ＝ （ ，
ｘ
， 
 （
．



）


１
＝


１

２９ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征的 上下 文 关 系 学 

习

其中 ／ 〇 为激活 函 数 ，
提 高 网 络 的 表达 能 力 和 泛 化 能 力 。
循环神经网络常用 的激活 函 数



是 ｓ ｉ
ｇｍ ｏ ｄ ｉ
激活 函 数和 ｔ ａｎｈ 激活 函 数 。 如式 （ ３ ． ２ ） 所示 ， ｓ ｉ
ｇｍ ｏ ｉ ｄ 激活 函 数表达 式为 

：

／ （
＾ ）－
—

＾ （
３ － ２）



和式 （ ３ ．
３ ） 所示 ， ｔ ａｎｈ 激活 函 数表达式为 

：

／ （
ｚ ）  ＝  ｔ ａｎ ｈ （ ｚ ）
＝ －

ｌ
￣

＋ ｅ
＾ 

＊
（
３ ． ３


）

如图 ３ ． ２ 所示 ， ｓ ｉ
ｇｍ ｏ
ｉ ｄ 激活 函 数和 ｔ ａｎｈ 激活 函 数都有饱和 区 ， 但 是作 用 域不 同 ，


其

中 ， 左图的 ｓ ｉ
ｇｍ ｏ ｄ ｉ
激活 函 数 映射到 实数 区 间 为 （ ０ ，
１ ） ， 而右 图 的 ｔａ ｎｈ 激活 函 数映射 到



实数 区 间 为 （
－

１
，
１ ） 

。

， ？  ｔ ａ ｎｔ ＊




０ 
 
１
Ｕ
 ：
Ｉ Ｓ）  ＾







７
° ６
／


／


＾

ｙ 
 －

４  －

２
  ２ ｙ
４ 

－
瞧

１ ０


－
■


５ ５

ｉ
■


Ｊ

 

１




０

 
一

Ｕ １ 


－

图 ３ ． ２ｓ ｉ
ｇｍ ｏ ｄ ｉ 函数 （ 左 ） 和 ｔ ａｎｈ 函数 （ 右 

）

Ｆ ｇ
ｉ ． ３ ． ２Ｓ ｉ ｉ ｔ
ｆ
ｇ ｍ ｏ ｄ  ｆ ｕ ｎ ｃ ｔ ｏ ｎ  （ ｅ ）  ａｎ ｄ  ｔ ａ ｎ ｈ  ｕ ｎ ｃ ｔ ｏ ｎ  （ ｒ ｇ ｈ ｔ ）
ｉ ｆ ｌ


ｉ ｉ

由 于 ｓ ｉ
ｇｍ ｏ ｄ ｉ
激活 函 数和 ｔ ａｎ ｈ 激活 函 数 的 作 用 域 的 不 同 ，
使得 两种激活 函 数在 循环



网 络 中 的 作 用 也不尽相 同 。 由 于 ｓｉ
ｇｍ ｏ ｄ ｉ
的 取 值 域符合 门 控 的 定 义 ， 常用 于 门 控 的激活



函 数 ；
ｔ ａ ｎｈ 激活 函 数关于 原 点 对称 ，
符合绝大部 分输入特征 的 原 点 对称性 质 ，
并且零附



近 的 函 数梯 度 大 于 ｓ ｉ
ｇｍ ｏ
ｉ ｄ 激活 函 数 ， 可 以 加 速 收敛速度 ，
常 用 于 循环神 经 网 络 的 隐藏



层输出 的激活功能 

。

利 用 神 经元组织和 传 统 的 有 向 无环计 算 图 可 以 呈现 出 循环 神 经 网 络 中 的 循 环 机制 

，

如图 所示 前 时刻 的输 出 用 作后 时 刻 的 输入 所有 的 时 间 步共享相 同 的 参


一 一

３ ３ １
－

． ， ｔ ｔ ，

数 

。

Ｓ ＂ ＿ Ｓ
Ｕ
尸
（ ） ）

Ｉ
广 广 ｌ 

）

图 ３ ３ ．
循环机制示意 图


Ｆ ３ ３Ｓ ｃ ｈ ｅ ｍ ａｔ ｃ  ｄ ａ ｒ ａ ｍ  ｏ ｆ ｈ ｅ  ｃ ｙ ｃ ｅ  ｍ ｅ ｃ ｈ ａｎ ｓ 

ｍ
ｇ ｇ ｔ
ｉ ．
． ｉ ｉ  ｌ ｉ

考虑 到外部输入 Ｘ 的驱动系统 ，
没有输 出 的 循环 网 络 ， 这种循环 网 络 只 能处理输入



Ｘ 的信息 ，
并将其合并到经过 时 间 序 列 的 隐含层 的输 出 中 。 如图 ３ ． ４ 所示 ，
可 以当作当



３ ０


－
－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段 行 为 特征 的 上 下 文 关 系 学 习



前状态包含整个序 列 过去 的 所有 状态 其 中 黑 色方块表示单个 时 间 步 的 延迟 每 个时


一

， ，

间 节 点 与 特 定 的 时 间 和 输入特征相 关联 

。

＾
ｕｎ ｆ 〇 ｄ ｉ

  

Ｓ ／


Ｊ
ｆ Ｘ ｆ Ｘ （
ｔ
－

ｌ ） ） （ Ｘ （
ｔ
）
） ｆ Ｘ （
ｔ ＋ｌ
）



Ｊ

图 ３ ． ４ 带输入 的循环机制


Ｆ ｇ
ｉ ． ３ ． ４  Ｌ ｏ ｏ ｐ  ｍ ｅ ｃ ｈ ａｎ ｉ ｓ ｍｗ ｉ ｔ ｈ  ｎ ｐ ｕ ｔ
ｉ

如公式 （ ３ ． ４ ） 表述上述 循环 结 构 

：

ｈ
｛
ｔ
）
＝
ｆ ｛
ｈ
（
ｔ
－

＼
）
，
ｘ
（
ｔ
）
＼
９
）  （
３ ． ４）



其中 ， ０ 表示 网 络参数 ，
／ 〇 表示 ｔ ａｎｈ 激活 函 数 ，
表示 当 前 隐藏层 的 输 出 ， 当 前 隐藏



层 的 输入为 前
一

隐藏层输 出 和 当 前 层 的 数据 输入 ｘ ， 且 当前序列信 息 只 与之前时




刻有关 

。

循 环 网 络 根据 过 去 时 间 信 息 预测 未 来 序 列 ， 通 常要 学会使用 当 前状态 与 前 ｎ 个状态




的相 关性 ，
而 没有 必 要 保 存 所有 输入序 列 的 所有 信 息 ， 仅 仅 保 存 能 够表达 当 前 隐 藏层 的



状态 的序列部分信 息 即 可 

。

３ ． １ ． ２ 循环神 经 网络结构



与前 章 卷积 网 络 中 卷 积 核 参 数共 享 概念类似 在循环神经 网 络 中 共享不 同 时间



一

， ，

的 参数 。 而 循 环 网 络 的 特殊 之 处 ，
可 以把参数共享 引 入到时 间序列 中 ，
在整个循环神经



网络中递归计算 ， 这 是卷积神 经 网 络和 传 统神 经 网 络 所无法 替 代 的 。 通过在神经 网 络 的




结 构 里 引 入循环 的概念 使得神经网络本身可 以 保持 段时 间 的 信 息 就像神经 网络有



一

， ，

了 时 间 的 记忆 循环神经网 络 中 非 常重 要 的 概念就是 时刻 每 时刻 都会有 个状态



一 一

。 ，
，

输 出 值和 输入序 列 ，
其 中 网 络 中 间 状态 ， 也 就是状态输 出 值会按 照 时 间 进行 传递 ，
形成



循环 网络 

。

如图 ３ ． ５ 所示 循环 神经 网 络结 构是指将输入
， ｘ 映射 到 输 出 值 〇 的 对应序列 。 其中 

，

〇 （
ｔ
） 为 隐藏层 的输 出 ｈ （
ｔ
）
经过线性变换后 的输 出 ，
再经过 Ｓ ｏ ｆｔ ｍ ａｘ 多 分类器 ，
预测序列



结果 其中 每 个时 刻 的 隐 含层 的 参数是共享 的 并且当 前时刻 只 与之前 的 时刻信 息



一

。 ， ，

有关 ， 和 当 前 时 刻 之 后 的 信 息 无关 。 通过 最 小 化损 失 函 数 ，
不断的训练网络 ， 使得到 的



循环祌 经 网 络可 以 准确地预测 视频 行 为 所 属 的 类 别 ， 达到 分类 的 目 的 。 相 比于 卷积神经




３ 
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各 段行 为 特征 的 上下 文 关 系 学 习



网 络或者 前 馈 神 经 网 络 。 循环 网 络 能够描述序列 顺序信 息 ，

充 分学 习 上 下 文关 系 并得到



更好 的效果 

。

（
Ｖ
＾）
 （＾
ｙ  Ｑｙ  ＾ｙ


（

Ｑ  ＾  ０ Ｑ Ｑ



（
Ｘ
） ｒ Ｘ （
ｔ
－

ｌ ）

Ｊ  （ Ｘ （
ｔ ）

Ｊ  ＾
Ｘ （
ｔ ＋ｌ
）



Ｊ

图 ３ ． ５ 循环神经 网络结 构


Ｆ ｉ

ｇ ． ３ ． ５ Ｃｙｃ ｌ ｉ
ｃｎ ｅ ｕ ｒａ ｌ ｎ ｅ ｔｗ ｏ ｒ ｋ ｓｔ ｒ ｕｃ ｔ ｕ ｒ ｅ



循 环神 经 网 络有 着 很 重 要 的 性 质 首先 每 时 刻都有状态输 出 值 隐藏 单 元之 间


一

。 ， ，

有循环连接 其次 只有 个环路 网 络 当 前 时 刻 的 状态输 出 到 下个 时 刻 的 隐 藏 单元之



一

； ， ，

间 存在环路连接 ； 最后 ，
隐 藏单 元之 间 存 在 循环连接 ， 但循环 网 络读取 整 个序列 后 产 生



单 个输 出 。
将 上 述循环 神 经 网 络结 构 转述 为 公 式 （ ３ ． ５ ） 

：

屮 ＝
Ｗ ＂ ＋ Ｗ ＋ 

６
－ ？

， ＪＣ
〇
２ ｌ    

） （ ） （ 

／ｚ ７ ＝
ｔ ａ ｎｈ ａ ／
（ ） （ （ ） ）



〇 ｛
ｔ
）
＝
 ｖ
－

／ｚ
（
／
）
＋  ｃ  （ 

）

ｊ
） ’
二
仍声 ｍ ａ ｘ ０ ／
（ ）

 （ （ ） ）



其中 ，
参数偏置 向量 ｂ 和 ｃ 、
权重矩 阵 ｗ 、 ｕ 和 ｖ ，
分别 对应于 输入到状态 、 状态 到 状态



和 状态 到 输 出 的 连接 循环 神 经 网 络将 个输入序 列 映射 到 固 定 长度 的 带有上下 文信 息


一

的输出 序列 

。

３ ． １ ． ３ 循环神 经网 络 的前 向传播



循环神 经 网 络变种 结构 较 多 ， 虽 然 具 体 隐藏层 的 神 经 元之 间 的 连接方 式 不 尽 相 同 


，

但 是基本 原 理基本 相 似 。
本文 以经典 的 Ｒ ＮＮ 结构为例 ， 介绍 循环神 经 网 络 的 前 向 传播



和 数学推 导 

。

３ ２ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上下 文 关 系 学 

习

由 图 ３ ． ５ 和公式 （ ３ ． ５ ） 所得 ， 其 中 损 失 函 数使用 常见 的 回 归均方误差损 失 函 数 ，



其

表达 式为 

：

（
３ － ６）



将 Ｒ ＮＮ 内 部神 经元结 构 展开 ， 其中 

：

（ １ ） ｘ （ ｔ ） 表示在序 列 时 刻 时 训 练样 本 的 输入 ｔ 

；

（ ２ ） ｈ （ ｔ ） 表示在 序 列 时 刻 时 的 模 型 隐藏状态输 出 量 ｔ 

；

（ ３ ） ０ （
ｔ
） 表示序 列 时 刻 ｔ 时 的模型输 出 ， ０ （ ｔ） 只 由 当 前 状 态 量 ｈ （ ｔ） 决 定 

；

（ ４ ）
ｙ （ ｔ ） 表示序 列 时 刻 ｔ 时模 型训 练样 本 的真 实 标签 

；

（ ５ ） Ｌ （ ｔ） 表示 序列 时 刻 ｔ 时 的损失 函 数 

；

由 此 可 得 循 环 神 经 网 络 的 前 向 传播 算 法 

：

对于任意序列 时刻 ｔ ， 隐 藏层 状 态 值 ｈ （
ｔ
） 可 由ｘ （
ｔ
） 和ｈ （
ｔ
－

１
） 得到 

：


＊ ＊
＋ ｘ（ｔ ＋ｂ
ｆ＾ｗ
＝
ｈ ｈ ｕ ７）
－

ｔ ｔ ＼ ３ ．

｛ ） （ 

） 
（ ） ＾

其中 为 Ｒ ＮＮ 的 激活 函 数 般为 激活 函 数
一

ｆ
（ 〇 ， ｔａ ｎｈ 

。

参考公式 （ ３ ． ６ ） 的 循环 神 经 网 络 的 结 构 表达 式 ， 序列 时刻 ｔ 的模型输 出 ０ （ 〇 表达 式



求解为 

：

＊
〇
（
／
）
＝
 ｖ ／ｚ
（
ｆ
）
＋ ｃ
 （
３ ．
８）



在序列 时刻 ｔ 时 得 到 的 预测 输 出 为 

：

ｙ ｆ
｛ ）
＝
 ｓｏ
ｆ ｍｓｘ 〇
ｉ ．

｛ ｛
ｔ
）＾  （
３ ． ９）



３ ． １ ． ４ 循环神 经 网 络 的 后 向传播



在 Ｒ ＮＮ 结 构 和 前 向 传 播算法 的 基础上 ， 可 以 推 导 出 ＲＮＮ 反 向 传 播 算 法 的 流 程 。



循

环神 经 网 络 的 反 向 传播算法 的 思想 与 深度神经 网 络 的 反 向 传播算法思路 致 是通过

一 

一

轮轮 的梯度 下 降 算法迭代 ，
获 取合 适 的 Ｒ ＮＮ 模 型 参数值 ，
即 ｕ 、 ｗ 、 ｖ、 ｂ 、 ｃ ， 因 为它是



基于 时 间 的反 向 传播 ， 所 以 循环 神 经 网 络 的 反 向 传 播 也 称 为 Ｂ Ｐ ＴＴ 。 这里 的 Ｂ ＰＴＴ 和传



统深度神 经 网 络也有很 大不 同 ， 这里所有 隐 藏层 的 训 练参 数都 是 时 间 上共享 的 ，

反向传



播 中 我们 更新 的 是相 同 的 参数 

。

由 上述 公式 （ ３ ． ５ ） 和 公式 （ ３ ． ６ ） 所得 ，
输出层的 ｖ 和 ｃ 的 梯度计 算较为简 单 

：

Ｓ〇
ＳＬ
＝
＾
ＳＬ ｛
ｔ
）
＝  ｛
ｔ
）
＝

 ／
＿


ｙ ／
）  （


Ｖ ３ １ ０）

 Ｓｃ  Ｓ ｃ 
．

（ ） （ ） 

Ｘ

ｔ


Ｓｃ Ｔ

３３
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上下 文 关 系 学 

习

循环 神 经 网 络 的 隐藏层 需要 实现参数共享 ， 梯 度计算相 对 复杂 。 从 Ｒ ＮＮ 的模型可




以看出 反 向 传播 中 某 序列 时刻 的 梯 度 变 化量 由 当 前 时 刻 的 状态输 出 的 梯 度变化



一

， ，
ｔ

量和后 时 刻 的 梯度变化量两部分计算得 到 对 于 隐藏层权重矩 阵 在某 序列时刻

一

ｗ
一

。 

ｔ

的 梯度变化量和 时刻 之前 的所有 时 刻有 关 需 要反 向 传播 步步计算 因此 定 义序



一

ｔ ， 。 ，

列时刻 ｔ 的 隐 藏状态梯 度为 

：

Ｔ
Ｃ
＂
（
ｒ
） 
＝

斗
卿 

）
（
３ － １ ２


）

利用 Ｄ ＮＮ 的 反 向 传播和 链式法 则 计算ａ （

ｔ ＋１ ） 到ａ （
ｔ
） 的 递推公 式 ，
其中ｄ ｉ ａｇ （ 〇 为对角 矩



阵构造 函 数 

：

 ８Ｌ
Ｓ〇 （
ｔ
）  ５Ｌ  Ｓ 〇 ｛
ｔ


）

Ｓ〇   

？

＾＾ （

（
ｔ
）  Ｓｈ
（
ｔ
）  Ｓ〇 Ｓ （
ｔ
）
ｈ
（
ｔ
）

Ｔ ２

Ｖ ｄｉａｇ ｛ ＼ ＋ 
■

〇 ＝ ■ －

＋  ■

ａ ＋ －

ｈ ３ ４）
ｙ ｙ ｗ
？   ｔ ｔ  ｔ  ＼  ｔ １ ． １
｛ ｛ ） ） （ （ （ ） ） （ 

（ ） （ ）  ） ）

对于序列时刻 ｔ
＝
Ｔ ，
即 最终 时 刻 ， ａ （ Ｔ） 后 没有 序 列 连接 ，
因 此有 

：

冲
為識 
＝ ？
＝
３ ． １ ５
） （ 

）

下面依 次计算 ｗ 、 ｕ 、 ｂ 的偏导数 


：

ｄｗ ＾ ５ ｈ ｛
ｔ
） 
＾ ｄ ｗ

＝

 Ｚ＾
／
＝


１
１
－

（ Ｋ ｔ ＋  ！
））
２

）
－

 ＾
（ ０ 
？

 （ Ｋ ｛ ＋  ｌ
）
Ｙ  （
３ ． １ ６）




） ２ ｒ
—

＝ ＇
＝
ｄｉ ａ ｇ （ ｌ －

ｈ ｔ ＋  ｌ
－

＜ ｊ ｔ
－

ｈ ｔ ＋ ｌ ３ １ ７）
ｊ
（
．
（ ）） ） （ （ ）） （ 


各汾
（ ）

（
，
）

 ＾

＾誓 ” 冲
２
＝ ＝
＿
？
？

３ ８

ｆ
． １
） ） （ 

）


 １ 
客
以 上 总 结 了  Ｒ ＮＮ 的 反 向 传 播 算 法 ，
后 续循环神 经 网 络 改进 结 构 中 与 Ｒ ＮＮ 结构有所



不同 但 是反 向 传 播 原 理基本 致
一

，


。

３ ． １ ． ５ 循环神经 网 络 中 的 梯 度消 失



虽然 ＲＮＮ 理论上可 以 很优雅地解决 序 列 数据 的 训 练 但是它 也有像 ＤＮＮ 样有梯



—

， 

度消 失的 问 题 ， 当 序列越长 ， 问 题越严重 。
循环 神 经 网 络 的 求解采用 Ｂ Ｐ ＴＴ 算法实现 

，

然而使用 Ｂ Ｐ ＴＴ 算 法 学 习 的 循环 神 经 网 络 并 不 能成 功捕 捉 到长距 离 的 依 赖关 系 由 。 Ｂ Ｐ ＴＴ



的 链式法则 和 公式 可知 序列 时刻 的 隐 藏 层 状态 量 ａ 对第 时刻 的 隐藏层 状


一

（ ３ ５ ． ） ， ｔ
（
ｔ
）

态量ａ （
ｌ
） 的偏导 

：

Ｍ０ 坤 坤 
－

） 〇 

．

＾ ｎ ｉ ｇ

３＾
（
ｌ
）  ｄａ ｛
ｔ
－

＼
） 
ｄａ （ ｔ
－

２
）  ３ａ
（
ｌ


）

３４
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段 行 为 特征 的 上 下 文 关 系 学 

习

将 ⑷ ？ ０ 代入上式 可得序列 时刻 的 隐 藏层状态量ａ 对前



一

／ｊ
＝
 ｔａ ｎｈ （ ３ ． １ ９ ） ， ｔ
（
ｔ
）

时 刻 的 隐 藏 层 状态 量 ａ （
ｔ
－

１
） 的偏导 

：

载誠 ＋斗 ＂
＿

“
４％
＝ ■
＝

）］



，
１ １  ／  ＼ １ Ｉ ｎ ｆ  

ｎ

ａ
＇

ｎｈ  ａ
＇

ｗ ｎｈ ｗ ｔａ
－
＊ － －

ｔａ
－

ｌ ／

／ ｌ
（ ） （ 

）

，  ，  ，  （
３ ． ２ ０）






＇
＝

 

－


｜
，

ｎ ｌ  ／  ＼ ｎｎ ／ １  ｎ ＼


＇

ｗ ａｎｈ ｌａ ｗ ａｎ ｈ ａ
－ ＊ ＊ ＊ －

ｔ ／

ｔ ／ ｌ ｌ

（ ） （ 

）

其中 ｎ 为 隐藏层 单 元 的 个数 ， 对 应 的ｎ ＊ ｎ 矩阵 ， 称为雅各 比矩 阵 

。

９ａ（ｔ
—

１）



由 于 预 测 的 误 差 是沿着 神 经 网 络 的 每 层反 向 传播 的 因 此 当 雅各 比 矩 阵 的 最 大特


一

征值 大于 １ 时 随 着 距 离 输 出 越来 越 远 每 层 的 梯 度 大 小 会 呈 指 数 增 长 导 致 梯 度 爆 炸
， ， ， 

；

反之 ， 若雅各 比矩 阵 的 最 大特征值 小 于 １ ， 梯度 的 大 小 会呈指 数缩小 ， 产生梯度消 失 


。

对于 般的前馈网络 梯 度 消 失 意 味 着 无 法 通 过 加 深 网 络层 次 来 改 善 神 经 网 络 的 预 测 效


一

果 ， 因 为 无论如 何加 深 网 络 ， 只 有 靠近输 出 的若干层才真 正起到 学 习 作用 。 这就使 得循




环 神 经 网 络 模 型 很 难 学 习 到 输入 序 列 中 的 长距 离 依 赖 关 系 

。

对 于 梯 度 爆 炸 问 题 可 以 通 过 梯 度裁 剪 来 缓 解 ， 当 梯 度 的 范 式 表达 大于 给 定 值 时 ，


对

梯 度 进 行 等 比 收缩 。 对 于梯度消 失 问 题相 对较为 复杂 ， 由 于激活 函 数本身 的梯度饱和 问




题 ，
使得 梯 度 消 失 问 题 需 要 从模型 本 身进行 改进 。 对于 前馈 网 络来说 ， 可 以 通过残差学



习 的方法缓解梯度消 失现 象 ， 从而 使我们 能够学 习 到 更深层 网 络 的特征表达 。 对于 循环




神 经 网 络来说 ， 有 很 多 改 进 的 模 型 来 缓 解梯 度 消 失 的 问 题 

。

３ ２
． 基于 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 的上下文关系学 习



长短期记忆神 经 网 络 （ Ｌ ｏ ｎ ｇ  Ｓ ｈ ｏｒ ｔ Ｔ ｅｒｍ  Ｍ ｅｍ ｏ ｒｙ ，
Ｌ Ｓ ＴＭ ） 是循环神 经 网 络 中 最 知 名



的 成功 的扩展 由 于上 节提到 的 循环神 经 网 络 中 出 现 的梯 度消 失和梯度爆炸 的 问 题

一

。 

，

学 习 能力 有 限 在 实 际应用 中 的 效果往往 达不 到 预期 效 果 针对 ＿ 存 在 的 这 些
，
。 问 题 

，

Ｌ Ｓ ＴＭ 做 了 针对 性 的 改进 ， 并获得很好 的 效 果 。 Ｌ Ｓ ＴＭ 可 以 对有价值 的信 息进行 长 期记




忆 ，
从而有选择 的 学 习 前面序 列 信 息 ， 减少循环神 经 网 络 的 学 习 难度 。
如图 ３ ． ６ 所示 

，

本系 统利 用 第 ２ 章 ３ Ｄ 卷积神 经 网 络提取 视频特 征 ， 然 后将 各段动 作 特 征 向 量使 用 双 向




３ ５


－
－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上下 文 关 系 学 

习

Ｌ Ｓ Ｔ Ｍ （ Ｂ ｉ
－

Ｌ Ｓ ＴＭ ） 学 习 各段动 作 特征 前 后 文关 系 ，
输 出 层还原特征序 列 ，
最 后 经过平



均 融合方法得 到 行 为特征 

。

Ｂ ｉ Ｌ ＳＴＭ 训 练

？
ｉ ａ？
（ （ ）

—

？ 各连续 帧 特征提取
＾
 


？ 行 为识 别结 果 分 类


？ 准 确 率 统计



图 ３ ． ６ 基于 Ｂ ｉ
－

ＬＳ ＴＭ 上 下 文关系模型框架 图


Ｆ ｇ ｉ ．
３ ． ６  Ｂ ａｓ ｅ ｄ  ｏ ｎ  Ｂ ｉ
－

Ｌ Ｓ Ｔ Ｍｃ ｏ ｎ ｔ ｅ ｘｔ ｍ ｏ ｄ ｅ  ｌ  ｄ ａ ｒ ａｍ
ｉ
ｇ 


３ ． ２ ． １ Ｌ Ｓ Ｔ Ｍ 的 结构



由于 ＿ 存 在 着不 能长 期 记 忆 的 问 题 即 梯 度消 失现象 学者们针对这 问题构



一

， 。

造 出 长短时记忆神经 网 络 Ｌ Ｓ ＴＭ ，
这种 网 络可 以 学 习 序 列 数据 中 长 期 依赖关系 ， 用 来缓



解 Ｒ ＮＮ 的梯度消 失 问 题 

。

大多数的 ＿ 神 经 网 络都是拥有 复 用 的 神经 网 络模块 ， 常规 的 Ｒ ＮＮ 复用 的 模块有




着非常简 单 的结构 如图 所示 个 层激活 函 数 的 神 经单 元

一

。 ３ ． ７ ， ｔａ ｎｈ 

。

＠ Ｑ


ｔ  ｔ  ｔ
＾ —

 ｒ ＿


４
＾ Ｗ




ｊ 、 
Ｊ   

Ｊ

＠ ０ ？


图 ３ ． ７ 标准 ＲＮＮ 结构 中 复用 的 模块


Ｆ ｉ
ｇ
． ３ ． ７ Ｍ ｏ ｄ ｕ ｅ ｓ ｍ ｕ ｌ ｌ ｔ ｉ

ｐ
ｌ ｅ ｘ ｅ ｄ ｎａｓｔａｎ ｄ ａｒ ｄＲ
ｉ ＮＮ  ｓ ｔ ｒｕ ｃｔ ｕｒｅ



Ｌ Ｓ ＴＭ 也 是基于 这样 的 基础 ，
但是复用 的模块结构 却 不尽相 同 。 与传统的 ＿ 中 的



简单 ｔ ａ ｎｈ 激活 函 数 的 神经单 元相 比 。
如图 ３ ． ８ 所示 ， ＬＳＴＭ 的 祌 经单 元拥 有 四 个神 经单



元结构 ，
他们 之 间 存在 着 相 互作 用 的 逻辑关系 

。

３６


－
－
东 北 大学硕士 学 位 论 文 第 ３ 章 各段行 为 特征的 上下 文 关 系 学 习



？ ？ ？


／ 
￣ ￣ ＊

 Ｓ
Ｙ ｔ  
 ＾

 ｒ ＼
＾


ｔ

ｖ 
Ａ
 ｉ ＭＬ ／ ｘ  
Ｊ  
Ａ
 

ｙ


．

 １ １ 

１

０  ＠ （
ｘ
ｊ
）


１

图 ３ ． ８ 标准 Ｌ Ｓ ＴＭ 结 构 中 复用 的模块


Ｆ ｇ ３ ８Ｍ ｕ
ｉ ． ． ｌ ｔ ｉ

ｐ ｅｘｅ
ｌ ｄ  ｍ ｏ ｄ ｕ ｅ ｓ  ｎ  ａ  ｓ ｔ ａ ｎ ｄ ａｒ ｄ  Ｌ Ｓ Ｔ
ｌ ｉ Ｍｓ ｔｒ ｕ ｃ ｔ ｕ ｒｅ



由上图 ３ ． ８ 所示 ， ＬＳＴＭ 的 关键在 于 ｃｅｌ ｌ

单元 ， 水平 的 状态传 递 贯 穿 了 整个结 构 的



顶部 通过 单 元 中 间 的 三个 门 结 构 控 制 信 息 的 删 除 和 更 新 每 个 ＬＳ ＴＭ 包含三个


一

。 ｃｅ ｌ ｌ ，

门 结构 ，
分别 是输入 门 、 遗忘 门和输出 门 。 和传统的循环 网 络相 比 ， Ｌ ＳＴＭ 仍然 是基于



输入ｘ 和 前 时 刻 隐含层输 出 来计 算 当 前 时 刻 隐含层输 出 心 只 不过是对 内 部的结



一

／ｌ
ｔ ｔ ｄ ，

构进行 了 更加精 心 的设计 加 入 了 输入 门 遗忘 门 以 及输 出 门 三个 门 和 个 内 部记忆单



一

， 、

元 输入 门 控制 当 前计算 的 新状 态 以 及更新 到 记忆单 元 中 的程度 ； 遗忘 门 控制 前 一



步

记忆单 元 中 的 信 息有 多 大程度被遗忘 ； 输 出 门 控制 当 前输 出 有 多 大程度取决于 当 前 的记




忆单元 

。

Ｌ ＳＴＭ 中神经单元的第 步 就 是判 断信 息 流之 中 的 哪 部分信 息 是 需 要 丢 弃 的 而这



一

过程 则 需要 遗忘 门 来完成 所示 遗忘 门 根据＆和 ｈ 的状态 利用

” “ ”

如图 

一
“

。 ３ ． ９ ，
ｔ
＿

； ！
，

函数 把单元状态 中 的每 个数字映射到 和 的区间上 则 代表完全遗



一

ｓ ｉ
ｇｍ ｏ ｄ ｉ ， ０ １ ， ０

忘 ， １
代表完全保 留 ，
并且当输入较大或者较小 时 ，
输 出 会非常接近 １ 或者 ０ ，
从而保



证 门 开或者 门 关 

。

图 ３ ． ９ 遗忘 门 结构


Ｆ ｇ ３ ９  Ｆ ｏ ｒｇ ｏ ｔ ｅ ｎ  ｇ ａ ｔ ｅ  ｓ ｔ ｒ ｕ ｃ ｔ ｕ
ｉ ． ． ｒ 

ｅ

当 网 络接受新 的 信息时 遗忘 门 可 以 帮 助 实现对 过去信 息 的 过滤 遗忘 门对应的

“ ”
，
。 


表达式如 下 ， 其中ａ （
＿

） 表示 门 控 函 数 ， 即 ｓｉ
ｇｍ ｏ ｄ ｉ
激活 函 数 ，
■

和…分别 表示遗忘 门 的



权重 矩 阵 和 偏置 

：

３ ． ２ １
（ 

）

３ ７


－
－
东 北 大 学 硕士 学位论 文 第 ３ 章 各段行 为 特征 的 上下 文 关 系 学 

习


下面是决 定让多 少新 的信 息加 入到 单元 中 这 部 分 由 两 个过程 组 成 如 图

一

ｃｅ ｌ ｌ ， 。 ３ ． １ 

０

所示 首先 激活 函 数 建立 的 输入 门 决 定 要 留 下 哪 些信 息
”

同时
“

， ，
利用 ｓｉ
ｇｍ ｏ ｄ ｉ ， ，
由 ｔａ ｎｈ



激活 函 数 的 神经单 元生成 需要 添加进 ｃｅ ｌ ｌ

单 元 的 新 的 单 元状态 值 Ｃ ｔ
； 然后 ， 将两部分 融



合 ， 形成新 的 单 元状态 

。

ｉ
ｈ ￣

ｉ ＾


Ｘ ｜
Ｉ



图 ３ ． １ ０ 输入 门 结构


Ｆ ｇ ｉ ． ３ ． １ ０ ｎ Ｉ
ｐ ｕ ｔ ｇ ａｔ ｅ  ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ




输 入 门 对 应 的 表达 式 如 下 其中 和 匕 分 别 表不 输入 门 的 权重矩 阵 和 偏 置 而Ｃ
“ ”

， ， ，


ｔ

表示 ｃｅ ｌ ｌ
单元的状态值 

：

＝
ｆＴ ｗ
Ｖ ＋
－

ｉ
＾ ＾
．

，  （
，
［ １
３
］ 


）

Ｃ ＝
ｔａ ｎｈ
（
ｗ
ｃ
－

［
／２
／
＿

１
，
ｘ
Ｊ 
＋  Ｚ？
￡
．

）  （
３ ． ２２


）

最后我们 决定输 出 单元 的 哪 些值 首先 同样是利用 激活 函 数建立 输



“

ｃｅ ｌ ｌ ｓ
ｇｍｏ ｄ
。 ， ｉ ｉ

其次 使用 激 活 函 数 非 线 性 表达 单元 的 状态值Ｃ 最后 将激活 后 的 状


”

出 门 ， ， ｔａ ｎｈ ｃｅｌ ｌ ｔ
，

态值和 输 出 门 融合 得到 隐藏层 的状态输 出 值

“ ”
， 

。

“
 ＿
 辛  １



＾

图 ３ ． ］ ］ 输出 门结构


Ｆ ｇ ３ ｉ ． ． １ １  Ｏｕ ｔ
ｐ
ｕ ｔ  ｇ ａｔ ｅ  ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ



在行为 识 别例子 中 ，
输出 门 可 以控制输 出 ， 由 于本文 用 到 的神经 网络模型 中 存储 的



是 行 为特征 而最终 的输 出 却 是 个类别 概 率 这就 需要这种 门 的 结构 用 来控 制 输 出



一

， ， ，

层 的输入 。
输 出 门 的 表达式如 下 ，
其中 ，
＆表示最后 的 隐藏层 的 输 出 

：

３２ ３
（ 

）

ｈ
ｔ 
—

 ｏ
ｔ
－

ｔ ａｎ ｈ
 （
Ｃ ；


）

３ ８
－ 

－
东 北 大 学 硕 士 学位论 文 第 ３ 章 各段行 为 特征 的 上 下 文 关 系 学 习




由 上 述 Ｌ Ｓ ＴＭ 各部分结构可得 在 个训 练好 的 网 络 中 当 输入 中 的 序 列 没有重要


一

， ，

的 遗忘 门 的 值接近于 输入 门 的 值接近于 此时 过去 的记忆会被



”

信息时
“ ” “

， Ｌ Ｓ ＴＭ １ ，  ０ ，

保存 ， 从 而 实现长期 记忆功 能 ； 当 重 要 信 息 出 现 在 输入 的 序 列 中 时 ， Ｌ Ｓ ＴＭ 应 当 把其存




入记忆 中 此 时 输 入 门 的 值接 近 于 当 重要信 息 出 现在输入 的序列 中 且该信 息 意



“ ”
， １ ；
，

输入 门 的 值 依 旧 接近于 而 遗忘 门 的 值 接近于 

如
“ ”

味 着 之 前 的 记忆 不 再 重 要 时
“ ”
， １ ， ０ ，

此 新 的 信 息 保存 下 来 ， 旧 的信 息得到裁除 。 经过这样 的 结 构 设计 ， 整个神 经 网 络 更容 易




学 习 到 序 列 之 间 的长期 依赖 

。

３ ． ２ ２Ｂ ｉ
．
－

Ｌ Ｓ Ｔ Ｍ的 建 立



长短 时 记 忆神 经 网 络 的 建立 有 很 多 方 式 ， 并 且 不 同 的 变种 结 构 在 不 同 的 场 景 应 用 都



取得 了 不 错 的 效果 在本系 统 中 Ｄ 卷积神经 网 络提取的 维特征 向 量 前 时刻 隐



一 一

。 ， ３ 、

藏层输 出 和前
一

时 刻 隐藏层 状态量Ｃ 作 为序 列模型 ｔ

Ｌ Ｓ ＴＭ 输入 ，
其中 ｈ 和 ｃ 都使用



零 向 量初始化 

。

无论是 然 语 言 处理 中 的 机器翻译还 是 人 体 行 为 识 别 任 务 每 时 刻 的 类别 概率都



一

自 ，

是依 赖于 整体序 列 。 这就意 味着 ， 在序列 时 刻 ｔ 时 ， 不仅依赖于之前 的 行为状态 ， 还依




赖于 之后 的 行为状态 。 然而 ，
传统的 Ｌ Ｓ ＴＭ 在 时序上处理序列 ， 往往 忽 略 了 未来 的 上 下



文信 息 种 原 始 的 改进 是加 入 时 间 帧 的 未来信 息 起预测 当 前 时刻输 出 当 值比



一 一

。 ｎ ， ｎ

较大 时 ， 可 以捕 获未来 的 有 用 信 息 ， 但是 ｎ 过大时 ， 模 型 效 果将会很差 。 因 为 网 络模型




将 参 数集 中 在输 入信 息 上 ，
导 致对 于 不 同 输入 信 息 的 预测 向 量联 合 的 拟 合 能 力 下 降 。 

所

以 ， 这种 改进 不 适 合深 度 网 络 的 使 用 

。

采用 双 向 Ｌ Ｓ Ｔ Ｍ  （ Ｂ ｉ ｄｉ ｒ ｅ ｃ ｔ ｉ ｏ ｎａｌ Ｌ Ｓ Ｔ Ｍ  ， Ｂ ｉ
－

Ｌ Ｓ ＴＭ ） 的 连接结 构 可 以 考虑 到 双 向 信 息



序 列 处理 ， 且两个 网 络并 行计 算 ，
相 互不 受影响 。 相 比 于 在 输 入层 加 入 未 来 信 息 的 改 进



方法 ， Ｂ ｉ
－
Ｌ Ｓ ＴＭ 有更好 的拟合效果 ， 且适用 于长 时序 列 。 Ｂ ｉ
－
Ｌ ＳＴＭ 相对于 Ｌ Ｓ ＴＭ 的主



要 不 同 是训 练前 向 和 后 向 两个 Ｌ Ｓ ＴＭ 网络 而 且 两 个 网 络 都 分 别 连接 个输 出 层 这个


一

， ，

结 构提供给输 出 层 输入序 列 中 每 个时 刻 的 完整 的 过去 和 未来 的 上 下 文 信 息
一



。

对 于连续 帧来说 ，
每
一

个视频 分段都表示着
一

个连续 动 作 的 不 同 动 作 片 段 。 因此 

，

每 个动 作 片 段都有 个 自 己的时 间戳 这就意 味着 每 个动 作 片 段是在 每 个时 间



一 一
一 一

， ，

时 刻 网 络模 型 处 理 的 最 小 单 元 。 由 此可得 ， Ｂ ｉ
－

Ｌ Ｓ ＴＭ 网 络 前 后 向 学 习 的 特 征 适 合人 体 行



为识 别 任务 

。

３９
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段 行 为 特征 的 上 下 文 关 系 学 

习

如图 该结构采用 两个 ＬＳＴＭ 网 络并行方式 前 个 ＬＳＴＭ 由 前 向 后正序处



一

３ ． １ ２ ， ，

理 后 个 Ｌ Ｓ ＴＭ 由 后 向 前倒序处理 即 序列 时刻 得到 的结果可 以代表前 向 ＬＳ ＴＭ 


和
一

， ， ｔ

后向 ＬＳ ＴＭ 共同作用 的结果 

。

〇ｕ ｔｐｕ ｔ Ｌａｙｅ ｒ

 Ｚ Ｑ （ ｌ 

ｔ

＾ ＾  
ｊａ



Ｈ ｄ ｄ ｅ ｎ  Ｌ ａ ｙ ｅ ｒ  Ｖ Ｖ；
ｉ



Ｖ Ｊ  Ｖ５ Ｖ５


 ＼＾  ＼
Ｉ ｎ ｐｕ ｔ Ｌ ａ ｙｅ ｒ


…

＾）
）
＿

图 ３ ． ］ ２Ｂ ｉ
－

ＬＳ ＴＭ 模型示意 图


Ｆ ｉ
ｇ ． ３ ． １ ２Ｂ ｉ
－

Ｌ Ｓ Ｔ Ｍｍ ｏ ｄ ｅ ｌ ｄ ｉ ａｇｒａｍ



在 特征提 取层 次上 每 小 段 视频代 表 着 不 同 时 刻 的 动 作 部 分 每 个序列模 型 的



一 一

， ，

输入 表示 相 应动 作 部 分 的 特 征 向 量 这些输入 数据 经 过 个前 向 ＬＳＴＭ 的 传 递过程和

一 

一

个反 向 Ｌ ＳＴＭ 的 传递过程 ，
分别 对 文 本进行 由 前 向 后 和 由 后 向 前 的 处理 。
输 出 层 接 受这



两个 相 反方 向 的 训 练 结 果 作 为输 入 进 步 整合 整段 视频动 作 的 特 征拟 合过程 并且把



一

， ，

最终结 果输 入到 神 经 网 络模 型 的 Ｓ ｏｆ
ｔ ｍ ａｘ 分类器 中 

。

３ ２ ３
． ．
层级 Ｄｒｏｐ ｏｕ ｔ 算法



是指 在深度学 习 的 训 练 中 具有 定概率 的神经元节 点 的 随机 临 时 丢 弃

“ ”

Ｄ ｒｏ ｐ ｏ ｕ
一

ｔ ， 

。

相 当于说 ， Ｄ ｒｏｐｏ ｕ ｔ 对 每份 小 批量 训 练数据 起作 用 ， 由 于 随 机丢 弃 部 分 神 经 元 的 机制 


，

相 当 于每 次迭代都在 个整体模型 中 训 练不 同 的子模 型 相 比于 Ｂ ａｇｇ 方法 Ｄ ｒｏ ｐ ｏｕ

一

。 ｉ ｎｇ ， 

ｔ

被认为是 种 实用 的 大规模深度神经 网 络 的模型集成算法 能够实现指 数级 数量神 经 网



一

络 的训 练与评测 

。

具体实现 中 某 个 神 经 元节 点 的 激 活 值 需 要 以 概率 ｐ 被 丢 弃 保留下来的
“ ”
Ｄｒｏｐｏｕ ｔ ， ， 


神 经元节 点 值 ， 被 同 概 率 放大 ，
如图 ３ ． １ ３ 所示 。 对于包含 Ｎ 个神 经元节 点 的 网 络 ， 

可
Ｗ
以 将 其 视 为 Ｄｒ
ｏｐｏｕ 作 用 下 的 ２ 个模 型 的集成 ｔ 。 这些模型是原始网络的子网络 ，
共享部



分权值 ，
并且具有相 同 的 网络层数 ， 重要 的 是 ， 模 型 整体 的 参数数 目 不变 ， 因 此简化 了



运算 

。

４０
－


－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上 下 文 关 系 学 

习

图 ３ ． １ ３ Ｄ ｒｏ ｐ ｏ ｕ ｔ 不意 

图
Ｆ ｉ
ｇ ． ３ ． １ ３ Ｄ ｒｏ ｐ ｏ ｕ ｔｓ ｃ ｈ ｅ ｍ ａｔ ｃ

 ｉ

对于 任 意 的 神经 元 每 次训 练都和 组 随 机挑选 的 不 同 的 神 经元集合共 同 进行优 化

一

， 

，

可 以 减 弱 全体神 经 元之 间 的 联合适 应性 ，
降低过度拟合风险 ， 增 强泛化能 力 。 但是在序



列 任 务领域则 不尽 然 在这 领域 Ｄ ｒ ｏ ｐ ｏ ｕｔ 算法仍 然是关键 的 正 则 化方法 近年来 


些
一 一

， 。

比较成功 的 改进 Ｄ ｒｏ ｐｏ ｕ ｔ
算法被提 了 出 来 ， 包括 自 适应 舍 弃 元和 循环 舍弃 元等等 ，
但是



这些 改进 Ｄｒ
ｏ ｐｏ ｕ ｔ
算法都 不 能很 好 的 应用 于 人 体行为识别 和 自 然语言处理等序列模型领



域 这是 因 为在 时 间 的影响 下 由 于
， ， Ｄ ｒｏｐ ｏ ｕ ｔ
舍弃 的 单元参与 循环 神经 网 络 的循环链接 

，

在 Ｒ ＮＮ 和 ＬＳＴＭ 的 聚合作用 下 ，
序 列 信 息 会随 着循环 步 的进 行 逐渐丢 失 。 由 此产 生 了



种 解 决方法 即 层级 Ｄ ｒｏｐｏｕ 算法 该算法的核 心 思想是 Ｄ ｒｏ ｐ ｏ ｕ 部 分设置在 网 络 的



一

， ｔ ，
ｔ

非循环部分 这样 做有两个好 处 第 可 以 有 效避 免序 列 噪 声 随着 时 间 序列 逐 步增 大 的


一

。 ，

问 题 ，
第二 ， 可 以使得 Ｄ ｒｏ ｐ ｏ ｕｔ 造成 的 信 息损 失与 时 间 序 列 长 度无关 ， 只 与 网 络层 数有



关 

。

循环神经 网络 中 常使用 三种 Ｄ ｒｏ ｐ ｏ ｕ ｔ 方法 ：
传统 Ｄ ｒｏ ｐｏ ｕ ｔ 方式 、
循环 Ｄ ｒｏｐｏ ｕ ｔ 方式和



层级 Ｄ ｒｏｐ ｏ ｕ ｔ 方式 。 其中 ，
如图 ３ ． １ ４ 所示 ，
传统的 Ｄ ｒｏｐ ｏ ｕ ｔ 即在 Ｂ ｉ
－

ＬＳ ＴＭ 的 输入层 前



和输 出 层后加入 Ｄ ｒｏ ｐ ｏ ｕ ｔ 操作 ； 如图 ３ ，
１ ５ 所示 ，
循环 Ｄ ｒｏ ｐ ｏ ｕ ｔ 是指在每个 ＬＳ ＴＭ 的 隐含



层 的输 出 后加入 Ｄ ｒｏｐｏｕ 操作 然后作为下 个 隐含 层 的 输入 如图 所示 层级



一

ｔ ， ； ３ ． １ ６ ，

Ｄ ｒｏ ｐ ｏ ｕ 是指在每 层的 ＬＳＴＭ 输 出层后加入 Ｄ ｒｏｐ ｏ ｕ 操作 然后作 为 网络输 出 层 的输



一

ｔ ｔ ，

入 

。

Ｙ 〇 ４ Ｙ Ｖ９


ｌ



｜
｜


Ｄｒ ｏ ｐｏ ｕ ｔ


Ｌ
ｊ

 

Ｍ
 


ｆ

圍
＾ ？？？
— ＇




］



１

ｘｏ Ｘ Ｉ  Ｘ９

图 ３ ． １ ４ 循环 Ｄ ｒｏ ｐ ｏ ｕ ｔ 方法


Ｆ ｇ ３ ｉ ． ． １ ４Ｌ ｏ ｏ
ｐ
ｉ ｎ
ｇ
Ｄ ｒｏｐｏｕ ｔ ｍ ｅｔ ｈ ｏｄ



４ 
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上 下 文 关 系 学 

习

ｎ


ｒ ｕ


）

：
ｔ

模型
ｉ

ｌＳｔＭ
 １ ｜  ｜

ｌｉ ＾ｌ


５
Ｃ ｒ

Ｉ ！  ：
！  

ｍ
Ｉ ｉ

Ｖ ＩＶ 

ｉ

图 ３ ． １ ５ 传统 Ｄ ｒｏｐｏ ｕ ｔ 方法


Ｆ ｉ
ｇ ． ３ ． １ ５Ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏｎａ ｌ  Ｄ ｒｏ ｐ ｏ ｕ ｔ ｍ ｅｔｈ ｏ ｄ



Ｉ  层级 Ｄｒ ｏｐ ｏｕ ｔ 和 多 层 ＬＳ Ｔ Ｍ 模 型 

｜





ｉ ？ ？ ？ 

ｉ

？ ｉ ？ ？ ？




識 ＿ 
？ ？ ？ ？
！ 

！

图 ３ ． １ ６ 层级 Ｄｒｏ ｐ ｏ ｕ ｔ 方法


Ｆ ３ ６Ｈ ｅ ｒ ａｒ ｃ ｈ ｃａ  Ｄ ｒ ｏ ｐ ｏ ｕｔ  ｍ ｅ ｔ ｈ ｏ ｄ


ｉ
ｇ ． ． １ ｉ ｉ ｌ

３ ３
． Ｂ ｉ
－

Ｌ Ｓ ＴＭ 效果分析



人 体 行 为 识 别 任 务属 于 序 列 问 题 ，
当 前时刻 的输 出 结果受到 前 后时刻特征 的影 响 

。

如图 ３ ． １ ７ 所示 ，
本章 首先将 ＵＣＦ １ ０ １ 的 １ ０ １
种类别标签转 化为 ０ 到 １ ００ 之 间 的 数字编



码 ，
然后使用 ３ Ｄ 卷积神 经 网 络在第 五层池化层提取４ ＊ ４ 特征 图 后 ，
将特征 图加权融合



得到 维特征 向 量 最后利 用 Ｂ Ｌ Ｓ ＴＭ 学 习 序列上下文关系 最 小 化损 失 函 数 进

一 

一

， ｉ ， ，

步提高准确 率 。 之所 以 不 使 用 全连接 层 向 量 ， 因 为 高 维 度 的 计 算 问 题 和 全 连接 层 重 复信



息较多 ，
所 以使用 特征 图平均融合的方式 

。

４２
－


－
东 北 大学硕士 学 位 论 文 第 ３ 章 各段 行 为 特征 的 上 下 文 关 系 学 

习

连 续 帧 图 片 输 入 ４＊４＊ ５ １ ２ ＃ ｇ Ｔ图 输 出 

｜

： 


Ｉ


 Ｉ
Ｗ
 國
＼

ｉ


１


丨

丨 卜 ＇
＇
丨

门
ｎ ，



；

ｉ   ５ ３ Ｍ ？ ＊
￣

＾
Ｉ 

上

ｘｒ   ｍ
￣ ￣ ￣

 厂＂ ！
ｉ ｉ

 □  Ｘ    ■ 


！
ｉ

５
？  Ｉ
， －
．

 ／
！ 

！

！  ！

 （ —  —
１

｜


？


７
？

 Ｚ ｜
／  ｉ ｉ Ｎｋ
＇

 

！

 ／  ＿
？


ｉ
ｉ
； ；

ｒ 


！

！ ％    ｍ ！

｜




｜


 

＊
！


４ ＊４ ＊５ １ ２ 特 征 图 输 出

 Ｂ ＬＳ ＴＭ Ｗ络
－ — 

ｒ ， ｉ
 

 
—
 

ｉ ｉ ？ｉ ｈ 特征 图 向 量 Ｉ 

１

｜
ｉ

平均融合 Ｉ  

ｉ

 ０ 

＾
Ｓｏｆ ｔ ｍａ ｘ ＞ ｇ
￣ ￣

？ Ｉ


＾
ｉ

丨 
Ｂ｜

，
ｌ
＂ ！
Ｆｉ 

ｉ

！  
？ ？
；
１  ？ ＇

；
 ｉ ？ ？
 ） ？
ｔ Ｉ


：

  ／   
？ ？
？

丨
｜

？
．
ｉ
： ！ 丨
， ；


；

  ？ ，
￣

  
  ０
１
Ｉ

００ ２ ２

！ ／ ！
１ ．

丨 ＃
千
，


｜

＿  
＇

＾




ｊ  ｉ

｜ 釅 ｌ 」 彳
＿ ：  

」

图 ３ ． １ ７ Ｃ３ Ｄ＋ Ｂ ｉ
－

ＬＳＴＭ 实验路线图



Ｆ ｉ
ｇ ． ３ ． １ ７ Ｃ３ Ｄ＋ Ｂ ｉ
－

Ｌ Ｓ Ｔ Ｍｅ ｘｐ ｅ ｒ ｍ ｅ ｎ ａ ｉ ｔ ｌ ｒｏ ａ ｄ ｍ ａｐ



本 章 系 统模 型 训 练数据 集使用 ＵＣＦ １ ０ １ 数据集 ，

因 为可 以使用第 ２ 章 ３ Ｄ 卷积 网 络



训 练得 到 的 模型参 数 ，
作 为本章 系 统 的编码层部 分 的 参数初始化 ，
提高模型 收敛速度 

。

本章 系 统模型 中 的 ＬＳＴＭ 部分 的 网 络层对模 型 效 果 有着重 要影响 ，

本文首先需要确



定 ＬＳ ＴＭ 的 网 络层 数 。 为 了 确 定层数大 小 ， 对 比 实验 中 使用 ３ ＤＣＮＮ＋Ｌ Ｓ ＴＭ 模型作为测




试框架 ，
其中 ３ Ｄ 卷积神经 网络 Ｄ ｒ ｏ ｐ ｏ ｕｔ 率为 ０ ． ５ ， Ｌ Ｓ Ｔ Ｍ 不使用 Ｄ ｒｏ ｐｏ ｕ ｔ 。 对 比 实验使



用 相 同 的 训 练方 式和 参数 ＬＳＴＭ 的第 层隐含层输入为 零初 始化 使用 验证集提前停



一

， ，

止 的 方式得到最优模 型 ，
学习 率使用 离散下 降 的 方式减少震 荡 ，
在 网络梯度 下 降优化方



４ ３
－ 

－
东 北 大学硕士 学 位 论 文 第 ３ 章 各段 行 为 特征 的 上 下 文 关 系 学 

习

法和 正 则 化方法 以 及 正 则 化 系 数相 同 的 情 况 下 ，
如表 ３ ． １ 所示 ，
得到 Ｌ Ｓ ＴＭ 为 各个层 数



的准 确 率结果 

：

表 ３ ． １ 不 同 层 数对准 确 率 的 影 响


Ｔ ａｂ ｌ ｅ３ ． １  Ｔ ｈ ｅ  ｅ ｆｆｅ ｃ ｔ  ｏ ｆ ｄ ｆｆｅ ｒ ｅ ｎ ｔ  ａ ｙ ｅ ｒ ｓ  ｏ ｎ  ａ ｃ ｃ ｕ ｒ ａ ｃ
 ｉ ｌ


ｙ

层 数 １ ２  ３ ４ ５ 

６

准确 率 （ ％ ８３ ） ． ６ ８ １ ． ３ ８５ ． ９  ８ ６ ８ １ ． ４ ７９ ８

 ．

验证集 ｌ ｏ ｓ ｓ ２ １ ． ４３ ２７ ． ６ １  １ ９ ７０ ．  １ ９ ７０． ２７ ． ６０ ３ ２ ． ９ 


１

运行时 间 （ ｈ ）  ２４ ． ２ ２ ５ ８ ． ２７ ． ０ ２９ ． ３ ３３ ． ０ ３ ７ ． 


６

从表 ３ ． １ 中 可 以看出 ，
深层 次 的 Ｌ Ｓ ＴＭ 对于 人体行 为 识 别 任务没有太 多 的 提升 ，


反

而会变得 更 差 出 现过拟合现 象 ， 交叉验证 的 代价 函 数变得 更大 。 此外 ，

随着 网 络层数 的



加深 ，
算法达 到 收敛 的 时 间 也不 断 增 大 ，
综合 以 上考虑 ， 选择 三 层 Ｌ Ｓ ＴＭ 对模型综合 的



效果更好 

。

神经 网 络 的 层数确定 以 后 ，
如表 ３ ． ２ 所示 ，
首 先验证 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 相对于 ＬＳＴＭ 的 效果



如何 ，
本 文 中 使用 ＵＣＦ １ ０ １
和 ＨＭ Ｄ Ｂ ５ １ 共 同 测 试两种 模 型性 能 。 该 对 比 试 验采 用 相 同



的 输入 特征 维 度 和 输 出 神 经元 维度 ， 使用 相 同 的梯度 下 降法和 相 同 的 正 则 化方法 ，

并使



用相同的归 化方式
一



。

表 ３ ． ２ Ｌ Ｓ Ｔ Ｍ 和 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 效 果对 比 （ 准确 率 ， ％ 

）

Ｔ ａｂ ｌ ｅ３ ． ２  Ｌ Ｓ Ｔ Ｍ  ａｎ ｄ  Ｂ ｉ
－

Ｌ Ｓ ＴＭｒｅ ｓ ｕ ｌ ｔ ｃｏｍ
ｐ ａｒ ｉ ｓ ｏ ｎ （ ａ ｃ ｃ ｕ ｒａ ｃ ｙ ％ ）



数 据 集 Ｃ ３ Ｄ 平 均 融 合  Ｃ ３ Ｄ ＋ Ｌ Ｓ Ｔ Ｍ  Ｃ ３ Ｄ ＋ Ｂ  ｉ
－

Ｌ ＳＴＭ



ＵＣＦ １ ０ １  ８２ ． ７  ８５ ． ９  ８６ ． 

８

Ｈ ＭＤ Ｂ ５  ５ ４ １ ． ２ ５５ ． ６  ５ ７ ５

 ．

以 上结 果 为 使用 当 前 最 流 行 的 两 个数据 集 ， 采 用 相 同 参数和 学 习 率情况 下 ，

得到的



两个模型 的 效 果 。
从结果上来看 ， 双向 Ｌ Ｓ ＴＭ 在人体行 为识别方面 ， 确实 比单 向 Ｌ Ｓ ＴＭ



有 更好 的 效果 而 且 ， Ｂ ｉ
－

ＬＳＴＭ 中 每个 ＬＳ ＴＭ 模 型是 并 行计算 其 训 练耗 时和 单层 ， Ｌ Ｓ ＴＭ



相 差无几 。
本 文在 以 下 实验 中 将 以 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 为基础 ，
进 行后 续对 比 验证实验 

。

由 以 上验证实验 ， 本文确 定 了 使 用 Ｂ ｉ
－

Ｌ Ｓ ＴＭ 结 构 作 为 本文系 统序 列 模 型 学 习 视频特



征前后 文关系 后 下 步 就 是选 择 隐 含 层 每 层 网 络 神 经 元 维 度 大 小 由 第 二 章 实验可 知

一

， 。 

，

循环 网 络 的 输入 向 量维度 为 ５ １ ２ ， 即 ３ Ｄ 卷积 神 经 网 络视频特征 向 量维度 。 对 于 隐含层




来说 不 同 的 神 经元维度对模 型 表现有 很 多 影 响 般 是采用 神 经元维度 大于等 于 输入



一

， ，

维度 的 ２ 倍 。 本 次对 比 实验 ， 如表 ３ ． ３ 所示 ，
在 ＵＣＦ １ ０ １ 数据集 中 ，
不 同 隐含层 神经元



维度对 算 法准 确 率 的 影 响 

。

４４ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征的 上下 文 关 系 学 习



维度 的 ２ 倍 。 本 次对 比 实验 ， 如表 ３ ． ３ 所示 ， 在 ＵＣ Ｆ １ ０ １ 数据 集 中 ， 不 同 隐含层 神 经 元



维度对算法准确 率 的 影 响 

。

表 ３ ． ３ 不 同 维度 的 网 络效果


Ｔａｂ ｌ ｅ３ ． ３ Ｎ ｅ ｔｗ ｏｒ ｋ  ｅ ｆｆｅ ｃ ｔ ｓ  ｉ ｎ  ｄ ｆｆｅ ｒ ｅ ｎ ｔ  ｄ ｍ ｅ ｎ ｓ ｏ ｎ ｓ
ｉ ｉ
 ｉ

神 经 元 维 度 运 行 时 间 （ ｈ ）  准确率 （ ％ 

）

１ ２ ８ ２ ５ ０ ．  ７６ ． 

１

２ ５ ６ ２ ５ ． ０ ７ ３ ． 

５

５ １ ２  ２６ ３ ．  ８２ ． 

０

１ ０ ２ ４ ２ ７ ７ ８ ４ ４

 ． ．

２０４８  ２９ ０ ．  ８６ ． 

８

４０９６  ３ ２ ． ５  ８５ ． 

２

由 表 ３ ． ３ 可得 ， 神 经元维度 在 ２ ０４ ８ 左右 ，
效果最好 。 因此 ，
本文选择 ２０４ ８ 作 为神



经元维度 。 ３ Ｄ 卷积 神 经 网 络＋双 向 ＬＳ ＴＭ 网 络 在 训 练过程 中 ， 由 于模型较复 杂会 出 


现

ｌ ｏｓｓ 曲 线 震 荡 且 不 收敛情 况 。
本文将第 ２ 章的 ３ Ｄ 卷积神经 网 络训 练得到 的 参数值作 为



该 系 统 的 初始值 ， 极 大提 高 了 收敛速度 

。

本章系 统 中 加 入两层 的双 向 Ｌ Ｓ ＴＭ 网络 ， 加深 了 网络复杂度 ， 相 应 的 需 要 合适 的 正




则 化方 式 防 止过拟合 现 象严重 。 选择恰 当 的 Ｄ ｒｏｐ ｏ ｕ ｔ 方 式可 以 有 效缓解过拟 合 现 象 ， 


当

Ｄ ｒｏｐ ｏ ｕ ｔ 率过小 时 ， 网 络结构 几乎没有进 行正 则 化处理 ， 此 时 无法 消 除 结 果 的 过拟 合现




率过大 时 相 当 于 网 络模型 中 大部 分神经元 随机丢弃 造成

“ ”

象 ； 当 Ｄ ｒｏ
ｐｏｕ
ｔ ， ， ｌ ｏｓｓ 曲线



不 收敛或者欠拟合 。 下 面将根据 ３ Ｄ 卷 积 神 经 网 络 ＋Ｂ ｉ
－

Ｌ ＳＴＭ 模型 ， 从不 同 Ｄｒ
ｏ ｐ ｏ ｕｔ 

方

法到 不 同 的 Ｄ ｒｏ ｐ ｏ ｕ ｔ 率值进 行对 比 实验 ， 选择最恰 当 的 Ｄ ｒｏｐｏ ｕ ｔ 参数 


。

如表 ３ ． ４ 所不 ，
本文选择传统 Ｄｒｏｐ ｏｕ ｔ 、 循环 Ｄ ｒｏ ｐ ｏ ｕ ｔ 和层级 Ｄ ｒｏ ｐ ｏ ｕ 三 种 方 法 进 行

 ｔ

对 比 实验 ，
其中 Ｄ ｒｏｐ ｏ ｕ ｔ 率选择均 为 各 方法 中 性 能 表 现 最好 的 值 

。

表 ３ ． ４ 不同 Ｄ ｒｏ ｐ ｏ ｕ ｔ 方法对模 型影响


Ｔａｂ ｅ３ ４Ｄ ｆｆｅ ｒ ｅ ｎ ｔＤ ｒｏ ｏ ｕ ｔ  ｍ ｅ ｔ ｈ ｏ ｄ ｓ  ａ ｆｆｅ ｃ ｔ  ｈ ｅ  ｍ ｏ ｄ ｅ ｔ
ｐ
ｌ ． ｉ 

ｌ

传 统＋层 级


模 型 性 能 传 统 Ｄ ｒｏ ｐ ｏ ｕ ｔ 循 环 Ｄ ｒｏ ｐｏ ｕ ｔ 层 级 Ｄ ｒ ｏ ｐ ｏ ｕ ｔ

Ｄ ｒｏ ｐ ｏ ｕ 

ｔ

准确率 （ ％ ８６ ） ． ８  ８ ３ ８ ７ ． ２ ８５ ． 


６

运行时 间 （ ｈ ） ２７ ． ９ ２ ６ ５ ２ ６ ２ ２ ５ ０

 ． ． ．

验证集  ｌ ｏｓ ｓ  １ ８ ７０ ． ２ １ ． １ ３  １ ８ ． ３ ０ ２ ０ ０ ． 

１

４ ５
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征的 上下 文 关 系 学 习



由 表 ３ ． ４ 可知 ， 层级 Ｄ ｒ ｏ ｐ ｏ ｕｔ 方 式 最 适合 人 体行 为 识 别 任 务 ，
不仅准 确 率有所提高 

，

而且运行时 间进 步缩短 使用 两种 Ｄｒ 结合方式 反而 效果 更差 主要是 因为序



一

。 ｏ ｐｏ ｕ ｔ ， ，

列 模型 中 过多 神 经元被 丢弃 导 致模型难 以 收敛 和 拟 合 层级 相对于其他方



“ ”

， 。 Ｄ ｒｏ ｐｏ ｕ ｔ

式 在 模型 训 练过程 中 ，
具有 加 速 收敛 易 于迭代 的 优 点 。 下图 ３ ． １ ８ 所示为三种 Ｄｒ
ｏｐｏｕ ｔ


相

应 的 损 失 函 数 下 降 曲 线对 比 

：

—一

层次Ｄ ｒ ｏ ｐｏ ｕ ｔ  ■  ■

传统Ｄ ｒ ｏ ｐ ｏ ｕ ｔ
．

循环 Ｄ 
ｒ ｏ ｐｏ ｕ 

ｔ

３００



２５０



，
９
１５ ０

 ＼＼




＼

—
 — ＇



－
ＷＭＷＷＴＷｒ
〇
Ｔ ｒ ｆ ｒ

０  １  ２ ３ ４ ５ ６



迭代次数 （ １０ Ｋ 

）

图 ３ ． １ ８ 三种 Ｄ ｒｏ
ｐｏ
ｕｔ 损失函数曲线图


Ｆ ８  Ｔ ｈ ｒｅ ｅ  Ｄ ｒ ｏ ｏ ｓ ｓ  ｆｕ ｎ ｃ ｔ ｏ ｎ  ｇ ｒ ａ ｐ ｈ ｓ
ｐｏ ｕ
３ ｌ 

ｉ

ｇ ．
． １ ｔ ｉ

算法 的 唯 参数是 层 的 神 经 单元有 多 大 几率 需要被 丢



“
Ｄ ｒｏ ｐｏ ｕ Ｄ ｒｏｐ ｏ ｕ 率 即每
一 一

ｔ ｔ ，

弃 过大或者过小对模型 效果有重要影响 甚 至会导致模 型 训 练不 收敛 下面



”
。 Ｄ ｒｏ ｐ ｏ ｕ ｔ ， 。

本文对层 次 Ｄ ｒｏ
ｐ ｏ ｕｔ 的 几种 Ｄ ｒｏｐｏ ｕ ｔ
率进 行 比 较 ，
得到表 ３ ． ５ 结果 

：

表 ３ ． ５ 不同 Ｄ ｒ ｏ ｐ ｏ ｕｔ 对结 果影响


Ｔａｂ ｌ ｅ３ ． ５ Ｄ ｉ ｆｆｅ ｒ ｅ ｎ ｔ  Ｄ ｒ ｏ ｐ ｏ ｕ ｔ  ｅ ｆｆｅ ｃ ｔ ｓ  ｏ ｎ  ｒ ｅ ｓ ｕ ｌ ｔ 

ｓ

Ｄ ｒｏ ｐ ｏ ｕ ｔ 率 运 行 时 间 （ ｈ ）  准确 率 （
°
／。 

）

０ ． １  ２９ ． ０  ８４ ． 

８

０ ３ ２ ８
．  ８６ ４

 ．

０ ． ５  ２６ ２ ．
 ８ ７ ． 

２

０ ７ ２
． ５ ． ５  ８ ５ ． 

７

０ ９ ２ ４
．  ８３ ． 

１

由 以 上所有 实验结 果 分析总 结 以 及 图 ３ ． １ ９ 和图 ３ ． ２０ 的 损 失 函 数下 降 曲 线所示 ， 


加

入层次 Ｄｒ
ｏ ｐｏ ｕｔ 算法在 识 别准 确 率 和 收敛速度方面都有不错 的 提高 。 本章最终确定 以



Ｄ ｒｏｐ ｏ ｕ ｔ
率为 ０ ５
．
的层次 Ｄ ｒ ｏ ｐｏ ｕ ｔ
作为 Ｂ ｉ
－

ＬＳ Ｔ Ｍ 的 正 则 化方式最适合本 系 统 的 人体 行 为



４ ６
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各段行 为 特征 的 上下 文 关 系 学 习



识别任务 ， 其中 Ｂ ｉ
－

ＬＳ ＴＭ 网 络 层为三层 ， 隐 含层 单 元 维度 为 ２ ０４ ８ ， 以 ３ Ｄ 卷积神经 网



络最后 层 卷积 层 的 平均 融 合特 征 向 量作 为 序 列 模 型 输 入 完 成 各子 段 动 作 特征 向 量 的


一

上下文关系学习 ， 提 高识 别 准确 率 

。

ｂ ａｔｃ ｈｊ ｏｓｓ



２ ００  ＇

１ ８０




Ｍ
－
６０





三
ＳＣ Ｏ
 

Ｌ
６０ ０ 

 

！

＾Ｃ ０   Ｙ＾ Ｉ

２ Ｄ ０



ｏ ｃｏ 

ｅ ｏ ｃｃ  ｉ

ｃ ｏｏ
 ａ ｉｃ ｏｏｏｋ  ｓ ｏ ｘｏ  ４ 〇  ｉ  ｏｃ ｏ ｋ  ｓｏ ｏ ｏｏ ｋ
 ｅｏ  ｏｏ ｏｉ



图 ３ ． １ ９ 不加层次 Ｄｒｏｐｏ ｕ ｔ 的损 失 函 数收敛 曲 线



Ｆ ｉ

ｇ ． ３ ． １ ９Ｔ ｈ ｅｃ ｏ ｎ ｖ ｅ ｒｇ ｅ ｎ ｃ ｅｃ ｕ ｒｖ ｅ  ｏ ｆ  ｔ ｈ ｅ  ｏ ｓ ｓ  ｆｕ ｎ ｃ ｔ ｏ ｎ  ｗ

ｌ ｉ ｉ ｔ ｈ ｏ ｕｔｈ ｉ ｅ ｒａｒｃ ｈ ｉ ｃ ａ ｌ  Ｄ ｒｏ ｐ ｏ ｕ 

ｔ

ｂａ ｔ ｃ ｈ
ｊｏｓｓ



１
００
＇




９０ ０


｜

８ ０ Ｃ



６０ ０ 

＼


Ｅ
ｚｏ ｏ


Ｖ

 

￣

ｉ ｎ ｎ 
—

〇 〇Ｃ    广 ：
ｎ
 ．  



Ｃ Ｏ ＣＯ  ５ ＸＣ ｋ １
０  Ｏ ＯＣ ｋ  ：

５ ０ Ｃ〇 ｋ ：Ｃ ００〇 ｋ ： ５ ０ ００ｌ  Ｂ Ｃ ＯＯ Ｃｉ  ３ ５ Ｃ Ｏ ＯＩ  ４ Ｃ

 ＣＯＯ Ｌ ＾５  Ｃ ＯＯｉ ５０ ０ＣＣ ｔ ５５ ０ ０ ０ ｋ

图 ３ ． ２０ 加 入层 次 Ｄ ｒ ｏｐｏｕｔ 的损 失函 数收敛 曲 线


Ｆ ２ ０Ｔ ｈ ｅｃ ｏ ｎ ｖ ｅ ｒ ｈｔ ｈ ｅｈ ａ ｒｃ ｈ ｃ ａ Ｄ ｏ ｐ ｏ ｕ ｔ
ｇ
３
ｇ ｅ ｎ ｃ ｅ  ｃ ｕ ｒｖ ｅ ｏ ｆ ｈ ｅ ｏ ｓ ｓ  ｆｕ ｎ ｃ ｔ ｏ ｎｗ ｔ ｅ ｒ ｒ
ｉ ． ．  ｔ ｌ ｉ ｉ ｉ ｉ ｌ

３ ． ４ 小结



本章节主要介绍 了 循环神 经 网 络 在 人 体 行 为 识 别 中 的 使 用 第 部分介绍 了 通用 的



一

循环神经网络 的原理 、 结构 以 及存在 的 问 题 ； 第 ＿

部分介绍 了 改进 的 循环祌经 Ｍ络 ，


长

短 时记忆神 经 网 络 （ ＬＳ ＴＭ ） 和相应 的 变形结构 ， 双向 Ｌ Ｓ Ｔ Ｍ （ Ｂ ｉ

－

ＬＳＴＭ ） ； 第三部分对



循环 神经 网 络 的层 数 单双 向 、 ＬＳＴＭ 的选择 、 Ｄ ｒｏ ｐ ｏ ｕ ｔ 算法的选择和 Ｄ ｒｏ ｐｏｕ ｔ 率的设定 


，

进 行 了 大量对 比 实验 由 于 人体 行 为识别 属 于 序 列 任务 中 的 种 所 以 本章运用 循环神



一

。 ，

经 网 络学 习 人体行为上下 文关系 ，
并获得 了 出 色表现 。 由 于传统循环 网 络存在 梯度 消 失



４７
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ３ 章 各 段 行 为 特征 的 上 下 文 关 系 学 

习

问 题 ， 使得远距 离 学 习 上 下 文 关 系 变得很 困 难 ， 并且考虑 到序 列 时 刻 的 结 果和 前后 序 列




都有 关 系 所 以 本 文 采用 ， Ｂ ｉ
－

Ｌ Ｓ ＴＭ 作 为 学 习 人体行为 上下 文关系 模 型 本 章 实验证 明 。 


，

Ｂ ｉ
－

ＬＳＴＭ 在 人体 行为 识 别 上 的 表现 确 实优 于 单 向 的 Ｌ Ｓ ＴＭ 。 最 后 通过对循 环神 经 网 络 中



的 层数 、 隐含层维度 、 Ｄ ｒｏ ｐ ｏ ｕ ｔ 率等参数进行控制 变量 的 对 比 实 验 确 定 了 以 三层 网 络 ， 

、

输 出 维度为 ２ ０４ ８ 、 层次 Ｄ ｒ ｏ ｐ ｏ ｕｔ 率为 ０ ５
．
为组合 的 最佳参数 ， 并获得 了 很好 的效果 

。

４８
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合 注 意 力 机制 的 人体行 为 识 别



第 ４ 章 融合注意 力机制 的 人体行为识别




注 意 力 机制 Ａ Ｍ ｅ ｃ ｈ ａｎ 是 种 模 拟 人脑 的 机制 研 究发现 人脑在工


一

（ ｔｔ ｅ ｎｔ ｉ ｏ ｎ ｉ ｓ ｍ ） 。 ，

作时是有 定注意力 的 比如 当 我们欣 赏 幅 艺术作 品 时 可 以 看到 其全貌 而 当 我们



一 一

。 ， 。

深 入观察画 作 的细节 时 其实眼睛 只 聚焦在画 幅上很小 部分 而忽 略其他位置 的 图像



一

， ，

背 景之类无关信 息 这就说 明 大脑在处 理信 号 时 是有 定权重 划 分 的 而注意 力 机制 的



一

， ，

提 出 正 是模仿 了 大脑这 种 特性 。 本 文将 注 意 力 机 制 用 于 图 像 显 著 性表 达 中 ，
使得 图 像中



关 于人体行 为 区 域在 网 络 中 的 权重 更 大 结合 前 两 章 的 方法 进 步提高行为识 别准 确


一

， ，

率 。 通过 相 关对 比 实验 ，
分 析该算法 的 性能优点 。 在本章 的最后 ，
将讨论几种常用 的深



度 学 习 框架 ，
并选择适合本 文 的 框架 

。

４ ． １ 注意 力 机制 算 法



４ ． １ ． １ 注意力机制 简介



注 意 力 机制 在机器 翻 译 中 得到 广泛应 用 ，
利 用 编码 解码 模 型 －

，
使用 注 意 力 机制 解决



词 偏置 问 题 近 几年开始应 用 在 图 像方面 每 次解码都 需 要每 个像素 点 的特征 向 量



一 一

。 ，

间 融合 作 为 输入 ，
使得有意 义 的 局 部 区 域特征 无法发挥作 用 。 利用 注意 力 机制 ，
通过前



隐藏层 的输 出 计算对应 的 当 前 图 像 的 每 个像素 的 权重 其中 对应人体行为部分



一 一

， ， ，

的 图 像 区 域权重值 偏 大 ，
将像 素特 征 向 量加 权平均 ，
使 得 图 像 人体 行为 局 部 区 域得到 显



著性表达 注意力机制 可 以缓解 图 像信息 赘余 问 题

。 ，
获取真正有效 的 局 部 区域 如 图 。 ４ ． １ 

，

划船部 分大约 只 占 图 像 部分 的 二 分之 利 用 注 意 力 机制 将 划船 区 域权重 加 大 使得中



一

， ，

间 部分重要性提高 ，
而 减小 背 景之 类无用 信 息 的干扰 

。

图 ４ ． １
注 意 力 机制 的应用 示例


Ｆ ｉ

ｇ
． ４ ．
１ Ｅ ｘ ａ ｍ ｌ

ｐ
ｅ ｓ  ｏ ｆ ａ ｔｔ ｅ ｎ
 ｔ ｉ ｏ ｎｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ 

ｓ

４９
－ 

－
东 北 大学硕士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体 行 为 识 别



４ ． １ ． ２ 注 意 力 机制 的 结构 原 王 

里

人类视 网 膜 不 同 部 位对 不 同 信 息 接 受和 处 理 的 敏 锐 度 不 同 ，
为 了 最 大化利 用 有 限 的



视觉信 息处 理 资 源 ，
需 要 选 择视觉 区 域特 定 部 分 ，
集 中 关注它 。 注意 力 机制 主要有 两个



作用 ： （ １ ） 决定 需要关注输入 的 哪些部 分 ；
（ ２ ） 合理分配有 限 资源给重要 的 部位 

。

注 意 力 机 制 可 以 理 解 为 从 大 量 信 息 中 有 选择 的 筛 选 出 固 定 量 信 息 ，
并按重要性进行



权重 分配 如图 所示 特征 图 可当做 系 ＼＾ １ １＾ ＞ 数据构 成 给定循



一

。 ４ ２ ． ， Ｓ ｏ ｕｒ ｃ ｅ ，

环神经 网络 中 某个时刻 的输 出 序列 Ｑ ｕｅ ｒ
ｙ ， 通过计算 Ｑ ｕｅｒｙ 和 各 个 Ｋ ｅｙ 的 相 关 性 ，
得到



每个 Ｋｅｙ 对应 Ｖａ ｌ ｕｅ 的 权重系 数 ， 然后对 Ｖａ ｌ ｕｅ 进行加 权求和 ，

得到 最终注意力机制 融



合后 特征 。 聚 焦 重 要 信 息 的 过程表 现在 每 个 像 素 的 权重 计 算 上 面 ，
权重 越 大越 聚 焦 在 对



应 的特征 向 量 Ｖａ ｌ ｕｅ 上 ， 也就是说 ，
权重 代 表 了 信 息重要 性 

。




１
Ｉ

Ｋｅ ｙ ｌ  Ｋ ｅ ｙ ２ Ｋｅ ｙ ３ Ｋ ｅ ｙ４



Ｕ
Ａｔ 〇ｎ



 ｆｆ
       

Ｑｕ ｅ ｒ ｙ
ｉ
 ！
Ｖ ａ ｌ ｕｅ



｜  Ｔ Ｔ Ｖ Ｔ 

｜

 Ｖａ  Ｖａ  Ｖａ 
｜  Ｖａ ｌ ｕｅ  １ ｌ ｕｅ ２ ｌ ｕｅ ３ ｌ ｕｅ ４ 

！

ｉ   


Ｊ

图 ４ ２
．
注 意 力 机制 原 理


Ｆ ４ ２Ｍ ｅ ｃ ｈ ａ ｎ ｓ ｍ ｓｏ ｆ ａｔｔ ｅ ｎ ｔ ｏｎ


ｇ
ｉ ． ． ｉ  ｉ

同样来说 注 意 力 机制 可 以 看 做是 种 软寻址 方式 特征 图 看作 是存储 器 内 存储 的



一

：
，

内 容 ， 由 待 训 练 的权重 和 像素特征 向 量组成 ， 通过循 环 网 络输 出 序 列 和 元素 Ｋｅｙ 的 地址




进行 相 关性 计算来寻 址 关于 权重 计 算 方面 每 个 Ｋｅｙ 都会取 出 内 容 内 容 的重要性



一

。 ， ，

根据输 出 序 列 Ｑ ｕｅ ｒ ｙ 和 Ｋｅｙ 的 相 关性大 小来决定 ， 之后 对像素特征 向 量加 权求和 ，

得到



最后 的 Ｖａ ｌ ｕｅ 值 

。

注 意 力 机制 具 体计算过程如 下 图 所示 可 分 为 三个 阶 段 第 个阶段是根据循


一

４ ３ ．
， ：

环 网 络输 出 序列 Ｑ ｕ ｅ ｒｙ 和 元素 Ｋｅｙ 计算权重 系 数 ； 第 二个阶段 是将得到 的权重进行




归 化处理 也可将第 二阶段简化为第 阶段 第 三个 阶段是根据 归 化后 的



一 一
一

Ｓ ｏ ｆｔ ｍ ａ ｘ ， ；

权 重 系 数对 特 征 图 的 Ｖａ ｌ ｕｅ 进行加权求和 

。

５ ０
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注 意 力 机制 的人体行 为 识 别



ｒ 

１

Ｋ ｅｙ 
１  Ｋ ｅ ｙ ２ Ｋ ｅ ｙ 

＇

３ Ｋ ｅ ｙ ４ 

 

Ｑ ｕ ｅ ｒ ｙ
 

Ｊ ， ｌ  ｊ ， 阶 段 Ｍ

 



！

ｓ ｉ ｓ ２ ｓ ３ ｓ ４ 

！

！
  丨

  


 

ｉ

Ｌ  —  —
 — 

   ＿  ＿
       Ｉ  ＿  ＿  —   


ｉ

  
￣

「
＾ 

！

 Ｓ ｏ ｆｔ ｍ ａ ｘ  归 一

化  Ｐ介 隹受 ２ 

丨

   

   

Ｉ

； 
一

士  孓 －



１

！  ａ ｌ ａ ２ ａ ３ ａ ４ 

＇

 
           

ｉ


＾； ，

Ａ ｔｔ ｅ ｎｔ ｉ ｏｎ
＾
｜  

｜


     

ｉ  

ｉ

ｉ  

ｉ

 Ｖａｌ ｕ ｅ ｌ Ｖ ａｌ ｕ ｅ ２ Ｖ ａ ｌ ｕ ｅ ３ Ｖ ａ ｌ ｕ ｅ４
 

｜

ｉ  

ｉ

ｉ 

     

 

ｉ

图 ４ ． ３ 注 意 力 机制 计 算过程


Ｆ ｇ ４
ｉ ． ．
３ Ａｔ ｔ ｅ ｎ ｔ ｏ ｎ  ｍ ｅ ｃ ｈ ａｎ
ｉ ｉ ｓ ｍｃ ａ ｌ ｃ ｕ ａｔ ｏ ｎ  ｐ ｒ ｏ ｃ ｅ ｓ ｓ
ｌ ｉ 


在第 个阶段 中 由 于应用 场景不 同 可 以 使 用 不 同 的 函 数和 计算机制 根据 循环 网



一

， ，

络输 出 和每 点像素 的特征 向量 计算两 者 的 相 关性或者是相 似度

一

。 

：

（ １ ） 使 用 向 量 点 积 的 方式 衡量 相 关 性 

：

Ｄ ｓ ｔ ａ ｎ ｃｅ
Ｑｕ ｅｒｙ Ｋｅｙ
＝
Ｑｕ ｅｒｙ Ｋｅｙ 
■

ｉ
［
， 
）  

４ ． １


）

ｉ ｔ
（

（ ２ ） 使 用 余 弦 相 似度 的 方 式衡 量 相 似度 

：

Ｄ ｉ ｓ ｔ ａｎｃｅ
 ｛ Ｑ ｕ ｅ ｙ Ｋｅｙ ｒ
，
，
）
＾

為  丨 丨
（
４ ２）


．

（ ３ ） 使 用 前馈 网 络训 练权重系 数 

：

Ｄ Ｑｕ ｅ ｒｙ Ｋｅｙ ｍ ｐ Ｑｕ ｅ ｒｙ Ｋｅｙ 
＝
ｉ ｓ ｔａ ｎ ｃｅ ， 
ｌ
，  ４ ３
 （ 
｛ ）   （ ｔ ） （
．



）

式 式 和式 距 离 公 式计 算 出 的 权重 不 在 同 量纲 下 需要进行


一

（ ４ ． １ ） 、 （ ４ ２
． ） （ ４ ３ ． ） ，

归 化操 作 以 便进 行后续权重乘法 第 二 阶段使 用 Ｓｏｆ

ｔ ｍ ａｘ 将 不 同 量纲 的 权重 系 数 归


一

， 。

化 越重要 的 部分权重越 大
一

， 

：

Ｄ ， ｓ


＜

ｅ
ａ
＾ Ｓ ｏｆｔ ｍ
＾ Ｄ ＾

—

ｓ
）
ｉ
Ｔ

Ｄ－
 （
４ ４


）


 ｉ

ｔ ｅ

＝
ｋ 

＼

第 三 阶段将 归 化得 到 的 权重 分布 加入到输入序列 中 加权融合得到 最终 的输入



一

， ，

序列 

：

Ｔｘ



Ａ ｅ ｎｔ ｉｏｎ
Ｑ ｕ ｅ ｒｙ Ｓｏ ｕ ｒ ｃ ｅ ）
＝

＾ ｃｃ ｖａ ｌ ｕ ｅ
？

Ｉｔ



 （
， 
  ｊ
ｋ ｔ
（
４ ５ ．



）
＝
ｋ   

＼




－

５
－

１
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融 合注 意 力 机制 的人体行 为 识 别



注 意力机制在应用 方面可 以 分为 四 类 ： 基于输入 项 的 软 注 意 力 （ ｉｔ ｅｍ －

ｗ ｉ ｓ ｅ  ｓｏ ｆ


ｔ

ａｔ ｅ ｎ ｔ ｉ ｏ ｎ ） 、 基 于 输入 项 的 硬注 意 力 （ ｉｔｅ ｍ ｗ ｉ ｓ ｅ  ｈ ａｒ ｄ  ａｔ ｅ ｎｔ ｉ ｏｎ
－

） 、 基于 位置 的 软注意 力



（ ｌ ｏ ｃ ａｔ ｉ ｏ ｎ ｗ ｉ ｓ ｅ ｓ ｏ ｆ
－

ｔ ａｔ ｅ ｎ ｔ ｉ ｏ ｎ
   ） 、 基于 位置 的 硬注 意 力 （ ｌ ｏ ｃ ａｔ ｉ ｏｎ ｗ ｉ ｓ ｅ ｈ ａ ｒｄ ａｔ ｅ ｎｔ ｉ ｏ ｎ
－

  ） 。 

基

于 项和 基于 位置 的 注 意 力 主要 区 别 在 于输 入形式不 同 ， 基于 项 的 注 意 力输入是包含 明 确



的项 的序列 ， 如 向量 、 矩 阵或者特征 图 。 基于 位置 的 注 意 力 是对输入为特征 图 的 情 况下




设定 的 ，
所有 目 标通 过位置 确 定 

。

基 于 项 的 注 意 力 在 项 的 层 次操作 原 始输入在 经过神经 网 络编码后 形成每 项具



一

， ，

有 个单独编码 的序 列 基于 项 的 软注意 力每 项 都会 有 个权重 系 数 对所有 的项 的



一
一 一

。 ，

序 列进行 线 性加 权合并 ， 加 权 融 合后 的 编 码 序 列 即 为注 意 力 操 作 后 的 序 列 特征 。 相反的




是 硬注 意 力 机制 不 是 进 行 线 性 加 权 而 是硬性选择 个或者 多 个项编 码作 为最 终 的 特



一

， ，

征 

。

基 于 位置 的 注 意 力 机制 是 在 特征 图 上进 行 相 关 操作 。 基 于 位 置 的 软 注 意 力 对 整 个特



征 图进行 个变换 使 得重 点 区 域 能 够 凸 显 出 来 而基 于 位置 的 硬注 意 力 从 特征 图 中 离


一

， 。

散选取 个子 区 域 其 中 选 取 的 区 域位置 是 由 注 意 力 机制 训 练或 者计算 得 到 作 为最终



一

， ，

的特征 

。

每种注 意 力 机制 有 自 己 的 特 定 的 输入 和 应 用 场 合 ， 这是 因 为不 同 的注意 力 机制 的 输


入和 结 构 原 理不 同 如 表 。 ４ ． １ 所 示 基 于 项 的 注 意 力 机 制 关 注 于 输入 序 列 间 的 特 征 分 布
， 

，

从 而 获 得权 重 分布 ； 基于 位置 的 注 意 力 机制 关注 于 输入特征 图 的 变换矩 阵 ， 通过 变换矩




阵将 特 征 图 的 重担 区 域挑选 出 来 

。

表 ４ ． １ 注 意 力 机制 的 四 种类 型


Ｔ ａｂ ｌ ｅ ４ ． １ Ｆ ｏ ｕｒ  ｔ
ｙｐ
ｅ ｓ  ｏ ｆ ａｔ ｅ ｎ ｔ ｉ ｏ ｎ  ｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ ｓ
 


注 意 力 类 型 输 入 操 作



基 于 项 的 硬 注 意 力 项 的 序 列 离 散 选 择 些项


一

基 于 位 置 的 硬 注 意 力 特 征 图 离 散 地 选 择 子 区 域



基 于 项 的 软 注 意 力  项 的 序 列 对 所 有 项 线 性 加 权 合 并



基 于 位 置 的 软 注 意 力 特 征 图 对 输 入 进 行 变 换



在 模型选择方面 注 意 力 机制 通常 由 个原始 神经 网 络之外 的 前馈 网 络组成 注意



一

， ，

力 机制 网 络可 以 和 原 始模型 起训 练 对 于 软注 意 力 注 意 力 网 络对 输 入 是 可 微 的 

所
一

。 ， ，

以 可 以 使用 梯度 下 降方法优化 ； 对 于硬注 意 力 ， 网 络对输入 不可微 ，

需要使用 蒙特卡洛



采样和 ＥＭ 算法确 定特征 子 区 域位置 ， 或 者 使 用 强 化 学 习 方 式 学 习 硬 注 意 力 机制 。 在计




５２
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体 行 为 识 别



算 机视觉领域 ，
由 于 图 像 的 结构化 的 数据 特 点 ，
常 使用 基于项 的 注意 力 机制 作 为 图 像 显



著 性 区 域提取 的 改 进方法之
一



。

４ ２
．
基于注意 力机制 的 显著性特征提取



在 图 像 特 征 提 取 的 过程 中 ，
会 发现特征 图 像素 点 越 多 ，
做 像素点特征 融合送 入 ＬＳ ＴＭ



的输入时 ，
模型 的 性能会显 著 下 降 。 而特征 图尺寸过小 ，
则 不能充分表示动作 片段 的信



息特征 。
如 何 既保 留 住 ３ Ｄ 卷积神 经 网 络 中 深层特征 图 ，
又提取 出 图 像 中 显 著 性动 作 区



域特征 ，
对本文系 统 的 模型 效果有重 要影 响 ， 也 是本 章 的 研 究重点 

。

本文 系 统涉及到 ３ Ｄ 卷积神 经 网 络 、
循环神经 网 络和注 意 力机制 。 如图 ４ ４
．
所示 ，


系

统框架主要分为 将整 个视频流 分成 多 段 每 段连续 多 帧 图 片进行 图 片预处理

一

： （ １ ） ， 

，

每段 的 部 分模型 参数共享 ；
（ ２ ） 利用 ８ 层 ３ Ｄ 卷积 神 经 网 络提 取 各 个片 段 视频 的 时 空信



息特征 ，
各 段模 型 参 数 共享 ， ３ Ｄ 卷积 网 络输 出 为 多 通道特征 图 ；
（ ３ ） 利用 ＬＳＴＭ 模型



特点 使用 基 于输入项 的 软注意 力 机制 利用 ＬＳＴＭ 的 隐 含层输 出 序 列 和 每 时刻 的输



一

， ，

入序 列 计算 特征 图 每 个 像 素 点 对应 的 权重分配 ，
将特征 图 所有 像素 点 的特征 向 量加权求



和 ，
得 到特征 图 的 显 著 性特征 ；
（ ４ ） 将前 向 ＬＳＴＭ 和后向 ＬＳＴＭ 的 隐 含层输 出 结 合 

，

作为最后 层 全 连接 层 的 输 入 利用 注意 力 机制 学 习 每 时 刻 的 结 果序 列 的 权重


一 一

；
（ ５ ）
自

分布 ， 加 权融 合得 到 最终 的 结 果序 列 ，
使用 Ｓｏｆ
ｔ ｍ ａｘ 分类器得 到 最终 的 分 类结 果 

。

显
Ｍ ｍ ｉ
－

Ｌｓ ｉ
＾


 ｒ
． ＿
 ■ …
…

１   ｍｍｊ Ｊ ）


；

＠＼   Ｉ


Ｉ

ｉｒ   
＾

／ｉ ｊ
 ｜
｜＾ 
；
：
！ ：

Ｃ

＾ ｒＩ  Ｘ
Ｉ 

纖 特征提取 ＼ｓ＾
＾
—

；


—
 

Ｊ
 

Ｊ
— Ｌ  — － Ｊ … … …

Ｌ — 



厂 ￣

测 试集
￣

？ 各连 猶特征提取 —

行为识别 结果 分 类 ？ 准 确 率 统计
—

？ 

 
） ！

Ｖ 

［   
｜



图 ４ ４ ．
基于 Ｂ ｉ
－

Ｌ ＳＴＭ 和注 意 力 机制 的人体行 为识 别框 架 图


Ｆ ｉ

ｇ ４ ４Ｔｈ
． ．
ｅ  ｆｒ ａ ｍ ｅ ｗ ｏ ｒ ｋｏ ｆ ａｃ  ｔ ｉ
ｏ ｎｒｅ ｃ ｏ
ｇｎ ｉ ｔ ｉ ｏ ｎｂ ａ ｓ ｅ ｄｏ ｎＢ ｉ ＬＳ Ｔ Ｍ  ａ ｎ ｄ  ａ ｔｔ ｅ ｎ ｔ ｉ ｏ ｎｍ ｅ ｃ ｈａｎ ｉ ｓ 

ｍ

５ ３
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体行 为 识 

别

４ ． ２ １ ．
基于 软 注意 力 机制 的 图 像 显著性 表 达



本文将基于 项 的 软注 意 力机制 加 入 ＬＳＴＭ 输入端 的 前层 利 用 ， ＬＳＴＭ 的 隐含层 的 输




出 和 特征 图 各个 像素 点 的特征 向 量提取特征 图 显 著 性 区 域 。 相 比于传统的平均融合方式 


，

注 意 力 机制 会 使得 模 型 把精 力 放在 权重 系 数 较大 的 像素 点 上 ，
不仅 使得模 型 更 容 易 收敛 

，

而且可 以 更好 的 学 习 视频 图 像 中 真 正 的 行 为特征 

。

基于 输入项 的 软注 意 力 机制 是可参数化 的 ，
即 可微 。
并且可 以 嵌入到 ＬＳＴＭ 的输入



层中 ，
实现端对端 的 模 型 训 练 。 梯 度计算可 以通过注 意 力 机制 模块 ， 反 向 传播到模型其



他部分 。 考 虑 到这两 种 注 意 力 机制 在 其 它 领域 的 优 异表 现和 系 统 方 案 的 可 行 性 ，
本文用



到 两 种 基于 输 入 项 的 软 注 意 力 模 型 用 于 图 像 显 著 性表达 模型
５ ４
： Ｓｏ ｔ
ｆ －

Ａ ｔｔｅ ｎ ｔ ｉ ｏｎ
［ １

、 Ｌｏｃ ａ ｌ


－

Ａ ｔｔｅ ｎｔ ｉ ｏ ｎ 模型＾ 
１

。 下 面 就 这 两 种 计 算 方 法 做 详 细 解 释 

。

Ａｔｅｎ 模 型 是将特征 图 中 每 个 像素 点 ｘ分 配 个权重 系 数 如图 所示

一 一

Ｓｏｆ
ｔ ｏｎ ４ ５
－

ｔｉ ， ．



，

将每 个 像素 的 特征 向 量进 行 加 权求 和 ， 整体作 为 Ｌ Ｓ ＴＭ 的 输入 。 当 前 时 刻 的 隐含层 的 输



出 又影 响 着 下 时 刻 的 输入特征 图 中 像 素 点 的 权重 系 数
一



。

ｙ（ ｔ 

）

个 
ｈ （ ｔ）



’Ａ



ｉ

Ａ ｔ ｔ ｅｎ ｔｉ ｏ ｎ Ｌ ａ ｙ ｅ ｒ



＊

：  Ｃ ｏｎ ｔ ｅ ｘ ｔｖ ｅ ｃ ｔ ｏ ｒ 

．

｜  督
ａｔ


ｊ

 Ｓ ｏ ｆ ｔｗ ｅ ｉ ｇ ｈ ｔｓ  

＼

興


」

＾
《Ｊ
ｈ （ ｔ ）

■ Ｊ  ＞ ＞ ．

Ｊ －

＞
Ｉ


＞

｜
｜  ｜

图 ４ ． ５  Ｓ ｏ ｆｔ
－

Ａ ｔｅｎ ｔ ｉ ｏ ｎ 示意图



Ｆ ｉ
ｇ ４
． ． ５  Ｓ ｏ ｆｔ －

Ａ ｔｅ ｎ ｔ ｉ ｏ ｎｓ ｃ ｈ ｅ ｍ ａｔ ｉ 

ｃ

每 个 像 素 的 权 重 分 布 由 像 素 特 征 向 量Ｘ和 前 序 列 隐藏层 的 输 出 经过 层前馈



一 一

网 络和 Ｓｏｆ
ｔ ｍ ａｘ 分类器得到 ，
为序 列 长度 。 公 式如 下 ， Ｃ
？

ｉ
即 为当前序列 时刻 经过 ｉ Ｓ ｏ ｆｔ 

－

Ａ ｔｔ ｅ ｎｔ ｏ ｎ
ｉ
融合后 的特征 向 量 

。

５ ４
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机 制 的 人体 行 为识 

别

ｅｘ
Ｐ
（ ％ 

）

ＺＬ ｅｘ
ｐ （ ＾ －

）  （
４ ６）
＿




Ｑ ＾ａ ａ ｉ
ｊ
Ｘ


ｊ

其中 权重 函 数ａ 〇 表示 个前馈网络
一

， 

：
）

ａ
（
Ｋ ｉ 
＾
ｘ
ｊ ）
＝
 ｖ
ｌ
ｔ ａ ｎｈ
 （
ｗ
ｉ
＇

 ｘ
ｊ
＋ｗ
２
＇

 ｈ
ｉ ＼
）  （
４ ７）
．




计算机 资 源是 有 限 的 ，
尤其 是对 图 像 的逐像素处理十分消 耗 资 源 ，
由 上述 可知 ，


使

用 Ｓ ｏ ｆｔ
－

Ａ ｔｔ ｅｎｔｉ ｏｎ 确 实 能够 使得模 型 将注 意 力 和 大部分 参 数计 算放在 行 为 区 域 ，

减少 不



必要的浪费 

。

Ｓ ｏ ｆｔ
－

Ａ ｔｔ ｅ ｎｔ ｉ ｏｎ 模 型 虽然解 决 了 权重 问 题 ，
但是 当 像素点众多 ， 权重计 算 需 要指 数运



算 计 算成本较高 于是 出现 Ａｔｅ ｎ Ａ 模型相 当于取 定大小



一

， 。
／Ｌ ｏ ｃ ａ ｌ
－

ｔ ｉ ｏｎ 。 Ｌｏｃａ ｌ
－

ｔｔ ｅｎｔ ｉ ｏｎ

窗 口 内 的 Ｓｏｆ
ｔ －

Ａ ｔｔ ｅ ｎｔ ｏ ｎ ｉ
模型 

。

Ｌｏｃａ Ａ 相当于 Ａｔｅｎ 的折中版 如图 首先找到 个 对齐位置

一

ｅｎｔ ｏ ｎ Ｓｏｆ
ｔ ｏｎ ４ ６
－

ｔｔ
－

ｌ ｉ ｔ ｉ 。 ． ， 

，

再 以 这 个位置左 右 划 定 个窗 口 按照 距离 中 心 点 的距离 分布得到 窗 口 内 各像素权重

一

， 

，

即 高斯 分布 。
最终 结 果 为窗 口 内 像 素特 征 向 量 的 加 权求 和 。 Ｌｏ ｃ ａ ｌ
－

Ａ ｔｔ ｅ ｎｔ ｏ ｎ
ｉ
在机器 翻 译



中 应用 不是很 多 ，
但是在 图像领域有很好 的应用 效果 ， 尤其是 图像描述任务 。 Ｌｏｃａ ｌ


－

Ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ 的 中 心 点 求取 是该注 意 力 机制 的 重 点
、

 


。

ｙ （ ｔ 

）

个 
ｈ （ ｔ）



Ａ ｔ ｔ ｅｎ ｔ ｉ ｏ ｎ  Ｌ ａｙ ｅｒ


 －



：

！  ＾ Ｃ ｏｎ ｔ ｅ ｘ ｔ ｖ ｅ ｃｔ ｏ ｒ  

Ｉ


Ｃ
Ａ ｇ ｎ ｅ ｄ ｐ ｏ ｓ ｏｎ

ｌ ｉ ｉ ｔ ｉ

■ 

｜

１
＾

一

Ｌ ｏｃ ａ ｌ ｗ ｅ ｉ ｇ ｈ ｔ ｓ 
—


Ｉ



：

 ｍ
（ ｔ ）

＿ ＃
ｒ


＾

Ｍ ｔＩ ｉ ｉ

  

！  Ｔ Ｔ ｔ  Ｔ  Ｔ Ｔ



图 ４ ． ６Ｌ ｏ ｃ ａ 丨
－

Ａｔ ｔ ｅｎ ｔ ｉ
ｏ ｎ 示意图


Ｆ ｉ

ｇ ４ ６
． Ｌｏｃａ ． ｌ
－

Ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎｓ ｃ ｈ ｅ ｍ ａ ｔ ｉ 

ｃ

５ ５
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体行 为识别



学 习 对齐位置是 Ｌｏｃａ ｌ
－

Ａｔ ｅ ｎ ｔｉ ｏｎ 的 关 键 对 齐 位 置＆ 是 由 前 馈 网 络 训 练 得 到 其 中
， ， 

，

Ｓ 代表序 列 长度 ，
得到 窗 口 位置后 ，
根据 窗 口 大小 ， 以 位置仏 为 中 心 ， 左 右各扩展至 窗 

口

长度 的 半
一



。

ｐ ｔ 
＝
 Ｓ －

ｓ ｉｇｍ ｏ ｉ ｄ ｔ ａｎ ｈ
＾
ｗ
＾
／ｊ
，
 ＾  （
４ ８）


．

选取完窗 口 大小 和 位置 需 要确 定 窗 ， 口 内 各像素 点 的 权重系 数 不 同 于 。 Ｓｏｆ

ｔ －

Ａ ｔ ｅ ｎｔ ｉ ｏｎ



的 前馈 网 络获取 ， Ｌｏ ｃ ａ ｌ
－

Ａｔ ｅ ｎ ｔ ｉ ｏｎ 通过距离 中 心 点 的 远近确 定 权重关 系 ，

即 使用 高斯分



布 ， 以ｐ 为 中 心ｔ
， 越靠近 中 心 点 权重 系 数越 大 。 其中 ， ｍ 为像素 点 坐标 ， ａ 为超参数 ，


需

要经验设定 

：

ａ ｘ ＝
ｘ －

ｅｘ
」 ４ ９）
ｐ
．

 ．

（ 

（ Ｊ ） ｊ

以 上 是本文 中 使用 的 两 种 基 于输入项 的 注 意 力 机制 模 型 ， 基于输入 项 的 注 意 力 机制




使得 网 络 更专 注 于 和 输 出 内 容有 关 的 输入部 分 ，
本 文使用 这两 种 注 意 力 机制进 行特征 图



显 著 性表达 ，
提 髙 网 络整体效果 ， 降低像素特征 计算量 ，
减少 时 间 复杂度 

。

４ ． ２ ． ２ 基 于 自 注意 力 机 制 的 结 果融 合



般 的 注意 力 机制 指 的 不 是 Ｔ ａｒ ｇ ｅ ｔ 和 之 间 的 注 意 力 机制 而是 内 

部
一

Ｓ ｏ ｕｒ ｃ ｅ ， Ｓ ｏ ｕｒ ｃ ｅ

元 素之 间 或者 Ｔ ａｒ ｇ ｅ ｔ 内 部元素之 间 的相 关性学 习 。 Ｓｅｌｆ －

Ａｔ ｔ ｅ ｎｔ ｉ ｏ ｎ  （ 自 注 意 力 机制 ）
［
５ ６


他

被称为 Ｉ ｎｔ ｒ ａ －

Ａｔｅｎ ｔ ｉ ｏ ｎ（ 内 部注 意力 ） ， 是通过 学 习 特征 Ｓ ｏ ｕｒｃ ｅ 分布本 身 ，

获得 的 权 重



分布 ， 不依赖 Ｔ ａｒｇ ｅ ｔ 额外信 息 。

本 文在各段结 果序 列 融 合方面 ，
使用 自 注 意力 机制 融合



各 个子段的 结 果序 列 。 相 比 于 以 往 的 平均 融 合方式 或者最大值 融合方式 ， 利用 自 注 意力




机制 学 习 各序 列 本 身 的 分布得 到 权重分 布 ，
随 机进 行加 权 融 合 ， 可 以更好 的表示结 果分



布 ， 最后 使 用 Ｓ ｏｆ
ｔ ｍ ａｘ 分类器得到 分类结 果 

。

Ｓ ｅｌｆ －

Ａｔ ｅｎ ｔｉ ｏｎ 机制 会 更容 易 捕捉各个段之 间 长距离 依赖 的 特征 。 对于 ＬＳ ＴＭ 这种序




列 模型来说 ， 对于 长距 离 的 相 互依赖 的 特征 ，
需 要经过若千 时 间 步 骤信 息 累 积才能将两



者联系 起来 ， 距离越远 ， 有效信 息越少 。

加入 Ｓ ｅｌ ｆ －

Ａ ｔｅ ｎ ｔｉ ｏｎ 会解决这些 问 题 ， 自 注意力



机制 在 计算过程 中 将 各 个子 段视频特征 中 任意 两个特征序 列 通过 个计算步骤联 系起



一

来 ， 所 以 长距离 依 赖特征之 间 的 距离 被 极 大缩 短 ，
可 以 有 效地 学 习 特征分布 并利 用 这些



序 列 特征 

。

Ｓｅｌｆ －

Ａ ｔ ｅ ｎｔ ｉ ｏｎ 机 制 的 原 理 本质 是 学 习 序 列 本 身 分布 ， 得 到 各个序 列 的 权重 系 数 。 

如

图 ４ ７
．
所示 ，
各 自 分段视频 的 结 果序 列 作 为输入 ， 通过学 习 自 身 特征分布 ，
得到权重系



数 ， 随 即 进行加权 融合 ， 整合 的 序 列 作 为 完整视频 的 结 果序 列 

。

５ ６
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体 行 为 识 别



ｙ （ ｔ 

）



个



＂
－
一

Ａ ｔ ｔ ｅｎ ｔ ｉ ｏｎ  Ｌ ａ ｙ ｅｒ 
￣


Ｖ


ｊ

ＬＴ 
ｃ （ ｔ ）

！  

！

ｗｅ ｉ
ｇｈ ｔ ｓ
 

Ｊ

Ｉ Ｉ Ｉ Ｉ１



ｔ    ｔ ｔ 

ｔ

图４ ． ７Ｓ ｅ ｌ ｆ
－

Ａ ｔ ｔ ｅｎ ｔ ｉ ｏ ｎ不 意图


Ｆ ｉ

ｇ ．
４ ７Ｓ ｅ ｆ
． ｌ
－

Ａ ｔｔ ｅｎ ｔ ｉ
ｏ ｎｓ ｃ ｈ ｅ ｍ ａ ｔ ｃ

 ｉ

Ｓｅ ｆ
ｌ
－

Ａ ｔｔ ｅ ｎｔ ｉ ｏｎ 机制 结 构 原 理较 为 简 单 ，
通过
一

个前 馈 网 络 训 练得到 各 个输入对应 的



权重值 ，
然后 经 过 Ｓｏｆ
ｔ ｍ ａｘ 分类 器 归
一

化权重分布 。 其中 都 是待训 练 的 参 数 ，


由

此可 见 ，
自 注意 力 机制 也是可 以参 数 化进行端对端训 练 

：

Ｔ
Ａ＝ ｓｏ
ｆｔ ｍ ａ ｘ ａｎｈ ｗ ｘ
＇

ｖ
－

   （ ｔ
ａ   （ ０ ） 

）

…
Ｃ Ａ 
－





ｘ
（
４ ． １ ０ ）

本文 中 使用 Ｓｅ ｌ ｆ
－

Ａ ｔ ｔ ｅ ｎｔ ｏ ｎｉ
机 制 代 替 平 均 融 合 方 式进 行结 果 融 合操 作 。 Ｓｅ ｆ ｌ
－

Ａ ｔｔ ｅｎｔ ｏｎ

 ｉ

机制 可 以 通过前 馈 网 络 学 到 自 适应 权重 ，
对 各 个分段结果显 著 性特征提取 ， 有助 于 整体



模型效果的提升 

。

４ ３ ．
实验结果 与 分析



本章利用 注意 力机制 在 图 像 中 的应用 ，

结合注意 力机制 和循环神经 网 络提取 出 图像



的 显 著性特征 进 步提高准确率 如下图 所示 本 文 的 完整 系 统 总 结 首先 


将
一

， 。 ４ ． ８ ， ： ，

类别 标签转 为 数字编码 然后 修 改 第 二 章 的 。 ， ３ Ｄ 卷积神经 网 络模型 Ｐ〇 〇 ４

１ 层 的池化核 

，

如 下表 ４ ２ ．
所示 ，
得到 Ｃ ｏｎｖ５ ｂ 层 的 １４ ＊ １ ４ 尺寸 的特征 图 ，
其 中 通道 数 为 ５ １ ２ ，
展开得到



％ 个特征维度 为 的 维向量 利 用 软注意 力 机制 和 前 时刻隐含层 的输 出 对

一
一

１ ５ １ ２ ， １ ９６



个特征 像素 点 进行 权重 分配 ，
将每
一

时 刻 加权融合后 的 特征 向 量作 为 当 前序 列 时 刻 的输



入 最后 循环神经 网络每 时 刻 隐 含层 的 输 出 通过 层线 性输 出 层 再利用

一 一

。 ，
， Ｓｅ ｌ ｆ


－

７
－ 

－

５
东 北 大学硕士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体行 为 识 别



Ａｔ ｅ ｎ 机制 学 习 各个时刻特征 分布 得到 的 维 向 量作 为 Ｓｏｆ
ｔｍａｘ 分类器的输入 

通
一

ｔ ｉ ｏｎ ， ，

过最小化交叉熵损 失 函 数 ， 获得 最 终 的 分类 结 果 

。

表 ４ ２３ ． Ｄ 卷积 网 络 中 Ｐｏ ｏ ｌ ４ 层参数 修改


Ｔａ ｂ ｌ ｅ４ ２ ． Ｍ ｏｄ ｉ ｆ ｃ ａｔ ｏ ｎ ｏ ｆ Ｐ ｏ ｏ ４
ｉ ｉ  ｌ ｌ ａ
ｙｅ ｒ
ｐ
ａｒａｍ ｅｔｅ ｒ ｓ ｉ ｎ３ Ｄｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｏ ｎｎ ｅ ｔ ｗ ｏ ｒｋ
ｉ 


网络层名 输入大小 滤波器大小 核大小 输 出 大小




 


＊ ＊
Ｐ 〇 〇 ４ ２ １ １ ４ １ ４
＊
５ １ ２   －

２
＊
１
＊
１  １
＊
１ ４
＊
１ ４
＊
５ １ 

２

连续帧 图 片输入 ＾   １ ４＊ １ ４＊５ １ ２ 特征 图输 出




Ｉ   ／ｆ ：

Ｊ
ｌ 



Ｉ

＿
 

！  ！ 
 ａ Ｉ





｜

Ｙ？
１ ４ ＿ ＊５ ｍ寺 ｌ


ｔ ｔ ｅｎ ｔ ｉ ０


＾
 Ｉ 

１


 特 征 图 显 著
、
、

％
１


１

＇
、
、
ｉ

、 ！

 
注撤
知
．

、
；
、


｜

ｉ  ＾
—

｜  ［
Ｓ ｏ ｆ ｔ ｍ ａｘ
＾＾ 

ｊ

    ｎ
￣

ｉ
ｉ
ｉ
Ｉ
；
「

動叫
Ｉ


＇

ｒ
￣
＇
？
？ ｒ ＼ 标签 ｉ
概率 

ｉ

 Ａ Ｃ
ｈ ？
 ｍ  
—

：
ｉ ＼

ｅ ＂
  ｉ
＼
〇 〇 ． 〇３ 

ｉ

ｋ 一


１

震
 ？
 ／ １ 
？

？
Ｉ 丨

ｉ
ｉ
丨
．
ｉ
： 

Ｉ

ｉ
 ｉ
？
 ｉ ｍ
 ；
１ ００ ° － ２２
 

ｉ

Ｗ  Ｌ 」
丨 

１

ｉ
 

ｉ

图 ４ ８
．

本文系 统实验路线 图



８Ｔ ｈ ｅ ｓ
ｙｓ ｅｍ ｍ
Ｆ ｇ ４ ａｔ ｃｅ ｘ ａ ｒｏ ａｄ ｍ ａｐ
ｐｅ ｅｎ
ｔ ｒ ｔ


ｉ ． ．
ｉ ｉ ｌ

５ ８
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注 意 力 机制 的 人体行 为 识 别



Ｓｏｆ
ｔ －

Ａｔ ｅ ｎ ｔｉ ｏｎ 机制 是对所有 像素 点 求 权 重 分布 ， 而利用 Ｌ ｏ ｃ ａｌ －

Ａ ｔｅｎ ｔｉ ｏｎ 需要先确定



最佳 的 窗 口 大 小 使用 前两 章 确 定 的 超参 数和 相 同 的 优化 方法 在相 同 的 ， ， Ｄ ｒｏｐｏ ｕ ｔ 方法 

、

相同的 Ｄ ｒｏｐ ｏ ｕ ｔ 率 、
相 同 的 正 则 化方 式和 正 则 化系 数 、 相 同 的学 习 率情况下 ， 对比不同



的 窗 口 大小对结果 的影响 ， 结果 如表 ４ ３
．
所示 

：

表 ４ ３Ｌ ｏ ｃ ａ
． ｌ
－

Ａ ｔ ｅ ｎｔ ｉ ｏｎ 与 Ｓ ｏｆ
ｔ －

Ａ ｔｅ ｎ ｔｉ ｏｎ 对结果 的不 同影响


Ｔ ａｂ ｌ ｅ  ４ ３  Ｔ ｈ ｅ  ｄ ｆｆｅ ｒ ｅ ｎ ｔ  ｅ ｆｆｅ ｃ ｔ ｓ  ｏ ｆ
． ｉ  Ｌｏｃａ ｌ
－

Ａｔ ｔ ｅ ｎｔ ｉ ｏ ｎａｎ ｄ Ｓ ｏ ｔ Ａ
ｆ －

ｔｔ ｅ ｎ ｔ ｏ ｎ  ｏ ｎ  ｔ ｈ ｅ  ｒｅ ｓ ｕ
ｉ ｌ ｔ 

ｓ

窗 口 大 小 运 行 时 间 （ ｈ ） 验证 ｌ ｏｓｓ 准确 率 （ ％ 


）

２０  ３６ ７ ．  ２３ ． ６０  ８２ ． 

０

４０  ３ ７ ０ ．  ２０ ０ ．  ８５ ． 

５

８ ０  ３ ７ ０ ．  １ ７ ９ ．  ８８ ２

 ．

１ ２０  ３ ７ ５ ．  １ ７ ９ ８ ８ ４
．
 ．

１ ６０  ３ ８ ０ ．  １ ７ ５ ３
．  ８９ ． 

１

Ｓ ｏｆ
ｔ Ａ ｔｅ ｎ ｔ ｏｎ ３ ８ ０ ７ ４２  ８９ 

６
－

ｉ ． １ ． ．

由 表 ４ ． ３ 和第 ３ 章 实验 结 果 可得 ， 不嵌入注 意 力 机 制 的 网 络模 型 准确 率 为 ８７ ２． ％ 

，

使用 Ｓｏｆ
ｔ －

Ａｔｅｎ ｔ ｉ ｏｎ 机制 ＋循 环 网 络 提 取 图 像 显 著 性特征 有 更 好 的 效 果 且 时 间 损 耗 相 当 ， 

。

其中 每 时 刻之前 的 隐含层输 出 由 个前馈 网 络训 练得到 所有 子段视频共 享 参数



一 一

， ， ，

权重 。 有此可见 ， 对于尺寸 为 １４ ＊ １ ４ 的 特征 图 作 为 循环 神 经 网 络 的 输入 ， 给每
一

个像素



点 分别 分配 个权重 系 数 的 注 意 力 机制 的 方式准确 率 效 果 最好
一



。

本文 最 终 系 统使 用 Ｓｅ ｆ ｌ
－

Ａ ｔｔ ｅ ｎｔ ｉ ｏ ｎ 学 习 输 出 序列 相 互 间 关 系 并获得相 应权重 分配 ， 

使

用 加权融合 的 方式 ，
得到最终 的整体输 出 序列 ，
表 ４ ４ ．
展 示 了Ｓ ｅ ｌ ｆ
－

Ａ ｔｔ ｅｎｔ ｉ ｏｎ 与 平均 融合



法对 模 型 效 果 的 影 响 

：

表 ４ ４Ｓ ｅ ｆ
． ｌ
－

Ａｔ ｔ ｅ ｎｔ ｏ ｎｉ 与平均 融合对结果 的 不 同 影响 （ 准确率 ， ％ 


）

ｙ％）
Ｔａｂ ｌ ｅ  ４ ４  Ｔ ｈ ｅ  ｄ ｉ ｆｆｅ ｒ ｅ ｎ ｔ  ｅ ｆｆｅ ｃ ｔ ｓ  ｏ ｆ
．
 Ｓｅ ｆ ｌ
－

Ａｔ ｔ ｅ ｎｔ ｉ ｏ ｎ  ａｎ ｄ  ａ ｖ ｅ ｒ ａ ｇ ｅ  ｆｕ ｓ ｏ ｎ  ｏ ｎ  ｔ ｈ ｅ  ｒ ｅ ｓ ｕ ｉ ｌ ｔ ｓ
（
ａｃ ｃ ｕ ｒ ａ ｃ 


数 据 集 Ｓ ｅ ｌ ｆ
－

Ａ ｔｅｎ ｔ ｉ ｏｎ  平均融合



ＵＣＦ １ ０ １  ９ ０ ７ ． ８ ９ ６

 ．

ＨＭＤＢ５  １ ５ ９ ０
， ５ ８ ． 

３

由 上表 ４ ４ ．
可知 ， Ｓｅ ｆ ｌ
－

Ａ ｔｔ ｅ ｎｔ ｏ ｎ
ｉ
机制 对本 系 统 的 结 果有提 升作 用 。
由 于 Ｓｅ ｆ ｌ
－

Ａｔｅｎ ｔ ｉ ｏｎ



本质 是依 据 输 入序 列 分 布 获得权 重 系 数 ，
那 么 对 于 其他 分段提取特征 再进行 结果融合 的



模型 ， Ｓｅ ｆ ｌ
－

Ａ ｔｔ ｅ ｎｔｉ ｏｎ 能够依 旧 有 效 ， 尤 其 是 对于 卷积 神 经 网 络 的 各段模 型 结 果融 合 其效




５ ９


－
－
东 北 大 学硕士 学 位 论 文 第 ４ 章 融合注 意 力 机制 的 人体行 为 识 别



果 是否 有提升 。 如表 ４ ５ ．
所示 ，
本文将 第 二 章 的 ３ Ｄ 卷积 神 经 网 络 分 别 使用 平均 融合和



Ｓ ｅ ｌ ｆ
－

Ａ ｔ ｔ ｅ ｎｔ ｉ ｏｎ 方 法作 为 验证 

：

表 ４ ５３ ． Ｄ 卷积 网 络 中 的 Ｓｅ ｆ ｌ
－

Ａ ｔｅ ｎ ｔ ｉ ｏｎ 与 平均融合对 比 结 果 （ 准确 率 ， ％ 

）

Ｔａｂ ｌ ｅ４ ． ５Ｔ ｈ ｅｄ ｉ ｆｆｅ ｒ ｅ ｎ ｔ  ｅ ｆｆｅ ｃ ｔ ｓ  ｏ ｆ  Ｓｅ ｆｌ

－

Ａ ｔｔ ｅ ｎ ｔ ｏ ｎａ ｎ ｄａ ｖ ｅ
ｉ ｒ ａ
ｇ ｅ  ｆｕ ｓ ｏ ｎ  ｏ ｎ  ｔ ｈ ｅ  ｃ ｏ ｎ ｖ ｏ ｕ ｔ ｏ ｎ
ｉ 
 ｌ ｉ

ｎｅｔ ｗｏ ｒ ｋ （ ａ ｃ ｃ ｕ ｒ ａｃ
ｙ ％ 

）

数 据 集 Ｓ ｅ ｌ ｆ
－

Ａ ｔｅ ｎ ｔ ｉ ｏｎ  平均 融合



ＵＣＦ １ ０ １  ８６ ４ ．  ８２ ． 

７

ＨＭＤＢ５  １ ５ ５ ． ５  ５４ ． 

２

以 上结果验证 ，
本文 的 Ｓｅ ｌ ｆ
－

Ａ ｔｔ ｅ ｎｔ ｏｎ
ｉ
机制 作 为 结 果融 合方式不仅作 用 于循环 神 经 网



络 在卷积神经 网 络 也有 定效果 最终 本文系统确定 以 Ｄ 卷积神 经 网 络 为特征 图



一

， 。 ， ３

提取器 ，
使用 循环 卷积 网 络 ＬＳＴＭ 和 Ｓ ｏ ｆｔ －

Ａ ｔ ｔ ｅ ｎｔ ｉ ｏ ｎ 机制 提取特征 图 显 著性特征 作 为序



列模型输入 ，
最后使用 Ｓｅ ｌ ｆ
－

Ａ ｔ ｔ ｅｎｔ ｉ ｏｎ 机制 将 每 个 分段视频 的 特 征 输 出 向 量加 权融 合 ，


并

以 Ｓ ｏ ｆｔ ｍ ａ ｘ 函 数作 为模型 分类器 ， 通过最小化交叉熵损 失 函 数 ，

得到 最终 分类结 果 

。

最后对模 型 训 练时两个超参数进行调 优 ：
训 练批次大小和 学 习 率设定 。
本文考虑 到



两种 梯 度 优 化方法 种 是 随机梯度 下 降法 ＳＧＤ 种 是 小 批量梯 度 下 降法 Ｍ ＳＧＤ

一 一

， （ ） ， （ ） 

。

其中 ＧＤ 算法每 次更新 只 考虑 个样本点 下 次 更新选择 另 个样本点 所以 ＳＧ 


Ｄ
一 一 一

， Ｓ ， ，

训 练引 入的 噪声较多 ，
使得 ｌ ｏｓｓ 下 降 曲 线震荡过大 ， 且更新时 间 较长 。 而 ＭＳＧＤ 是指



将 训 练集 分 成若干个批 次 每次按顺序 更新其 中 个批次 直 至达 到 收敛 条 件 考虑到



一

， ， 。

硬件条件 ，
本文选用 Ｍ ＳＧＤ 作 为模 型 训 练 的 梯度优化方法 。 ＭＳＧＤ 可 以 提高训 练收敛



速度 ，
同 时模型训 练 的 好坏 取 决于批 次 的 大小 ，
即 ｂ ａｔ ｃ ｈ 设置 的 大 小 。
考虑 到实 际硬件



条件 ，
本文将 ｂ ａｔ ｃ ｈ 范 围 设置为 １ 到 １ ６ ，
下图 ４ ９ ．
展示 了 几种 ｂ ａｔ ｃ ｈ 值表现较好 的 效果 

。

３ ００



２ ５ ０





＼

２ ００  

＼

ｔｏ
  ＼




４

〇
￣ ￣ １


 １ ５〇


＼
Ｗ Ｌ  

８

■
１２


—

１ ６


５ ０ 


    




０  １ ２ ３ ４ ５ ６



迭代次数 （ ｌ 〇ｋ 

）

图 ４ ９ ．
不同 ｂ ａｔ ｃ ｈ 值损失 曲 线 下 降 曲 线变化


ｇ ４ ９Ｐ ｅ ｒｆ ｒ ｍ ｎ ｅ ｎ ｔ  ｂ ａｔ ｃ ｈ  ｖ ａ ｎｃｔ ｏｎ
Ｆ ｉ ． ｏ ａ
． ｃ ｅｏ ｆ  ｄ ｉ ｆｆｅ ｒ ｌ ｕ ｅｏ ｆ ｌ ｏ ｓ ｓ  ｆｕ ｉ


６０


－
－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体行 为 识 别



从图 ４ ９ ．
可知 随着 ｂ ａｔ ｃ ｈ 増大 ，
损 失 函 数下 降速率增大 。 本文实验没有对 比 ｂ ａｔｃ ｈ 

值

更大 的情况 ，
但是硬件条件 允许 的话 ｂ ａｔ ｃ ｈ 值 设置更 大 ，
下 降 效 果 会 更好 ，
考虑到 网 络



参数较多 ，
本文 模 型 训 练选 择 ｂ ａｔ ｃ ｈ 为 ８ 时 进行 训 练 

。

还有 个关系 模型训 练收敛 的重要参数 即学习率 学 习 率影 响 着模 型 两个重要 性



一

， 。

能 个 是收敛速度 即 训 练时间 个 是 损 失 函 数 收敛值 即 算法 的 准确 度偏 差 


不
一 一

： ，
；
， 。

同 的 学 习 率 很 大程度 上 影 响 着 模 型 性 能 表 现 甚 至 是 模 型 训 练 能 不 能 收敛 ， 尤其是训 练后



期 会 出 现过度震 荡 问 题 ， 合理 的 学 习 率会使得模 型 训 练更加 优秀 。 如图 ４ ． １ ０ 所示 ，

本文



使用 两种 方式 实验 不 同 学 习 率 初始值 以 及 下 降方式对 本 系统模 型 的 性 能影响 ： （ １ ） 使用




离 散方法 。 设定 学 习 率初始值 ０ ０６ ． ，
每隔 ５ 个 ｅ
ｐｏｃｈ 学习 率乘 以 ０ ８５． ， 经过几十轮迭代



后 学习 率会下 降到 个极小值 便于模 型 训 练后 期摆脱鞍 点 减少震荡 加 快收敛速



一

， ， ， ，

度 ；
（ ２ ） 使用 定值方法 。
模型训 练初期使用 较大的 学 习 率 ， 观察 Ｌｏ ｓｓ 下降曲线 ，
根据



曲 线 变化 手 动 修 改 学 习 率 

。

３ ００



２５０  

ｋ

〇１ ５ ０ ＼



１００ Ｖ



５ 〇








０

０ １ ２  ３ ４ ５ ６



迭 代次 数 （ １ ０ｋ 

）

■ ■ ■

０ ． ２ ０ ． １  

０ ０ ６ ０ ０
． ． １  —

离敗衰减



图 ４ ． １ ０ 不 同 学 习 率 在损 失 函 数上 的 表现


Ｆ ４ ０  Ｐ ｅ ｒ ｆｏ ｍ ａ ｎ ｃ ｅｏ ｆ ｅ ｎ ｅａｒｎ ｆ  ｏ ｓ ｓ  ｆｕ ｎ ｃ ｔ ｏｎ
ｇ ｒ ｄ ｆｆｅ ｒ ｔ  ｎ
ｇ ｒ ａｔ ｅ ｓ ｏ 

ｉ ． ． １  ｉ ｌ ｉ ｌ ｉ

从图 ４ ． １ ０ 可 以 看 出 使 用 离 散衰减 的 方法 可 以 得到 更 好 的 效 果 ，
在训 练初期 ，
学习率



处于较大 的值 损失 函 数下 降 明 显 训练中期 学习 率变为 个较低 的 水 平 可 以保证



一

， ， ，
；

损 失 函 数 在 相 对 平稳 的 过程 中 越过局 部 最优解 训 练末期 学 习 率进 步变小 寻找最



一

； ， ，

优解 

。

以 上 所有 实验过程 为 本 文 系 统 所 有 的 对 比 验 证 实 验 过 程 ，
本文模型总结为 ：
ｆ先经



过 ３ Ｄ 卷积神经 网 络提取 １ ４
＊
１ ４
＊
５ １ ２ 尺寸的特征 图 ，
然后利用 Ｂ ｉ
－

ＬＳＴＭ 学 Ｊ 各动 作 片段



上 下 文关 系 ，
最后利 用 Ｓ ｏ ｆｔ －

Ａ ｔｔ ｅｎ ｔ ｉ ｏｎ 算法 结 合序 列 模 型 隐 含层 的 输 出 和 各 个 时 刻 的 输


入特征 图 得到特征 图 的 显 著 性 区 域 ，
并 Ｈ ．
通过学４ 输 出 序列 自 身特征 分布 的 Ｓｅ ｌ ｆ


－

６ 
－ 

－

１
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注 意 力 机制 的 人体行 为 识 别



Ａ ｔｔ ｅ ｎｔ ｉ ｏ ｎ 算法 将输 出 层特征序 列 加 权融合 使用
， ， Ｓ ｏ ｆ ｍ ａｘ
ｔ
分类器得到 各个类 别 概率 值 

，

确 定 最 终 结 果 并统计准 确 率 

。

经 过训 练集和 交叉验证确 定 了 本方案 的 模 型 各个子模块和 相 应超 参 数 。 下面将 和 几




种 主 流 的 处 理 人 体行 为识 别 任 务 的 神 经 网 络模 型 框架做 结 果对 比 ，
得到 的准确率指标如



表 ４ ６
．
和下图 ４ ． １ １ 所示 

：

表 ４ ． ６ 几种 主流模 型 和 本 文 模型 的 结 果 对 比 （ 准确率 ， ％ 

）

Ｔａｂ ｌ ｅ４ ． ６Ｃ ｏ ｍ

ｐａ
ｒ ｉ ｓ ｏ ｎｏ ｆ  ｓ ｅｖｅ ｒ ａ ｌ  ｍａ ｉ ｎ ｓ ｔ ｒｅ ａ ｍｍ ｏ ｄ ｅ ｌ ｓａ ｎ ｄｏ ｕ ｒｍ ｏ ｄ ｅ ｌ
（
ａｃ ｃ ｕ ｒａｃ
ｙ
％ 

）

Ｍｅ ｔ ｈｏｄ  ＵＣＦ １ ０ １ ＨＭ ＤＢ ５ 


１

ｉ Ｄ Ｔ ８５ ． ９ ５７ ． 

２

Ｔｗｏ －

ｓ ｔ ｒｅ ａ ｍ２ Ｄ Ｃ Ｎ Ｎ （ ｆｕ ｓ ｉ ｏ ｎｗ ｉ ｔ ｈＳ Ｖ Ｍ ） ８ ８ ． ０ ５９ ． 


４

Ｃ３ Ｄ＋ ） ｉ ｎ ｅ ａｒ Ｓ Ｖ Ｍ ８５ ． ２  

－

２ Ｄ ＣＮ Ｎ ＋ Ｌ Ｓ Ｔ Ｍ Ｏ ｐ （
ｔ ｉ ｃ ａ Ｆ ｌ ｌ ｏ ｗ＋ ｍ ａｇ ｅＦ Ｉ ｒ ａｍ ｅｓ ） ８８ ． ６  

－

Ｃ３Ｄ＋Ｂ ｉ
－

ＬＳ Ｔ Ｍ＋Ａ ｔｔｅｎ ｔ ｉ ｏｎ  ９０ ７ ． ５９ ． 


０

准确 率 （ ％ 

）

 ＝ ＾
 ８ ８ ８ ５
； ８５ ９ ．
．
２





聊 
Ｉ
 ＨＨ ｌ
ｌ

ｌ
｜


Ｈ ＝

 ：

Ｖ Ｖ７


图 ４ ． １ １
几种 模 型 的 对 比 结果


Ｆ ｉ

ｇ ４
． ． １ １ Ｃ ｏ ｍ ｐ ａｒ ｉ ｓ ｏ ｎｏ ｆ  ｓｅ ｖｅ ｒａ ｌ ｍ ｏｄｅ ｌ 

ｓ

由 以 上数据 结 果可知 ，
本文的 ３ Ｄ Ｃ ＮＮ ＋ Ｂ ｉ
－

Ｌ Ｓ Ｔ Ｍ ＋Ａ ｔｔｅ ｎ ｔ ｉ ｏｎ 系 统方案较优于 之 前 几



种 主 流框 架 主 要 改进 在 于 本 文 利 用 ， Ｂ ｉ
－
ＬＳＴＭ 序 列 模 型 学 习 各 个动 作子段上 下 文关系 

，

并加 入 了 注意 力机制提取特征 图有效 区域 这些 改进进 步提高了 准确率 但是在



一

， 。

ＨＭＤ Ｂ５ １
这种 背 景复杂 和 画 面抖动 严重 的 数据集 中 ，
本 文方 案效果 并 没有 明 显 提升 。 

之

６２
－


－
东 北 大 学硕士学位论 文 第 ４ 章 融合注意 力 机制 的 人体行 为 识 别




所 以 没有 明 显提升 主 要 原 因 在 于 ， ３ Ｄ 卷积 网 络 图 像特 征提取部 分 的 网 络层 数不 够深入 


，

如 果 能 够 加 深 网 络层 学 习 到 更 高 阶语 义 信 息 ， 该 网 络 会有 更好 的 性 能 表现力 

。

４ ４
．
深度 学 习 框架 的 选择



现在 比较流行 的 模型 有 Ｔ ｅ ｎ ｓ ｏ ｒｆ
ｌ ｏｗ 、 Ｐ ｙｔ ｏ ｒ ｃ ｈ 、 Ｃ ａ ｆｅ 以 及 ＭＸ Ｎ ｅ Ｔ ， 还 有 在 这 些 ＡＰ 

Ｉ

基础 上 封 装 的 Ｋ ｅ ｒａｓ 、 Ｔ ｅ ｎ ｓ ｏ ｒ Ｌ ａｙ ｅ ｒ 和 Ｔ Ｆ Ｌ ｅ ａｒ ｎ 等 ， 下 面将对这 些流 行框架 做 简 短 介 绍 和




对 比参考 ， 并阐述 自 己 的 选择 

：

（ １ ）  Ｔ ｅ ｎ ｓ ｏ ｒＦ ｌ ｏ ｗ ：  Ｔ ｅｎ ｓ ｏ ｒ Ｆ ｌ ｏｗ 采用 数据流 图 ， 属 于 用 于 数值 计 算 的 开 源 软 件 库 ， 

广

泛 的 应 用 于 机器学 习 和 深度神 经 网 络方面 的 研 宂 。 该框架具有高度 的 灵活性 ， 可以 由开




发者 自 由 的 定 义 图 的 结构 以 及驱动计算 的 内 部循环 同 时支持 。 Ｃ ＰＵ 和 ＧＰ Ｕ 的 加 速 运 算 


，

具有 很 高 的 移植性 。 并且具有 自 动求微分的 能力 ， 可 以 加速梯度 下 降 的 运算过程 。 但是




Ｔ ｅ ｎｓ ｏ ｒ
ｆｌ ｏｗ 文档 和接 口 繁琐 ， 封装混乱 ，
高层 接 口 不 灵 活 ，
而且 不 能 自 定义 ＧＰＵ 的 使



用 

。

（ ２ ） Ｐ ｙｔｏ ｒ
ｃｈ ：  Ｐ ｙｔｏ ｒｃ ｈ 拥有着 比 Ｔ ｅ ｎ ｓ ｏ ｒＦ ｏ ｗ ｌ 更好 的 加 速运算 ， 该 框 架 结 合 了 Ｔｏ ｒｃ ｈ



高效灵 活 的 ＧＰＵ 加速后 端 和 直观 的 Ｐ ｙｔ ｈｏ ｎ 前段 。 具有 便携方便 ， 代码 易 读和 广泛支持




深度学 习 诸多模型 的 特点 。 在推 出 后 ， 迅速 赢得 了 许 多 开 发 人 员 和 研 宂 人 员 的 青 睐 。 

尤

其在 ＧＰＵ 的 自 定 义使用 上要 比 Ｔ ｅ ｎｓ ｏ ｒｆ
ｌ ｏｗ 更优秀 ， 而且高层接 口 封装简 洁 明 了 方便 阅



读和修改 

。

（ ３ ）  Ｃ ａ ｆｅ ：  Ｃ ａ ｆｅ 是 人 工 智 能 领域 问 世 时 间 最 早 的 深 度 学 习 框 架 ， 可 以 说是最早 商



业 化 的 主 流工 业 级 深 度 学 习 工 具 包 。 Ｃ ａ ｆｅ 框 架基于 Ｃ ＋＋编 程 语 言编 写 ， 支持 Ｍａ ｔｌ ａｂ 

、

Ｐ ｙｔｈ ｏ ｎ 和 Ｃ ＋＋ 接 口 。 目 前 被 广 泛 的 应 用 于 计 算 机 视 觉 领域 ，
并且取得 了 很 多 的 成功应用



以 及商 业部署 。
但是 由 于其
一

流框 架结 构 中 的
一

些问题 ， Ｃ ａ ｆｅ 对于 Ｒ ＮＮ 和 Ｌ Ｓ ＴＭ 等循



环 网 络和语 言 模 型 的 支持 比较薄弱 

。

Ｃ ａ ｆｅ ２  Ｃ ａ ｆｅ ２ 则 是对 Ｃ ａ ｆｅ 提 出 的进 步完善 与 Ｃ ａ ｆｅ ｌ 相比 Ｃ ａ ｆｅ ２ 更加


一

（ ４ ） ： 。 ，

注重模块化 在 移动 端和 大规模部署上表现 出 色 同 前面两种框架 样 采用 Ｃ ＋＋ Ｅ ｇ ｅ ｎ

一

， 。 ， 
 ｉ

库 ， 支持 ＡＲＭ 架构 。 在 延 续 了  Ｃ ａ ｆｅ 对 卷 积 神 经 网 络 的 良 好 支 持 的 基 础 上 ， 增加 了 对



循环 伸 祌 经 网 络诸 如 ＲＮＮ ＬＳＴＭ 的支持 延续 了 处理视觉类 型 问 题上 的 贯优秀表



一

、 。

现 ， 增加 了对 自 然语 言 处理 、 手写 识别和 时 序预测 的支持 。

但是 ， 目 前 Ｃ ａ ｆｅ 向 Ｃ ａ ｆｅ ２



的 迁 移 还 很 缓慢 ， 而且 Ｐ ｙｔ ｏ ｒｃ ｈ 已 经 完 全 兼 容 Ｃ ａ ｆｅ ２ 

。

６３
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ４ 章 融合注意 力 机制 的 人体行 为 识 别



综合 以 上信 息 ，
兼 顾 到 研 宄 所配 置 的 服 务 器环 境和 代 码 复 现 能 力 ， 本文 最终确 定将


Ｐ ｙｔｏ ｒ
ｃｈ 模 型 框架作 为本 文 代码 的框架选择 。 Ｐ ｙｔ
ｏｒｃｈ 强大 的 网 络层接 口 和 自 定 义梯 度计



算 方法 ，
以 及 对 ＧＰＵ 卡号 的 随意切换 ， 在 本文系 统 设计 中 给 了 很 大帮助 

。

４ ５
．
小结



本 章 对本文 系 统 的 融 合注 意 力 机制 方面进行 显 著 性特征 提取方面 的 改进做 了 详 细 阐




述和 相 关验证实验 。
前两 小 节主要对注意 力 机制 的 本质 、 应 用 场 景和 本文 中 使 用 到 的 注



意 力 机制 方法做 了 详细 说 明 。 后 两节 对 注 意 力 机制 模型 参数进行 了 对 比 实验 分 别 包括 ， 

：

（ １ ） Ｌ ｏ ｃａ ｌ
－

Ａ ｔ ｅ ｎｔ ｉ ｏｎ 各 窗 口 大 小对模型 结 果 的 影 响 ；
（ ２ ） Ｓｏｆ
ｔ －

Ａｔ ｅ ｎｔ ｉ ｏ ｎ 和  Ｌ ｏｃａ ｌ
－

Ａ ｔ ｅ ｎｔ ｉ ｏｎ



效果 比对 ；
（ ３ ） 分 别 在 完 整 系 统模 型 和 ３ Ｄ 卷积 神 经 网 络上 对输 出 特 征 序 列 融合 的 两种



方法 （ 平均 融 合方法和 Ｓ ｅｌ ｆ－

Ａ ｔ ｅｎ ｔｉ ｏｎ 融合方法 ） 的 效果 比对 ；
（ ４ ） 对本文系 统模型 训



练 的 两个超参数 ， ｂ ａｔ ｃ ｈ 值 和 学 习 率 选择 ， 进行调 优 ；
（ ５ ） 本 文 系 统 方 案 和 几种 主 流 方



案利 用 准确 率评价方案在 ＵＣＦ １ ０ １ 和 Ｈ ＭＤ Ｂ ５ １ 上进行对 比 ，

分 析 本 文 系 统方 案 的 特 点



和长处 。
由 实验结果 可得 ，
本 文 方案 在 高质 量视频 中 有 较好表现 ，
但是在 ＨＭＤ Ｂ ５ １


数

据集上 的 提高 比较微 弱 ， 主 要 在 于 ＨＭＤ Ｂ ５ １ 数据 集 的 背 景 复 杂 以 及 画 面 抖 动 严 重 ，



但

是 总 体 上 本 文 方 案 在 人 体 行 为识 别 任 务 上 有 较好 的 表现效 果 

。

６４
－


－
东 北 大 学 硕 士 学 位 论 文 第 ５ 章 总 结和展望



第 ５ 章 总 结和 展 望



５ ． １ 工作 总 结



人体行为识 别 是计算机视觉领域基础性 关键技术之 在安 防 视频 监控 和 人 机 交



一

， 、

互 等 方面有 广 泛应用 。 尽 管 应 用 深 度 学 习 技 术 在 人 体 行 为 识 别 等 计 算 机视 觉 领域 取 得 了



很大成功 ， 但是在长时 行为方面 的 研 究还是很 少 ， 现在 较为 成 熟 的 方 法还 是 依 赖 于 双流




网络 。
本文提 出 的
一

整套从特征提取 到上下 文和显著 性学 习 的 人体行为识别 方案 ， 


在

Ｕ ＣＦ １ ０ １ 和 ＨＭＤ Ｂ ５ １ 数据集上取得 了 不错 的 效果 。 虽然对 于超大型 数据集 ，

本方案 的 准



确 率还有 很 大提升 空 间 ，
但是 在科学 发展 的 道路上这种 尝试是 必 不可少 的 。
本文 基于长



短 时 记忆神 经 网 络 （ Ｌ Ｓ ＴＭ ） ， 提出 了 利用 ３ Ｄ 卷积 提取行 为特征 作 为 序 列 模 型输入 ， 


使

用 注 意 力 机 制 学 习 图 像 显 著 性 特征 进 行 人 体 行 为 识 别 。 本文主 要贡献如 下 

：

（ １ ） 针对 目 前 常见使用 光流 图 获取时 间 信 息 的 问 题 ， 本文使用 ３ Ｄ 卷积神 经 网 络提




取人体行为时 间 信 息 ， 提高 时 间 流信 息提取 效率 ，
减 少 因 相 机抖动 等 因 素 带来 的 噪 声 影



响 。 由 于 图 像帧 数越高 ３ Ｄ 卷 积 神 经 网 络 参 数 成倍 数 增 加 本 文 采 用 先 将 视 频 分 成 多 段 ， 

，

段 与 段 之 间 参 数共 享 ， 在 输 出 层进 行 段 融合 。
并通过对 比 实 验 得 到 ， 分段 ３ Ｄ 卷积神经



网 络相较于 ２Ｄ 卷积神 经 网 络 效 果更好 


。

本 文 使用 长短 时 记忆神 经 网 络 Ｌ Ｓ ＴＭ 当 做 网 络解码层 还原每 个输入序



一

（ ２ ） （ ） ，

列 。 由 于 各个段 视频之 间 存在序 列 关系 ，

使用 Ｌ Ｓ ＴＭ 学 习 各段之 间 的 上下 文 关 系 ，
提高



模型表达能力 。 考虑 到 Ｌ Ｓ ＴＭ 只 能学 习 到 当 前 时刻 的 前序信 息 关 系 ， 本 文最 终将 双 向



Ｌ ＳＴＭ 作 为本文 的 序 列 模 型 使得每 时刻可 以 学 习 到 完 整视频序 列 的 相 关信 息 并获



一

， ，

得 了 更好 的 效果 。
利用 层与层之间 的 Ｄ ｒ ｏ ｐ ｏｕ ｔ 方法 ，
减 少 循环 单元 中 的状态量 的 损 失 的



同时 ， 提高模型泛化能力 

。

（ ３ ） 本文针对 图 像信 息赘余 ， 以 前两 章 的模型 为基础框架 ，

使 用 基 于 输入项 的 软 注



意 力 机制 结 合序 列 模 型 隐 含层 的输 出 和 输入序列 学 习 每个特征 图 像素 点权重 分布 ， 提取




图 像 的 显 著性特征 ， 提高特征 图 的表达能力 和模型 效 果 。 在 段与 段输 出 层 融合 方 面 ， 


使

用 自 注 意 力 机制 ， 将每段视频 结 果序 列 获取 的权重信 息进 行加 权合 并 。 自 注 意 力 机制 不



仅 嵌入在循环神 经 网 络 的 输 出 层 后 提高 网 络模 型 效 果 ， 而且可 以 嵌入在 人体行 为识别 任




务 中 的 分段 ３ Ｄ 卷积神经 网 络 的输 出 层用 来提高模型 效果 

。

６５
－ 

－
东 北 大 学 硕 士 学 位 论 文 第 ５ 章 总 结和展望



５ ２
．
问题与 展望



包括深 度 学 习 在 内 的 机器 学 习 领域现在 正 是 处于 风 口 浪 尖 的 时 刻 ，
作 为 高等 院校 的



科研 人 员 在积 极 投 身 研 究 的 同 时 ， 也要专注 于深 度 网 络 的 数学本质 ， 从 网 络 结 构 原 理进



行 改进 ， 不 同 学 术领域 的 算法模型之 间 也有 很好 的 借鉴 性 ， 也 需 要 关注 序 列 任 务 中 不 同



领域 的 相 关 方 法 ， 并 从 原 理 上 加 以 改 进和 应 用 

。

模型 训 练过程 中 ，
简 单 的 模 型 配 合海 量 的 大 数 据 样 本 的 效 果 要 远 远 超 过 数 据 量 很 小



的 复杂模型 。 因 此数据样 本 的 数量和 质 量 决 定 了 算法 能够达到 的 高度 ， 而算法 、

模型 

、

优化 只 能无 限 的 逼近这个高度 。 在 本 文 的 整 套方 案 和 完 整 的 训 练 过 程 之 中 ， 视频数据无


论从数量上还是质 量上都是远远不 够 的 ，
数量上 ，
对 于 超大 型 数据 库 ， 网 络下载 限制 较



多 。 质 量方面 ， 本 文 所 使 用 的 数 据 集 多 来 自 网 络 视频 、 家庭 自 拍 、 运 动 员 运动 动 作 和 运



动 摄影 ， 有 很 多 相 机 抖动 和 复杂 背 景 问 题 。 希望 以 后 可 以 有更多 的 大 机构 可 以 公开 自 己



的 视频数据 

。

由 于 受到硬件计算 能力 的 限制 ， ３Ｄ 卷积神 经 网 络 的 结构可 以 继续加深 ，

以 便能更好



的 提取视频 特征 ，
有 学 者 已 经提 出 使用 残差 模块加 深 ３ Ｄ 卷积 网 络 ， 可 以 在 防 止 过拟 合



的情况下 ， 加深 ３ Ｄ 卷积 网 络 的 深 度 ， 达 到 更好 的 特 征 提 取 效 果 

。

有 学者提 出 的 独立循环神 经 网 络 （ ｉ ｎｄＲ Ｎ Ｎ ）

［
５ ７
］
也受到 了 广 泛 关注 ， 此 网 络可 以 学 习



到 更 深 长 度 的 序 列 并 具 有 很 强 的 鲁 棒 性 本 文 考 虑 到 视 频 段 数较 少 且 实 验 条 件有 限
， 。 ， 

，

没有结合 ｉ ｎ ｄＲ Ｎ Ｎ 网 络进行尝试 ， 希 望 后 续 能 够 尝试此 网 络 观 察 是 否 有 更 好 的 表 现 


。

－
６６ 

－
东 北 大 学 硕 士 学 位 论 文 参考文献



参考文献


［
１
］
陈晓峰 ．
电子商务安 全性 的理论与 技术研 究 Ｄ ［ ］
．
西安 ： 西 安 电子科技大学 ，
２０ ０２ 

．

［
２
］ Ｌｉ ｎ ｎａ ｉ ｎ ｍａ ａ Ｓ ． Ｔ ｈ ｅ  ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉｏ ｎ  ｏｆ ｔ ｈ ｅ  ｃ ｕ ｍ ｕ ｌ ａ ｉｖ  ｒ ｏ ｕ ｎ ｄｉ ｎ  ｅ ｒ ｒ ｏ ｒ  ｏ ｆ  ａ ｎ  ａ ｌ ｇ ｒ ｉ ｔ ｈ ｍ ａ ｓ  ａ  
ｔ ｅ ａ
Ｔ ｇ ｏ

ｙｌ ｏ ｒ  ｅ ｘ ｐ ａ ｎ ｓｉ ｏ  ｏ ｆ  ｔ ｎ ｈ ｅ  ｌｏ ａ ｌ  ｃ ｒ ｏｕ ｎ ｄｉ ｎ ｇ  ｅ ｒ ｒ ｏｒ ｓ ［ Ｊ ］ ． Ｍ ａ ｓ ｔ ｅ ｒ＇ ｓ Ｔ ｈ ｓｉ ｓ ， ｅ １ ９ ７ ０： ６－７ ． 
［

３ ａ
Ｔ
］

ｎ
ｇ
 Ｊ ，Ｄ ｅ ｎ ｇ
 Ｃ ，
Ｈ ｕ ａ ｎ  Ｂ ． Ｅｘ ｔ ｅ ｅ ｅ ａ ｇ Ｇ  ｒ
ｍ  ｌ ｒｎ ｉ ｎ ｇ  ｍ ａ ｃｈｉ ｎ ｅ
 ｏ ｒ  ｍ ｕ ｌ ｔ ｉ ｌａ ｙ ｒ  ｐ ｅ
ｆ
ｅ ｒ ｃ ｅ ｐ ｔ ｒ ｎ ［ Ｊ ］ ． Ｉ Ｅ ＥＥ 
ｔ
ｒ
ｏ ａ
ｎ ｓａ ｃｔｉ
ｎ
ｏ

ｓ ｏ ｎ  ｎ ｅ ｕ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ａ ｎ ｄ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｓ ｙ
ｒ ｓ ｔ ｅｍｓ ， ２
０１ ６ ， ２７ （ ４ ） ： ８
０９ － ８ ２ １
．

［４ ］ Ｄｕ ｂｏ ｓ

ｓａ ｒ ｙ
ｋ
ｓ

Ｅ ， Ｆ ｒ ｉｅ ｄ ｍ ａ ｎ  Ｊ  Ｈ Ｏ ｍ
ｅｒ
ｏ ｄ Ｊ Ｔ ． Ｗａ ｖ ｅ ｔ－ ｂ ａ ｓ ｅ ｌ
ｄ ｇ ｒ ｄ ｉｅ ｎ ｔ
ａ  ｂｏ
ｏ

ｓ ｔ ｉ ｎ ｇ Ｊ ］ ．Ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ   ａ ｎ  Ｃ ｍ ｐ ｕ ｔ ｉｎｇ ， ２ ０ １ ６
２
，
 ， ｒ ｅ ［ ｄ ｏ

６（ １－ ２ ） ： ９ ３ － ０ ５ １
． 
［ ５ ］ Ｃ ｏ
ｖｅｒ 
Ｔ


Ｍ
， Ｔｈ ｏ
ｍ

ａ ｓ Ａ

Ｊ

．
Ｅ
ｌ ｅｍ ｅｎ ｔｓ ｏ   ｆ
ｉ ｎ ｆｏ ｒ ｍ ａ ｔｉｏｎ ｔ ｈ ｅ ｏ ｒ ｙ ［ Ｍ］．Ｎｅ ｗＹ ｏ ｒｋ ： Ｊ ｏ ｈ  Ｗ ｉ ｌ ｅ ｙ  ＆   Ｓ ｏ ｎ ｎ ｓ ， ２ ０ １ ．  ［ ２ ６ ］ Ｍ ｏ ｒａ ｅ ｓ  Ｒ ，
Ｖａ ａ
ｉ
ｌ

ｔ ｉ Ｊ  Ｏ
Ｆ ， Ｎ ｏ
ｔ
ｅ

Ｗ
Ｐ  Ｇ  Ｏ ． Ｄ ｃ ｅｎ ｌｅ ｖ ｅ ｌ  ｓ ｎ ｍｅ ｔ ｃ ｌ ａｓ ｓ ｉ ｆ ａ ｔ ｉ ｏｎ ： Ａ ｍ ｐ －   ｉ ｒ ｉ ｃ ａ ｌ  ｃ ｏ ｍ ｐ ａ ｒｉ ｓ ｏ ｂ ｅｔｗ ｅｅ ＳＶ Ｍ ａｎ
 Ａ

ｄ

ｏ ｔ － ｅ ｎ ｉ ｃ ｎ ｅ ｎ ｎ 
  ｕ ｍ ｔ ｉ

Ｎ Ｎ［ Ｊ ］．Ｅｘ ｐｅ Ｓ ｙ ｓ ｔ ｅ ｍ ｓ  ｗ ｉ ｔ ｈ  Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏｎ ｓ ， ２ ０
ｒ ｔ １ ３ ， ４ ０ （ ２） ：   ６ ２ １ － ６ ３ ３ ．   ［ ７］Ａ ｃ ｋ ｌ ｅｙ  Ｄ  Ｈ ， Ｈ
ｉｎ ｔ ｏ ｎ 
Ｇ Ｅ，Ｓ ｎ
ｊ
ｅ

ｏｗ ｓ
ｋ

ｉ Ｔ ．
Ｊ


Ａ

ｌ ｅａ ｒｎ ｉ ｎｇ

ａ ｇ ｒｉ ｌ
ｏ
ｔ ｈｍ ｆｏｒ Ｂ ｏ ｌ
ｔ ｚｍ ａ ｎ ｎ  ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ［ Ｊ］ ． Ｃ ｏ ｇ ｎｉｔ ｖ ｅ  ｉ ｓ ｃ ｉ ｅ ｎ ｃｅ ， ９ ８ １ ５ ， ９（ １）： １ ４ ７ － １ ９ ．   ［ ８ ］ ６ ｉ
ｒ
Ｋ

ｚ ｈ ｅｖ ｓ ｋｙ  Ａ，Ｓ ｕ ｓ ｋ ｅ ｖ ｒ ｔ
ｅ
 Ｉ，Ｈ ｉ ｎｔ ｏ ｎ
．
Ｉ ｍａ ｇ ｅ
ｎ

ｅ ｔ ａ
ｌ
ｃ

ｓ
ｓ
ｉ ｆ ｉｃ
ａ ｔｉ ｏ ｎ  ｗ ｉ ｈ ｔ  ｄ ｅ ｅｐ  ｃ ｏ ｎ ｖ ｏｌｕ ｔ ｉ
ｏ ｎ ａｌ  ｎ ｅ ｕｒ ａ ｌ  ｎ ｅ ｔ ｗｏ ｋｓ ［ ］
． Ａ ｄｖ ａ ｎ ｃ ｅ ｓ ｒ Ｃ  ｉ ｎｎ ｅ ｕ ｒａｌ  ｉｎ ｆ ｒｍ ｔ ｉｏ ｏ ａ ｎ  ｐ ｒ ｏｃ ｅ ｉ
ｓ

ｎ ｇ ｓ ｙ ｓ ｔ ｅ ｍ ｓ ． ２ ０ １ ２ ： １ ０９ ７ － １ １ ０ ５ ．  ［９ ］ Ｃ ｈｏ ｗ Ｓ  Ｓ  Ｍ Ｈ ｕ ｉ  Ｌ  Ｃ  Ｋ ， ｉ ｕ  Ｓ  Ｍ ． Ｔ ｗ ｏ， Ｙ  ｉｍ ｐ ｒ ｏ ｅｄ  ｐ ａ ｖ
ｒ

ｔ ｉ ａｌ 
ｙ
ｌ

ｂ
ｌ
ｉ ｎ ｄ  ｓ ｉｇｎａｔｕｒ ｅ 
ｓｃ ｈ ｅ ｍｅ ｓ ｆ ｒ ｏ
ｍ  ｂｉｌｉ ｎ ｅ ａｒ  ｐ ｉ ｒ ｉ ｎ ｇ ｓ ［ Ｃ ］ ． Ａ ｕ
ａ ｓ ｔ ｒ ａ
ｌａｓ ｉ ａ ｎ  Ｃ ｏ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ
ｎ ｎ
ｏ

 Ｓ ｅ ｃ ｕ ｒ ｉｔ
ｙ ａ
ｎ ｄ Ｐ
ｒｉｖａ ｃ ｙ ． ２ ０ ０５ ：３ １ －  ３ ２ ８ ．   ［１ ０ ］ 徐 勤 军 吴 镇 扬 ． 视 频序 列 中 的 行 识 别 研 究 进 展 ［ Ｊ
６  ， 为 ］ ．
电 子 测量 与 仪 器 学 ， ２０ １ 报 ４ ，  ２８ （ ０４ ） ： ４
３

－ ３５ 
．
１


［ １１ ］Ｂ ｏ ｉｃｋ ｂ

ＡＦ ， Ｄ ａ ｖ ｉ ｓ Ｊ Ｗ ． Ｔ
ｈ
ｅ

ｒｅｃｏｇ ｎｉｔｉ ｏ
ｎ ｏ ｆ ｕ
ｈ


ｍ ａ ｎｍｏ ｖ ｅｍ ｅｎ ｔ

 ｕ ｓ ｇ
ｎ
ｉ


ｔ ｅ
ｍ ｐｏ ｒ ａ ｌ  ｔｅ ｍ ｐｌ ｔｅ ｓ  ａ
 ［Ｊ］． Ｉ ＥＥ Ｔ Ｅ
ｒａｎｓ ａ ｃｔ ｉ ｏ ｎ ｓ  ｏ ｎ  ａ ｔ ｔ ｅｒ ｎ  ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ  ａ ｄ  ｍ ａ ｃ ｈ ｉ ｎ ｅ
ｐ ｎ ｉ ｎｔ ｅｌ
ｌ ｉ ｇｅ ｎｃ
，
ｅ

２
０
０
１ ，２ ３ （ ３） ： ２ ５７ － ２ ６ ７ ．   ［１２ ］
Ｄ ａｎ
ｉｅ ｌ Ｗ ｅ ｉｎ ｌ ａ
ｎｄ ， Ｒｅｍ ｉ Ｒｏ ｎ ｆ ａ ｄ ，Ｅ ｍ ｏ ｎ ｒ ｄ ｄ  Ｂ
ｏ
ｙｅｒ． Ｆ ｒ
ｅｅ ｖ
ｉ ｅ
ｗｐ
ｏ
ｉ
ｎ
ｔ ａ ｃ ｔ
ｉ

ｏｎ ｃ
ｅ
ｒ

ｏ
ｇ ｎ
ｉ ｔ ｉ ｏｎ  ｕ ｓ ｉ ｎｇ   ｏｔ ｉ ｍ
ｏ ｎ
ｈｉ ｓ ｔ ｏ ｒ ｙ ｖ ｏ ｌ ｅ ｓ ［ Ｊ ］ ． Ｃ ｏ ｍ ｐ ｕ ｔ ｕ ｍ
ｅ ｒ  Ｖ ｉ ｓｉｏ  ａ ｄ Ｉ ｍａｇ
ｎ ｎ  ｅＵ ｎ ｄ ｅ ｒ ｓ ｔ ａ ｎｄ ｉ ｎｇ ， ２００ ６ １ ０
（
４ ，

２ ） ： ４ ９－ ２５７．
［ １ ］Ｙ ｉ ｌｍａ ｚ ，Ｓ ｈ ａ
ｈ Ｍ ． Ａ ｃ
ｔ ｓ  Ｓ ｋ ｅ ｔ ｃ ｈ ： Ａ  Ｎ ｏ ｖ ｅ ｌ  Ａ ｃ ｔ ｉｏ ｎ Ｒ ｅ ｒ ｅ ｓ ｅ ｎ ａ ｔ ｉ ｏ ｎ ［ Ｃ ． Ｐ ｒ ｏ
ｅ
ｃ

２  ３ Ａ ｉ ｏ ｎ  ］
 ｐ ｔ

ｄｉｎ 
ｓ
ｇ

ｏ
ｆ 
 ｔｈ ｅ  Ｉ ＥＥ Ｅ  Ｃ ｏ ｎ ｆ ｅｒ ｅ ｎ ｅ ｏ ｃ ｎ  Ｃ ｏ ｍｐｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｎ  ａｎｏ ｄ Ｐａ ｔ ｔ ｅ ｒ ｎ  Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉｏ ｎ ． ２ ０ ０ ５ ： ９ ８４ －９ ８９ ． ［
１ ４］Ｍ ａ
ｉ
ｔ 

ｋ ａ ｉ ｎ ｅ ｎ  Ｐ ， Ｈ ｅ ｂ ｅｒ ｔ  Ｍ ， Ｓ ｕ ｋ ｔ ｈ ａ ｎ ｋ ａ ｒ  Ｒ ． Ｔ ｒ ａ ｊ ｅ ｃ ｔ ｏ ｎｓ ： Ａ ｃ ｔｉ ｏ ｎ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ  ｔ ｈ ｒｏ ｕｇｈ  ｔｈ ｅ


ｍｏｔ ｎ
ｏ
ｉ


ａ ｎ
ａ ｌｙ ｓ ｉ ｓ  ｏ  ｔ ｒ ａ ｃ ｅ ｄ  ｆ ｅ ａ ｔ ｕ ｒ ｓ ［ Ｃ ］ ． Ｉ Ｅ Ｅ Ｅ  Ｉ ｎ ｔ ｒ ｎ ａ ｔｉ ｏ ｎ ａ ｌ  Ｃ ｎ ｆ ｅ ｒ ｎ ｃｅ  ｏ ｎ  Ｃ ｏ
ｆ
ｋ ｅ
ｅ ｏ ｅ ｍ ｐｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｏ ｎ．   ２
０

９ ： ５ ４ － ５ ２１ ．  ［ １  １ ５］ Ｌａ ｐ ｔｅ ｖ ， Ｉ ｖ ａ ｎ ，Ｌ ｉ ｎ ｄ ｅ ｂ ｅ ｒ ｇ ， Ｔ ｎ ｙ ． Ｏ ｎ  Ｓ ｐ ａ ｃ ｅ － Ｔ ｉ ｍ ｅ  Ｉ ｔ ｅ ｒ ｅ ｓｔ  Ｐ ｏ ｉ ｎ ｔ ｓ ［ Ｊ ］ ． Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ
ｏ ｎ ｏ ｎ ａｌ ｏ
Ｊ


ｕｒｎａ ｌ  ｏ ｆ 

Ｃ ｏ ｍ ｔ
ｕ
ｐ

ｅ
ｒ 
Ｖ ｉ ｓ ｉｏ ｎ ，２ ０ ０
５ ， ６４ （ ２ － ） ： １ ０ ７ －１ ３
２ ３
．  ［ １ ６ ］ Ｌｉｕ  Ｊ， Ｌ ｏ ｕ

 Ｊ ， Ｓ ｈ ａ ｈ  Ｍ ． Ｒ ｅ ｃ ｏ ｇ ｉ ｚ ｉ ｎ ｇ  ｒ ａ ｌ ｉ ｓ ｔ ｉｃ  ａ ｔ ｉ ｏ ｎ ｅ ｃ ｎ ｓ ｍ
ｆ ｒｏ ｄ
ｉ
ｖ

ｅｏ ｓ  ＂ ｉ ｎ ｔｈ ｅ ｗ  ｉ ｌ ｄ ＂［ Ｃ ］
． Ｐ ｒ ｏ
ｃｅｅｄ ｉ

ｎ
ｇ
ｓ ｏ ｆ 
ｔ

ｈ ｅ Ｅ
Ｉ

 Ｋ

Ｅ
 Ｃ
ｏ ｎｆ ｅ ｒｅｎ ｃ
ｅ  ｏｎ Ｃ
ｏ ｍ ｐｕ ｔ ｅ  Ｖ ｉ ｓ ｉ ｏ ｎ ａ ｄ  Ｐ ａ ｔ ｔ ｒ  ｎ ｅ ｒ ｎＲ ｅｃｏｇ ｎ ｉ ｔ ｉ ｏ ｎ ．２ ０ ０ ９ ： ９ ９ ６ －  １ ２ ００３ ． ［ １ ７ ］
ｌ ｓｅ ａ
Ａ

ｒ

， Ｍ ａ ｒ ｓ ｚ ａ ｅ ｋ  Ｍ ， Ｓ ｈ ｍ ｉ ｄ  Ｃ ． Ａ  ｓ ｐ ａ ｔｉ ｏ － ｔ ｅ ｍ ｐ ｏ ｒ ａ ｌ  ｄ ｅ ｓ ｃ ｒ ｉ
ｌ ｃ ｐ ｔ ｏ ｒ  ｂ ａ ｓ ｅｄ  ｏ ｎ  ３ ｄ － ｇ ｒ ａ ｄ ｉ ｅ ｎ ｔ ｓ   ［ Ｃ］ ． Ｂ ｒ ｉ ｔ ｉ ｈ Ｍ ａ ｃ ｓ
ｎ
ｉ
ｈ

ｅＶｉ ｏ
ｉ
ｓ

ｎ
 Ａｓ ｓｏ ｃ ｉａ ｔ ｉｏ ｎ ． ２ ００ ８， ２７ ５ ： １－ １ ０ ．  ［ １  ８］Ｄ ｌａ ｌ Ｎ ， Ｔ ｉ ａ ｒ
ｇ

ｇ ｓ
Ｂ ． Ｈｉ ｔ ｏ ｇ ｒ ａ ｍ  ｏ ｆ 
ｓ ｏｒ ｉ ｅ ｎ ｔ ｅｄ ｇ ｒ ａ
ｉ ｅｎ ｔ  ｆ ｏ ｒ
ｈ
 ｓ
ｄ

ｕ
ｍ ｎ  ｄｅ ｔ ｅ ｃ ｔ ｉｏ ｎ ［ Ｃ ］ Ｐ ｒ ｏ ｃ ． ｅ ｅ ｄ ｉ ｎｇｓ
ａ

６７
－


－
东 北 大 学硕士 学 位 论 文 参 考 文 献



ｏｆ  ｔ ｈ ｅ  Ｉ Ｅ Ｅ Ｅ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｏ ｎ  ａｎ ｄ  Ｐ ａ ｔｔ ｅ ｒ ｎ  Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ． ２ ０ ０ ５ ， ：８ １
８ ６－ ８ ９
３

． ９
１
［

］
Ｌ ａ ｐ ｔ ｅ ｖ Ｉ， Ｍａｒ ｚ ｓ
ａ ｌｅ ｋ  Ｍ ， Ｓ ｃｈ ｍ ｉ ｄ  Ｃ ． Ｌ ａ ｒ ｎ ｎ ｇ  ｒｅ ａ ｌ ｉ ｓ ｔ ｉ ｃ  ｅ ｉ ｈ ｕ ｍａｎ  ａ ｃ ｔ ｉ ｏｎ ｓ  ｆ ｒ ｏ ｍ  ｍ ｏ ｖｉ ｅ ｓ ［ Ｃ ］ ．   Ｐ
ｒ ｏ
ｃ ｅ
ｉ
ｄ
ｅ

ｎ ｇ ｓ  ｏ ｆ  ｈ ｅ  Ｉ Ｅ Ｅ  Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏｎ  Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｏ ｎ 
ｔ Ｅ ａ ｎ ｄ  Ｐ ａ ｔ ｔ ｅｒ ｎ  Ｒ ｅｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ． ２０ ０ ８ １ － ： ８ ．   ［ ２ ］Ｄ ０
ａ

ｌ 
ｌ
ａ

Ｎ
，Ｔ
ｒ ｉｇ ｇ ｓ  Ｂ ， Ｓ ｃ ｈ ｍｉ  Ｃ ．Ｈｕ ｄ
ｍ ａ ｎ  ｄｅ ｔ ｅ ｃ ｔ ｏ ｉ ｎ ｕ ｓ ｉ ｎ ｇ  ｏｒ ｉ ｅ ｎ ｔ ｅｄ  ｈ ｉｓ
ｔｏｇ
ａ ｍ ｓｏ ｆｆ
ｒ ｌ ｏｗ 
ａ ｎ ｄ   ａ ｐ ｐ ｅ ａｒ ａ ｎ ｃ ｅ［ Ｃ
．
］

Ｅ ｕ ｒ ｏ ｐ ｅ ａｎ  ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ  ｖ ｉ ｓ ｉ ｏ ｎ ． ２ ０ ０ ６ ： ４ ２ ８ ４ － ４ １．  ［ ２１ ］Ｓａ ｎ ｉ ｎ Ａ Ｓａ ，

ｎ ｒ
ｅ
ｄ

ｓ
ｏ ｎ
 Ｃ ， Ｈａ ｒ ａ ｎ ｄ  Ｍ Ｔ ． Ｓ ｐ ａ ｔ ｉ ｏ － ｅ ｍ ｐｏ ｒａ ｌ ｃ ｏ ｖ ａ ｉ ａ ｎ ｃｅ ｄ
ｉ ｔ
 ｒ 
ｅ

ｓ ｃ ｒ ｉ ｐ ｔ ｏ ｒ ｓ  ｆ ｏ ｒ
ａ ｃｔ ｉ ｏ ｎ   ａ ｎ ｄ
 ｇ ｅ ｓ ｔ ｕ ｒ ｅ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ
ｏ
ｉ

ｎ［ Ｃ Ｐ ｒ ｏ ｃｅ ｅ ｄ ｉ ｎ ｇ ｓ
ｏ
ｔ ｈｅ Ｅ Ｃ ｏｎ ｆ ｅ ｒｅ ｎ ｃ ｎ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｏｎ ． ２ ０ １ ３ ：   １ ０ ３ － １ １ ０ ．   ［ ２ Ｌｕ ａｓ  
ｅ ｏ
２
］．
ｆ Ｅ Ｃ ］ ｃ Ｂ Ｋ
，
Ｄ

Ｉ Ｅ
ｉ

ｎ

ａ ｎａ ｄ

ｅ  Ｔ ． Ａ
ｔ
ｅｒ
ａ ｔ ｉ ｖ ｅ ｉｍａ ｇｅ  ｒ ｅ ｇｉ ｓ ｔ ｒ ａ ｔ ｏ ｎ  ｔ ｉ ｅ ｃ ｈ ｎ ｉｑ ｕ ｅ  ｗ ｉ ｔ ｈ  ａ ｎ  ａ ｐ ｐ ｌ ｉ ｃ ａｔ ｉ ｏ ｎ  ｔ ｏ   ｓ ｅ ｒ ｅ ｏ  ｖ ｉ ｓ ｉ ｏ ｎ ［ Ｃ ］ ． ｔ Ｉ ｎ ｔ ｅｒ ｎ ａ ｔ ｉ ｏ ｎ
ｌ
ａ

Ｊ ｏ ｉｎ ｔ Ｃ ｏ ｎ ｆ ｅ ｒｅｎ ｃ ｅ  ｏｎ  Ａ ｒ ｔ ｉ ｆ ｉ ｉ ａ ｌ  Ｉ ｎ ｔ ｌ ｌ ｉ ｇ ｅ ｎ ｃｅ ． １ ９ ８ １ ： ６ ７
ｃ ｅ ４ －６ ７９ ．   ［ ２ ３ ］ Ｂ ｒｅ ｇ ｏ ｎ ｚ
ｉ ｏ Ｍ ， ｉ Ｊ ， Ｌ Ｇ ｏ ｎｇ  Ｓ
．

Ｄｉｓ ｉ
ｒ
ｃ

ｍ
ｉｎ
ａ ｔ ｉ ｖ ｅ  Ｔ ｏｐ ｉ ｃ ｓ  Ｍ ｏ
ｄ ｅｌ ｌ
ｉ ｎ
ｇ ｆｏ ｒ
 Ａ ｃ ｔ ｉ ｏ ｎ  Ｆ ｅ ａ ｔ ｕｒ ｅ  Ｓ ｅ ｌｅ
ｃ ｉｏ ｔ ｎ ａｎ ｄ  Ｒ ｅ ｃ ｏ ｇｎ ｉ ｔ ｉｏ ｎ［ Ｃ ］ ． Ｂ ｒ ｉ ｔ ｉｓ ｈ  Ｍ ａ ｈ ｉ ｎ  Ｖ
ｓ
ｉ ｃ ｅ

ｉｏ ｎ  Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ． ２ ０ １
０
： １ － １１ ．   ［２ ４ ］Ｄ ｏ ｌ ｌ á  ｒ Ｐ ， Ｒ ａ ｂ ａ ｕ ｄ Ｖ， Ｃ ｏ ｔ ｔ ｒ ｅ ｌ ｌ Ｇ ． ｅｈ Ｂ
ａ

ｖ ｉ 
ｒ
ｏ

ｅｃ
ｇｎ ｉ ｏｎ  ｖ  ｓ ｐ ａｒ ｓｅ ｐａ ｔ ｉ ｔ ｏ ａ ｌ ｆｅａ ｕ ｒ ｅ ｓ   ［ Ｃ］ ． Ｖ ｉ ｓ ｕ ａ ｌ  Ｓ ｕ ｒ ｖ ｅｉ ｌ ｌ ａ ｎｃ ｅ ａ ｎ Ｐ ｅ
ｒ ｆｏｒ ａ ｎｃ ｅ  Ｅ ｖ ａ ｌ
ｄ

ｔ ｉ ｏ－ ｅ ｍ ｐ ｔ ｍ ａ
ｕ
ａ
ｒ

ｒ ｏ ｉ ｓ

ｔ
ｉｏ ｎ  ｏ ｆ  Ｔｒａ ｃｋ ｉｎ ｇ  ａ ｎ ｄ  Ｓ ｕ ｒ ｖ ｅ ｉ ｌ ｌ ａ ｎ ｃ ｅ． ２ ０ ０ ５ ： ６ ５ －   ７ ２ ．   ［ ２ ５ ］ Ｄ ｅ ｖａ ｎ ｎ ｅ Ｍ ， Ｂ ｅ ｒ ｒ ｅ ｔ ｔ ｉ  Ｓ ， Ｐ ａ ｌａ  Ｐ Ｍ ｏ ｔ ｉ ｏ ． ｎ ｓ ｅ ｅ
ｍ
ｇ

ｎｔ ｅ
ｄ


ｏｍ ｏ ｓ ｉ ｔ ｉ ｏｎ  ｏ ｆ Ｇ Ｂ －Ｄ  ｓｅ ｕｅ ｃｅ ｓ ｆ ｏ ｒ ｈｕ ｎ  ｂ ｅ ｈ ａｖ ｉ ｏ ｒ  ｕ ｎ ｄ ｅ ｒ ｓ ｔ ａ ｎ ｄ ｎ ｇ ［ Ｊ ］ Ｐ ａ ｔ ｅ ｒ ｎ  Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉｏ ｎ，２
ｔ

Ｒ
ｑ   ｍａ ｉ ．
ｃ ｐ  ｎ

０ １ ７ ， ６ １ ： ２ ２ ２ － ２ ３ ３ ．  ［ ２ ６ ］ Ｄ ａｎ  Ｏ ， Ｖ ｅ ｒ ｂ
ｅ
ｅ ｋ  Ｊ， Ｓ ｃ ｈｍ ｉ ｄ  Ｃ ． Ａｃ ｔ ｉｏ ｎ ａ ｎ
ｄ Ｅ ｖ ｅ ｎ
ｔ  Ｒ ｅｃ ｏ ｇ
ｎ

ｉｔｉ 
ｎ
ｏ

ｗ
ｉｔ
ｈ  Ｆ ｉｓ ｈ ｅ ｒ  Ｖｅ ｃ ｔ ｏ ｒ ｓ  ｏ ｎ  ａ  Ｃ ｏ ｍ ｐ ａ ｔ ｃ Ｆ ｅ ａ ｔ ｕ ｒ ｅ Ｓ ｅ ｔ ［ Ｃ ］ ． Ｐ ｒ ｏ ｃ ｅ ｅｄｉ ｎ ｓ  ｏ ｆ  ｔｈ ｅ  ｇ Ｉ Ｅ ＥＥ Ｃ ｏｎ ｆ ｅ ｒ ｅ ｎ ｃｅ ｏ ｎ
Ｃ


ｏ ｍ ｐ ｕ ｔ ｅ ｒ  Ｖ ｉ ｓｉｏ ｎ ． ２ ０ １ ４ ：   １ ８ １７ －１ ８ ２ ４ ．  
［ ２ ７ ］ Ｐ ｅ ｎ ｇ  Ｘ ， Ｚ ｏ ｕ  Ｃ ， Ｑ ｉａ ｏ  Ｙ ． Ａ ｃ ｔ ｉ ｏ ｎ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ  ｗ ｔｈ  ｉ ｓ ｔ ｋ
ｃ
ａ

ｅ ｄ  ｆ ｉ

ｓ ｈ ｅｒ ｅ
ｖ


ｃ
ｔｏ
ｒ ｓ［ Ｃ ］ ．Ｅｕ ｒ ｏｐ ｅ ａｎ Ｃ  ｏ ｎ ｆｅｒ ｅｎｃ ｅ ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ  ｉ ｓ ｉ ｏ ｎ ． ２ ０ １ ４： ５ ８ １ － ５ ９
５ ．   ［ ２ ８ ］ Ｗ ａ ｎ ｇ  Ｈ ， Ｋ ｌ ｓ ｅ ｒ  Ａ ， Ｓ ｃｈ
Ｖ ｉ
ｍ ？

ｄ  Ｃ ．Ａ ｃ ｔ ｉ ｏ ｎ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ｂ  ｙ  ｄ ｅｎ ｓ ｅ ｔ ｒ ａ ｊ ｅｃ ｔ ｏ
ｒ

ｉ ｅｓ ］
Ｃ
［

．
Ｐ ｒ ｏ ｃ ｅｅ ｄ ｉ
ｎ
ｇ  ｓ
ｏ ｆ ｔｈ ｅ  Ｉ Ｅ Ｅ Ｅ Ｃ ｏ ｎｆｅ ｒ ｅ ｎｃ ｅ ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  Ｖ ｉ ｓ ｉ ｏ ｎ  ａ ｎ ｄ  Ｐ ａ ｔ ｔｅ ｒ ｎ  Ｒ ｅ
ｃ ｏ ｇｎｉ ｔ ｉ ｏ ｎ．２０ １１： ３ １ ６
９－
１
３

７６ ．   ［ ２ ９ ］ Ｚ ｈ ｕ  Ｙ ， Ｚｈ ａ ｏ  Ｘ ， Ｆ ｕ  Ｙ ． Ｓ ｐ
ａ ｒｓ ｅ  ｃ ｏ ｄ ｉｎ ｇ  ｏ ｎ  ｌ ｏ ｃ ａ ｌ  ｓ ｐ ａ ｔ ｉ ａ ｌ － ｔｅｍ ｐ ｏ ｒ ａ ｌ ｖ ｏ ｌ ｕ ｍ ｅｓ  ｆｏ ｒ

 ｈ ｕｍ 
ｎ
ａ

ｃ ｔ ｉｏ ｎ ｒｅ ｇｎ ｉｔｉｏ Ｃ ］． Ａ ０ － ６ ７ １ ．   ［３ ０ ］ Ｗ ａ ｒ ｄ  Ｒ  Ｋ ， Ｇ ｕ ｈ
ｉａ
ｎ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｃ ｅ  ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｖ ｉ ｓｉ ｎ． ２ ０ １ ０： 
ａ
ｏ

ｎ ６６
ｏ ［
ｓ

ａ ｃ ｎ

Ｔ． Ｌｅ
ａｒ ｎ ｉ ｎ ｇ Ｓ ｐ ａ ｒ ｓ ｅ Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔａ ｔ ｉ ｏ ｎ ｓ  ｆ ｏ ｒ  Ｈ ｕ ｍ ａ ｎ  Ａ ｃ ｔ ｉ ｏ ｎ  Ｒ ｃｏ ｅ ｇ ｎ ｉ ｔ ｉ ｏｎ［ Ｊ

］．  Ｅ
Ｉ


Ｅ
Ｅ 
Ｔ ｒ ａｎ ｓ ａ ｃ ｔ ｏ ｓ  ｏ ｎ  ａ ｔ ｅ ｒ ｎ  Ａ ｉ
ｎ
Ｐ ｔ ｎ ａ ｌ ｙ ｓ ｉ ｓ  ａ ｎ ｄ  Ｍ ａ ｃ ｈ ｉ ｎ ｅ  Ｉ ｎ ｅ ｌ ｌ ｉ ｇｅ ｎ ｃ ｅ ，２ ０ １ ２ ， ３ ４ （ ８ ） ： １ ５ ７ ６ ．  ｔ  ［３ １ ］Ｓ ｏ ｍａ ｎ
ｕ
ｓ

Ａｃ ｔ ｏ ｎ  ｒ ｅ ｃｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ  ｕ ｓ ｉ ｎ  ｇ ｌ ｂ ａ ｌ  ｓ
ｄ ａｒ ａ  Ｇ ， Ｃ ｈ ｅ ｒ ｉ ｍ ａ ｎ  Ａ ， Ｍ ｏ ｒ ｅ ｌｌａ ｓ Ｖ ． ｉ ｇ ｏ
ｐ ａ
ｔｉ ｏ －  
ｔ ｅ
ｍ
ｐ
ｏ
ｒ ａｌ  ｆ ｅ ｕ
ｔ
ａ

ｒ
ｅ ｓ

ｅ ｐｒ ｅ ｓ ｎ ｔ ａ ｔ ｉ
ｄ ｅ ｒ ｉ ｖ ｅ ｄ ｆ ｒ ｏ ｍ  ｓ ｐ ｒ ｓ ｅ  ｒ ａ ｅ
ｏ ｎ ｓ［ Ｊ ］ ． Ｃ ｏ ｍ ｐ ｔ ｅｒ  Ｖ ｉ ｓ ｉ ｏ ｕ ｎ ａ ｎ ｄＩｍ ｇｅ ｎ ｄ ｅ ａ Ｕ ｒ ｓ ｔ ａ ｎｄ ｉ ｎ ２
，
ｇ

０ １ ４ ， １ ２ ３ （ ７ ）： １ － １ ３ ．   ［ ３ ２
］ Ｃ ｏ ｒ ｓ ｏ Ｊ  Ｊ ． Ａ ｃ ｔ ｉ ｏ ｎ  ｂ ａ ｎ ｋ ： Ａ  ｈ ｉｇ － ｌ ｅ ｖ ｅ ｌ 
ｈ ｒ ｅｐ ｒ ｅｓｅ ｎｔａ ｔｉ ｏ ｎ  ｏ ｆ ａ ｃ ｔ ｉ ｖ ｉ ｔ ｙ 
ｎ
ｉ

 ｖｉ ｄｅｏ ［ Ｃ］ ． Ｐ ｒ ｏ ｃ ｅ
ｅｄ ｉ ｎ ｇ ｓ ｏ ｆ
ｔ ｅ ｈ
Ｉ

Ｅ Ｅ Ｃ

Ｅ

ｎｆ
ｒ ｅ ｎ ｃｅ ｏ ｎ Ｃ ｐ ｕ ｒ  Ｖ ｉ ｓｉｏ ａ ｄ Ｐａ ｅ ｒ ｎ  Ｒ ｅｃ ｏ ｇｎ ｉ ｔ ｉ ｏ ｎ． ２ ０ １ ２ ： １ ３ ４ － １ ２ ４ １ ．   ［ ３ ３ ］ Ｌ ｉ  Ｃ ， Ｗ ｇ  Ｐ， Ｗ ａ ｎ ｇ  Ｓ． Ｓ
ｔ

ｏ ｍ ｔｅ ｎ  ｎ ｔ ２ ｎ ｅ
ｋ
ｏ ｅ ａ

ｌｅ ｔ ｏ ｎ － ｂ ａ ｓ ｅ ｄ  ａ ｃ ｔ ｉｏ ｎ  ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ
ｎ ｕ ｓ ｉ ｎ ｇ  ＬＳ Ｔ Ｍ  ａｎ ｄ  Ｃ ＮＮ ［ Ｃ ］．   Ｉ Ｅ Ｅ Ｅ Ｉ ｎｔ ｅｒ ｎ ａｔ ｉ ｏ ｎ ａ ｌ Ｃｏ ｎ

ｆ ｅｒ ｅ ｅ
ｃ
ｎ


ｏ ｎ
 Ｍｕ ｌ ｔｉ ｅ ｍ
ｄｉ ａ  ＆  ｘ ｐｏ Ｗ ｏ ｒ Ｅ
ｋ ｓ ｈ ｏ ｐ ｓ ． ２ ０ １ ： ５ ８ ５ － ５ ９ ０ ．   ［ ３ ４ ］ Ｊ ｉ  Ｓ ， Ｘ ｕ  Ｗ ， Ｙ ａ ｎ ｇ  Ｍ ． ３ Ｄ  Ｃ ｏ ｎ ｖ ｏ ｌ ｕｔ ｉ ｏ ｎ ａ
７

Ｎ

ｌ

ｕ ｒ ａ ｌ Ｎｅ ｔ ｗ
ｏ ｒｋ  ｆ ｏ Ｈ ｕ ｍ ａｎ  Ａ ｃ ｔ ｉ ｏ ｎ  ｅ ｃ ｉ ｔ ｉ ｏ ｎ   ［ Ｊ ］ ． Ｉ Ｅ ＥＥ  Ｔ ｒ ａ ｎ ｓ ａ ｉｏ ｓ ｏｎ  Ｐ ｔ ｔｅ
ａ

ｅ ｓ ｒ  Ｒ ｏ ｇｎ ｃ ｔ ｎ  
ｎ
ｒ

Ａ
ｎａ
ｌ ｙｓ ｉ ｓ ａ ｎ
ｄ  Ｍ ａ ｈ ｉｎ ｅ  ｎ ｃ
Ｉ
ｔ ｅｌ ｌ ｉ ｇ ｅ ｎｃ ｅ ， ２ ０ １ ３ ， ３ ５ （ １ ） ： ２ ２ １ － ２ ３ １ ．   ［ ３ ５ ］Ｗ ａ ｎ ｇ  Ｘ ， Ｇ ａ ｏ  Ｌ ， Ｓ ｏ ｎ ｇ  Ｊ ． Ｂ ｅ ｙ ｏｎ ｄ
ｒ
Ｆ

ａ
ｍ
ｅ
－ ｌｅ ｖ ｅ ｌ  ＣＮ Ｎ： Ｓ ａ ｌ ｉ ｎ ｃ ｙ － Ａ ｗ ａ ｒ ｅ ３ － Ｄ
 ｅ Ｃ ＮＮ  Ｗ
ｉｔ ｈ   ＬＳ Ｔ Ｍ  ｆｏ ｒ  Ｖ ｉｄｅ ｏ Ａ ｃ ｔ ｉ
ｏｎ Ｒｅ ｃ ｏ
ｇｎ ｉ ｔ ｉ ｏ
ｎ［
Ｊ
］
．
Ｉ ＥＥ Ｅ 
Ｓ

ｉｇ ｎ 
ｌ
ａ

ｒ ｏ
ｅ ｓｓ ｉ ｎ ｇ  ｅ ｔ ｔ ｅ ｒ ｓ ２ ０ １ ７ ，２ ４ ４ ） ： ５ １ ０ － ５ １ ４ ．  ６］ Ｓ ｉｍ ｏｎｙ ｎ Ｋ ｉ ｓｓ ｍａ ｎ  Ａ ． Ｔ ｏ － ｓ ｔｒ ｅ ａ ｎ
ｏ
ｃ
ｗ
［ ｒ


Ｐ ｃ Ｌ ，
（ ３ ａ ， Ｚ
ｅ ｍ

ｖ ｏ ｌ ｕ ｔ ｉｏ ｎ ａ ｌ  ｎ ｅ ｔｗｏ ｒ ｋ  ｆ ｓ ｏ ｒ  ａ ｃ ｔｉ ｏ ｎ ｒ ｅｃ ｏ ｇ ｎ ｉ ｔｉ ｏｎ ｉ ｎ   ｖ ｉ ｄ ｅ ｏ ｓ ［ Ｃ ］ ． Ａ ｄ ｖ ａ ｃ ｅ ｓ ｉ ｎ  ｎ ｎ ｅ
ｕｒ ａ ｌ 
ｉｎ ｏ
ｆ ｒ
ｍ ａｔ ｉ ｏ ｎ

 ｐ ｒ ｅ
ｃ
ｏ

ｅ ｍｓ ． ２ ４  ３７ ］ Ｌ ， Ｑ ｉ ａ ｏ  Ｙ ， Ｔ ａ ｎ ｇ  Ｘ ． Ａ ｃ ｔ ｉ ｏ ｎ  ｒ ｅ ｃ ｏｇ ｎ ｉ ｔ ｉ ｏ ｎ  ｗ ｉ ｔ ｈ  ｔ ｒ ａ ｊ ｅ ｔ ｏ ｒ ｙ －
ｓ
ｓ ｉ ｎｇ ｓ ｙ ｓ ｔ ０ １
： ５ ６ ８ －５ ７６ ．  ［
Ｗ

ａ ｎｇ  ｏ
ｐ ｃ

ｏ ｅｄ  ｄｅｅ ｐ －
ｌ ｃ ｏ ｎ ｖ ｏ ｌｕ ｔ ｉ ｏ ｎａ ｌ

６８
－ 

－
东 北 大 学 硕 士 学 位 论 文 参考文献



ｄ ｅ ｓ ｃ ｒｉ
ｐｔ ｏ ｒ ｓ［ Ｃ
］ ．
Ｐ ｒｏ ｃ ｅ ｅｄｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈ ｅ  Ｉ Ｅ Ｅ Ｅ  Ｃ ｏ ｎ ｆ ｅ ｒｅ ｎ ｃ ｅ  ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ
ｔｅ Ｖ
ｒ ｉ ｓ ｉ ｏ  ａ ｎ ｄ Ｐ ａ ｔ ｔｅ ｒ ｎ 
ｅ
Ｒ ｎ

ｃ ｏ ｇ ｎ ｉｔ ｉ ｏｎ ．２ ０ １５ ： ４ ３ ０ ５－ ４ ３１
４

．  ［ ］
８
３

Ｗ
ａ ｎ
ｇ  Ｌ， Ｘ ｉ ｏ ｎ ｇ  Ｙ ， Ｗ ａ ｎｇ ． Ｚ
Ｔｅ ｍ ｐ ｏ ｒ ａ ｌ Ｓ ｅ
ｇ
ｍ ｅ ｎ Ｎ ｅ ｔ ｗ ｏ ｒｋｓ： Ｔ ｏ ｗ ａ ｒｄｓ
ｔ  Ｇ ｏｏ ｄ Ｐ ｒ ａ ｃ ｔ ｉ ｃ ｅ ｓ  ｆ ｏ ｒ   Ｄ ｅ ｅ ｐ Ａ ｃ
ｉ
ｔ

ｏ ｎ Ｒ ｃ ｏ ｅ
ｇｎ ｉ ｔ ｉ ｏ ｎ ［ Ｊ ］． Ａ ｃ  Ｔ ｒ ａ ｎ ｍ
ｓ
ａ ｃ ｔ ｉ ｏ ｓ ｏｎ  Ｉ ｎ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ  Ｓ ｙｓ ｔ ｅ ｍ ｓ ， ２ ０ １ ６ ， ２ ２ （ １ ） ： ２０ － ３ ６ ． 
［３ ９
］
Ｙ ａｎ 
Ｘ

， Ｃ ｎ
ａ
ｈ

ｇ
 Ｈ
， Ｓ ｈａ ｎ Ｓ ｏ ｄ ｅ ｌ ｉ ｇ 
． Ｍ ｎ  ｖ
ｉ ｄ ｅｏ  ｄ ｙ ｎ ａ ｍｉｃ ｓ  ｗ ｉ ｔ ｈ  ｄ ｅ ｅ ｐ  ｄｙ ｎ ｅ ｃ ｏ ｄ ｅ ｎ ｒ ［ Ｃ］ ． Ｅ ｕ
ｒ ｏ ｐ ｅａ ｎ   Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｃ ｏ ｍｐ
ｔ
ｕ

ｅ ｒ  Ｖｉ ｓ ｉ ｏ ｎ ． Ｓ ｐ ｒ ｉ ｎ ｇ ｅ ｒ ． ２ ０ １ ： ４ ２ １ ５ －２ ３ ０．

［ ４０］ Ｓ ｒ ｉｖ ａ ｓ ｔ ａ ｖａ  Ｎ
，

Ｍａ ｎ ｍ
ｉ
ｓ

ｏ
ｖ
Ｅ ，Ｓ ａ
ｌ ａｋｈ ｕ ｄ ｉ ｎ ｏｖ  Ｒ ． Ｕｎ ｓ ｕ ｐ ｅ ｒｖｉ ｓ ｅｄ  ｌ ｅ ａｒ ｎ ｉ ｎ ｇ  ｏ ｆ  ｉ ｄ ｅ ｏ   ｒ ｅｐ
ｖ ｒ ｅｓｅ ｎ ｔ ａ ｔｉ ｏ ｎ ｓ  ｕ ｓ ｉ ｎ ｇ ｌ ｓ ｔ
ｓ
ｍ 

［Ｃ
］ ． Ｉ ｎ ｔ ｅｒ ｎ ａ ｉ ｏ ｎ ａ ｌ  ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ ｍａ ｅ  ｌ ａ ｒ ｎ ｉ ｎ ｇ ． ２ ０１ ５ ： ８ ４ ３ － ８ ５ ２ ．   ［ １ ］ Ｈ ｂ ｅ ｌ  Ｄ  Ｈ
ｃｈ ｉ ｎ Ｗ ｉｅ ｅ Ｔ Ｎ． ｅｃ ｅ
Ｒ

ｔ  ｅ ４ ｕ ， ｓ ｌ ｉ
ｔ
ｐ

ｖ
ｅ 
ｆ ｉｅ ｌｄ ｓ ｉ ｏ ｌ ， ｂ ｎ
ｃ ｕ
ａ ｒｉ ｎ ｔ ｅ ｒ ｔ ｉ ｏ ｎ ａ ｃ ａｎ ｄ ｕ
ｎｃ ｉｏ ｆ ｔ
ｎ ａ
ｌ  ａ ｒ ｃ ｈ ｔｅ ｉ ｃｔ ｕ ｒ ｅ   ｉ ｎ  ｔ ｈ ｅ ｃ ａ ｔ ＇ｓ  ｖ ｉ ｓ ｕ ａ ｌ  ｃ ｏｒ ｔ ｅｘ ［ Ｊ ］ ．Ｊ ｏ ｕ
ｎ
ｒ

ａ ｌ  ｏ ｆ  Ｐ ｈ ｙｓ ｏ ｌ ｏ ｇ ｙ ， １９ ６ ２ ， １６ ０ （ ： ０ ６－ １ ５４．   ［ ４ ２ Ｌ Ｅｃｕ ， ａ ｎｎ］ ｎ Ｙ

Ｂｏ ｔ ｔ ｏ ，Ｌ ｅ ｏ ｎ ， ｅ ｎｇ ｉｏ ，

Ｙ ｏ ｓ ａ
ｕ
ｈ

１） １ ， ｕ
Ｂ

Ｇ ｒ ａ ｄ ｉ ｅ ｎ ｔ－ ａ ｓｅ ｄ ｅ ａ ｒ ｎ
ｉｎ ｇ ａ ｐ ｐ ｌ ｉ ｄ  ｔ ｏ  ｄ ｃ ｕｍ ｅ ｎ ｔ  ｅｃ ｏ ｇ ｎ ｔ ｉｏ ［ Ｊ］ ． Ｐ ｒ ｃ ｅ ｅｄ ｎ ｇ ｓ  ｏ ｆ  ｈ ｅ  Ｉ Ｅ
ｎ

 ｒ ｉ ｏ ｉ ｔ
． ｂ ｌ  ｅ ｏ

， １ ９ ９ ８ ， ８ ６ （ １ １ ） ： ２２ ７ ８ ２ ３ ． ４ ３］ Ｓ ｚ ｅ ｇ ｄ ｙ Ｃ， Ｌ Ｗ，Ｊ ｉ ａ  ．Ｇ ｏ ｉ ｎ ｄｅ ｗｉ ｔｈ ｏｎ ｖｏ

ｃ

－ ［ ｅ ｕ ｐ ｅ
２ ４ 
 ｉ
Ｙ ｇ  ｅ ｒ
 ｔ
ｕ
ｌ

ｉ
ｏｎ
ｓ ［Ｃ ］ ． Ｐ ｒ ｏ ｃｅｅ ｄ ｉ ｎ ｓ ｏ ｇ
ｆ 
ｔｈ ｅＩ Ｅ Ｅ Ｅ  Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ Ｃ ｏ ｍ ｐ ｕ ｔ ｒ  Ｖ ｉ ｓ ｉ ｏ ｎ  ａ ｅ ｎ ｄ Ｐａ ｔ ｔ ｅ ｒ ｎ  Ｒ ｅｃｏ ｇ ｎ ｉ ｔｉｏｎ ． ２ ０
５
１

： １ － ９．   ［ ４ ４ ］ Ｈ ｅ  Ｋ ， Ｚ ｈ ａ ｎ ｇ Ｘ ， Ｒ ｅｎ ｓ ｉ ｄｕ ａ ｌ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 
 Ｓ ． Ｄｅ ｅ ｐ  ｒｅ ｆ ｏｒ  ｉ ｍ ａ ｇ ｅ


ｒ ｏ
ｃ
ｅ

ｇ
ｎｉ
ｔ ｉ ｏ ｎ Ｃ ． Ｐ ｒ ｏｃ ｅ ｄ ［
］
ｅ ｉ ｎ
ｇｓ  ｏ ｆ   ｔ ｈｅ Ｉ
ＥＥ Ｅ  Ｃ ｏｎ ｆ ｅｒ ｅ ｎｃｅ  ｏ
ｎ  Ｃｏ ｍ
ｐｕ ｔ ｅｒ  Ｖ ｉ ｓ ｉ ｏ ｎ  ａ ｎｄ  Ｐａ ｔ ｔ ｅ ｒ ｎ  Ｒｅ ｃ ｏｇ ｎ ｔ ｉ ｏｎ． ２
１
０ ｉ

６ ： ７ ７ ０ － ７ ７ ８ ．   ［４ ５ ］ Ｌ ｅ Ｃ ｕ ｎ  Ｙ ， Ｂ ｅ ｎ ｇ ｉ ｏ  Ｙ ． Ｃ ｏ ｎ ｖ ｏ ｌ ｕｔ ｉ ｏ ｎ ａｌ ｎ ｅｔ ｗ ｏ ｒ ｋ ｓ ｆ ｏ ｒ  ｉｍ ａ ｇｅ ｓ ， ｓ ｐ ｅｅ ｃｈ
，

ａｎｄ ｉ
ｔ


ｍ
ｅ
ｓ ｅ ｒ ｉ ｅ ｓ［ ］ Ｔ ｈ ｅ   Ｊ
．
ｈ ａｎｄ ｂ ｏ ｏ ｋ  ｏ ｆ ｂｒ  ａ ｉｎ ｔ ｈ ｅ ｏ ｒ ｙ  ａ ｎ ｄ  ｎｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏｒ ｋ ｓ ， １９ ９ ５ ，３ ３ ６ １ （ １ ０）： １ ９ ９ ５．

［
４
６ ］ Ｊｉ
，
Ｓ

Ｘ ｕ Ｗ ， Ｙ ａ ｎ ｇ  Ｍ ３ Ｄ  ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎａ ｌ  ｎ ｅ ｕ ｒ ａ ． ｃ ｌ  ｎ ｅ ｔｗ ｏ ｒ ｋ ｓ ｆ ｏ ｒ  ｈ  ｕ ｍ
ａｎ  ａ
ｃ
ｔ ｉ ｏ ｒ ｅ ｃ ｏ ｎ ｉ
ｎ
ｇ

ｔ
ｉ ｏ ｎ［Ｊ ］ ．   Ｉ
Ｅ Ｅ  ａｎ ｓ ａ ｔ Ｅ
Ｔ ｒ ｃ
ｉ ｏｎ ｓ ｏ ｎ  Ｐ ａ ｔｅ ｎ  Ａ ｔ ｒ ｎ ａ ｌ ｙ ｓｉｓ  ａ ｎ ｄ  Ｍ ａ ｃ ｈ ｉ ｎ ｅ Ｉ ｎ ｔ ｅｌ ｌ ｉ ｇ ｅ ｎ ｃ ， ２ ０ １ ３ ， ３ ５ （ ｅ １ ） ： ２ ２１－ ２
３

．
１

 ［ ４ ７ ］ Ｔ ｒ ａｎ  Ｄ ，  ｏ ｕ ｒ ｄ ｅ ｖ  Ｌ ，Ｆ
ｅ ｒ ｇｕ Ｂ ｓ Ｒ ． Ｌ
ｅａ
ｒ ｎ ｉ ｎｇ ｓ ｐ ａｔ ｉ ｔ ｅｍｐ ｏ ｒａ ｏ ｌ  ｆ
ｅａｔｕｒ ｅ ｓ
ｗ ｉ ｔ ｈ 
３ ｄ

ｃ
ｏ
ｎ ｖｏ ｌ ｕ
ｔ

ｉｏ ｎ 
ｌ
ａ

ｎ ｅ ｔ ｗ ｏｒ ｋｓ ［ Ｃ ． Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ  ｏ ｆ ｔ ｈｅ Ｅ Ｅ Ｅ ｉｎ ｔ ｅ ｎ ｆ ｅ ｅ ｎｃ ｅ  ｏ ｎ  ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  ｖ ｉ ｓ ｉ ｏ ｎ ２ ０ ５ ： 
ｒ ｎ ａ ｔ ｉｏ ａ ｌ  ｃ ｏ ｎ ｒ ． ４

ｓ １
Ｉ

 ］ ｇ

８ ９ －４ ４ ９ ７ ．   ［ ４ ］ Ｓ ｏ ｏ ｍ ｒ ｏ  ， Ｚ ａ ｍ ｉ ｒ  Ａ  Ｒ ，Ｓ ｈ ａ ｈ Ｍ ． Ｕ Ｃ Ｆ
１ ０１ Ａ  ｄ ｔ ａ ｓ ｅ ｔ ｏ ｆ  １ ０ １  ｈ ｕ ｍ ａ ｎ  ａ ｃ ｔ ｉ ｏ ｎ
８ Ｋ ： ａ ｓ  ｃ ｌ ａ ｓｅ ｓ ｓ  ｆ ｍ
ｏ
ｒ

 ｖ ｉ ｄ

ｅｏ ｓ  
ｎ
ｉ

ｈ ｅ  ｗ ｉ ｌ ｄ ［Ｊ ］ ． Ｃ ｍ ｐ ｕｔ ｅ ｒ Ｓ ｉ ｃ
ｎ ｃ ｅ ，２ ０ １ ２ ： ２－４ ．   ［ ４ ９ ］ Ｗ ｉｓ ｈａ ｒ ｔ  Ｄ  Ｓ ， Ｔ ｚ ｕ ｒ  Ｄ ， Ｋ ｎ ｏ ｘ  Ｃ ． Ｈ Ｍ Ｄ Ｂ ： ｔ ｈ ｅ  ｈ ｕ ｍａ ｎ 
ｅ
ｍ
ｔ ｏ ｅ

ｔ ｂ ｏ ｌ ｏｍ ｄａｔ ａｂａ
ａ ｅ ｓ ｅ ［Ｊ］ ． Ｎ ｕ ｃ ｌ ｅｉｃ ａ ｃ ｉｄｓ  ｒｅ ｓ ｅ 
ａ ｒ
ｃｈ ， ２ ０ ０ ７ ３ ，

ｓ
（
５

ｕ
ｐｐ
ｌ ＿１ ） ： Ｄ ５２ １ － Ｄ ５ ２ ６ ．
 ［５ ］ ０
Ｈ ｏ
ｐｆｉ ｅ ｄ  Ｊ ． Ｎ ｌ  Ｊ ｅ ｕｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ  ａｎ ｄ ｐ ｈ ｙ ｓ ｉ ｃａ ｌ  ｓ ｙ ｓ ｔ ｅ ｍ ｓ   ｗ ｉ ｔｈ  ｅ ｍ ｅｒｇｅ ｎ ｔ
ｏ
ｃ

ｌｌ ｅ ｃ ｔｉｖｅ

ｃｏｍｐ  ｕ ｔ
ａ ｔ
ｉ
ｏ ｎａｌ  ｂ
ｉ
ｌ ｉ ｔｉｅ ｓ
［

Ｊ］ ．Ｐ ｃ
ｏ
ｒ

ｅ
ｅ ｄ
ｉ ｎｇ ｓ  ｏ
ｆ ｔ ｈ ｅｎａ ｉｏ ｎ ａ ｔ ｌａ ｃａ ｄ ｅ ｍ ｙ  ｏ ｆ  ｓｃ ｉ ｅｎ ｃ ｅ ｓ ， １９ ８ ２，７ ９ （ ８ ） ：２５ ５ ４ － ２ ５ ５８ ．  ［５ １ ］ Ｂ ａｈｄａ ｎａ

ｕ

Ｄ，Ｃ
ｈｏ Ｋ ｅ ｎ ｇ
 ， Ｂ ｉ ｏ Ｙ ． Ｎ ｅ ｕ ｒ ａｌ
ｍ
ａ
ｃ
ｈ ｉ ｎ ｅ ｔ ｒ ａ ｎ ｌ ａ ｔ ｏ ｎ ｂｙ ｊｏ ｉｎ ｌ ｙ  ｓ ｉ  ｔ ｌ ｅ ａｒ ｎｉ ｎ ｇ ｔ ｏ  ａ ｌｉ ｇ ｎ   ａ ｎ ｄｔ ｒ ａ ｎ ｓ ｌ
ａｔｅ ［
Ｊ
］ ．２ ０ １ ４ 

．

［５ ２ ］ ｃ
ｏ
Ｈ

ｈ
ｒ ｅ
ｉ ｔ ｅ ｒ Ｓ ，Ｓ ｃ ｈ ｍ ｉ ｄ ｈｕ ｂ ｅｒ  ． Ｌ ｏｎ ｇ Ｊ
 ｓｈｏ ｔ ｒ － ｔ ｅｒｍ  ｍ ｅ ｍ ｏ ｒｙ ［ Ｊ ］ ．Ｎｅｕ ｒ ａ ｌ  ｃ ｏ ｍｐｕ ｔ ａ ｔ
ｉ ｎ ， ９ ９ ，  ９ ８ ） ： １ ７ ３ ５
ｏ １ ７ （ － １
７８
．
０

 ［ ５ ３ ］ Ｇｒ ａ ｖ ｅｓ  Ａ ． Ｓ ｕ ｐ ｅｒ ｖ ｉ ｓ 
ｄ
ｅ

Ｓ
ｅ ｑ
ｕ ｅ ｎ ｃ ｅ Ｌ ａ ｂ ｅ ｌ ｌ ｉ ｎ  ｗ ｉ ｔｈ  Ｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ  Ｎ ｅ ｕ
ｇ

ｒａｌ Ｎ ｅ
ｔ ｔ
ｗ

ｏｒｋ ｓ ［ Ｍ ］ ． Ｂ ｅｒ ｌ ｉ ｎ ：   Ｓ ｐ ｒｉ ｎ ｇ ｅｒ， ２
０１ ： ３５ １
２ １ ７
－
７ ８０． ［



５４］ ｈｄ ａ ｎ ａ Ｄ，Ｃ
ｕ

ａ  
ｏ
ｈ

Ｋ
， Ｂ
ｅ ｎｇ ｉｏ Ｙ ． ｅ Ｎ ｕ ｒａ ｌ
 Ｍ ａｃ
ｈ ｉ ｎ ｅＴ ｒ
ａ
ｎ ｓ ｌ ａ ｔ ｉ ｏ ｎ ｂ ｙ  Ｊ ｏ ｉｎｔ ｌ ｙ  Ｌ ｅ ａ ｒ ｎｉｎ ｇ  ｔ ｏ  Ａ ｌ ｉ ｇ ｎ  ａ ｎ ｄ Ｔ ｒ ａｎ ｓ
ｌ ａ
ｔ ｅ［ Ｊ ］ ． Ｃ ｏ ｕ
ｐ
ｍ

ｔｅｒ
Ｓ ｅ， ０ ４．   ］Ｌｕ
ｃｉ ｅ ［
５

２ ５
ｃ
１ ｇ
ｎ
ｏ


Ｍ 
Ｔ ， Ｐ ｈａ ｍ Ｈ ， Ｍ ｎ ａ
ｎ ｉ
ｎ ｇ Ｃ Ｄ ．
Ｅ ｆｆｅ ｃ ｔｉｖ ａ ｐ ｐ ｒ ｏ ｅ ａ ｃ ｈ ｅｓ  ｔ ｏ  ａ ｔ ｔ ｅｎ ｔ ｏｎ ｂ ａ ｓ ｅ ｄ  ｎ ｅ ｒ ａ   ｍ ａ ｃｈｉ ｅ  ｔ ｒ ａ ｎ ｓ
ｉ － ｕ ｌ ｎ ｌ ａ
ｔｉ
ｎ
ｏ

［Ｊ ］ ． ２０ １ ５ ．  ［ ５ ６ ］ Ｌ ｉ  ｎ  Ｚ ， Ｆ ｅ ｎｇ Ｍ，Ｓ ａ ｎ ｔ ｏｓ Ｃ 

Ｎ Ｄ ． Ｓ

Ａ

ｒ ｕ
ｔ ｕ ｒ ｅ ｄ Ｓ ｅ ｌｆ ａ ｔ ｔ ｅ ｎ ｔ ｉ ｅ  Ｓ ｅｎ ｅ ｎ ｃ ｅ  Ｅ ｂｅ ｄｉ ｎ ｇ Ｊ ］ ． ２ ０ １ ７ ．   ［ ５ ７ ］ Ｌ ｉ  Ｓ ，Ｌ ｉ  Ｗ Ｃ ｏ ｋ Ｃ ． Ｉｎｄ ｅ ｐ ｅ ｎ
ｏ

ｔ ｍ ［ ， ｎ
ｅ
ｄ
ｔ ｃ － ｖ

ｔ ｌ ｙ  ｅ ｃ ｕ ｒ ｒ ｅｎ ｔ ｎｅ ｒ ａ ｌ
ｒ  ｕ

ｎ
ｅ
ｔ
ｗｏ ｒ ｋ  ｎ
ｉ
（

ｄ
ｒ ｎ
ｎ ）： Ｂ ｕｉ ｌ ｄ ｉ
ｎ ｇ  ａｌ ｏ ｎ
ｇ ｅｒ

６９
－ 

－
东 北 大 学 硕 士 学 位 论 文 参考文献



ａｎ ｄ  ｄ ｅ ｅ ｐ ｅ ｒ  Ｒ ＮＮ ［ Ｃ
］． Ｐ ｒ ｏｃｅ ｅ ｄ ｉ ｎ ｇｓ
ｏｆｔ ｈｅ  Ｉ Ｅ Ｅ Ｅ  Ｃ ｏ ｎ ｆｅ ｒｅ ｎ ｃ ｅ  ｏ ｎ  Ｃ ｏ ｍ ｐ ｕ ｔｅｒ  Ｖ ｉ ｓｉ ｏ  ａ ｎ ｄ Ｐ ａ ｔ ｔｅ
ｎ ｒ ｎ
ｅ
Ｒ

ｃ ｏ ｇ ｎ ｉｔｉ ｏ ｎ ．２ ０ １ ８： ５ ４ ５ ７－ ５４ ６ ６

７０
？ 

－
东 北 大 学 硕 士 学 位论 文 致谢




致谢



时 间 匆 匆 而过 ， 转眼间 ，
我在 东 北大 学 的 研 宄生 学业 即 将落 幕 。 在两 年 多 的 学业生



活中 ， 遇到过困难 ， 面 临 过迷茫 ， 也 时刻激励着 自 己不断前行 。 如今 ， 即 将离 开校 园 的




我 ， 将 要开 启 人生新 的 篇 章 ， 内 心 充满 着对未来 生活 的 期 待 。 回 顾我 的研 究生生涯 ， 


科

研路上 既有汗水也有欢乐 ， 更离不开老 师和 同 学 们 的 支持 帮助 


。

首先 ， 我要 感谢我 的 导 师潘 峰老 师 。 在这两年 多 的 时 间 里 ，
潘 老 师鼓励 我选择我 自



己感兴趣 的 研宄方 向 ， 并给予我充 分的 自 由 学习 机会 ， 锻炼我 的 自 主学习 的 能力 。

在生



活上 ，
潘老 师 给 予 了 我很 多 富 有 智 慧 的 指 点 和 待 人接 物 的 做 人态 度 。 我在 潘 老 师 身 上 学



到 的 不仅有脚踏实地 、 低调 质 朴 的 教学 态度和 科研精 神 ， 更重要 的 是做 人 做 事 的 态 度 与




方法 

。

同时 ， 我要 感谢 同 一

个 实验室 的王 浩然老 师 ， 感 谢王 老 师 在 我 的 求 知 路上 对 我 的 宽



容和信任 。 我从王 老 师 身 上 学到 了 很 多 很 多 ， 无论是 学 术研 究还 是生 活方面 ， 王老师都




无私地给 了 我很大 的 帮助 。 王 老 师 带 我 走 进 了 计 算 机 视 觉 领域 的 殿 堂 ， 尤其 是 在本论文




方案 的提 出 和 相 关实验上 ， 都给 了 我极大 的 帮 助 和 建议 。 王老师在 百 忙之 中 还对我 的 论




文编 写提 出 了 宝贵意见 ， 指导我完成论文 的 编 写 

。

感谢 同
一

实验的薛定宇 老 师 ，
薛老师为 人治 学 严谨 、 精益求精 ， 具有 大师风范 。 

希

望有朝 我能够 像薛老 师 样成为 个 品 格高 尚 教学严谨 温柔善 良 的 学者和 亲人

一 一 一

日 、 、 

。

我十 分有 幸 能进入 薛 老 师 的 大 团 队 中 ，
大家认 真而 热情 的 学 习 和 生 活氛 围 深深感染着 我 

。

尤其是 ， 张悦 同 学 、 张奔奔 同学 、 李 昆仑 同 学和 胡 雪 同 学 ， 因 为有 了 你们 的 关切 ， 我的



学 习 生涯才会如此丰 富 精彩 ， 在你们每个人 身 上我学 到 了 很 多 


。

感谢我 的 父母 我 的 父母不仅养育 了 我 更是 直支持着我 的 学业 鼓 舞 我跨过

一 

一

， ，
，

个 个 的 难 关 他们 给 予 了 我完 美和 由 的 成长环境 对 我 的 人生有 着 独 无二 的影响

一
一

， 自 ， 

。

最后 ，
感谢 百 忙之 中 抽 出 时 间 评 阅 本论文 的 专 家和 学者 ， 诚 恳地期 待 各位 专 家 的 帮



助和指点 

。



－

７
－