计算机研究与发展 Ｉ

ＳＳＮ１０００－１２３９
?ＣＮ１１－１７７７ ?ＴＰ
Ｊ
ｏｕｒ
ｎａｌｏ
ｆＣｏｍｐｕ
ｔｅｒＲｅ
ｓｅａ
ｒｃｈａｎｄＤｅ
ｖｅｌ
ｏｐｍｅｎ
ｔ ５０（９）：１７９９－１８０４，２０１３

深度学习的昨天 、今天和明天

余 凯 贾 磊 陈雨强 徐 伟
（百度 北京 １０００８５）
（
ｙｕｋａ
ｉ＠ｂａ
ｉｄｕ．
ｃｏｍ）

Ｄｅ
ｅｐＬｅ
ａｒｎ
ｉｎｇ：Ｙｅ
ｓｔｅ
ｒｄａｙ，Ｔｏｄａｙ，ａｎｄＴｏｍｏ
ｒｒｏｗ

ｉ，Ｊ
Ｙｕ Ｋａ ｉ ｉ，Ｃｈｅｎ Ｙｕｑ
ａＬｅ ｉａｎｇ，ａｎｄＸｕ Ｗｅ
ｉ
（
Ｂａｉｄｕ，Ｂｅ
ｉｊｎｇ１０００８５）
ｉ

Ａｂｓｔ
ｒａｃｔ Ｍａｃｈｉ
ｎｅｌｅａ
ｒｎｉｎｇｉ
ｓａｎｉｍｐｏｒｔ
ａｎｔａ
ｒ ｅ
ａｏ ｆａ
ｒｔｉ
ｆｉｃ
ｉａｌｉ
ｎｔｅ
ｌｌｉ
ｇｅｎｃｅ．Ｓｉ
ｎｃｅ１９８０ｓ，ｈｕｇｅｓｕｃｃ
ｅｓｓ
ｈａ
ｓｂｅ ｅｎ ａ
ｃｈｉ
ｅｖｅｄｉ
ｎｔ ｅｒｍｓ ｏ
ｆａｌ
ｇｏｒ
ｉｔｈｍｓ，ｔｈｅｏｙ，ａｎｄ ａｐｐ
ｒ ｌ
ｉｃａ
ｔｉｏｎｓ．Ｆｒｏｍ ２００６，ａ ｎｅｗ ｍａｃｈ
ｉｎｅ
ｌ
ｅａｒｎ
ｉｎｇ ｐａ
ｒａｄ
ｉｇｍ，ｎａｍｅｄ ｄｅ
ｅｐ ｌ
ｅａｒｎ
ｉｎｇ，ｈａ
ｓ ｂｅ
ｅｎ ｐｏｐｕ
ｌａｒｉ
ｎｔｈｅ ｒ
ｅｓｅ
ａｒｃｈ ｃｏｍｍｕｎ
ｉｔｙ，ａｎｄ ｈａ
ｓ
ｂｅｃｏｍｅａ ｈｕｇｅ ｗａｖｅ ｏ
ｆｔ ｅｃｈｎｏｌ
ｏｇｙ ｔ
ｒｅｎｄ ｆ
ｏｒｂ ｉ
ｇ ｄａｔ
ａ ａｎｄ ａｒ
ｔｉｆ
ｉｃｉ
ａｌｉ
ｎｔｅ
ｌｌｉ
ｇｅｎｃｅ．Ｄｅｅｐ ｌｅａ
ｒｎ ｉ
ｎｇ
ｓｉｍｕｌ
ａｔｓｔ
ｅ ｈｅｈｉｅ
ｒａｒｃｈ
ｉｃａｌｓ
ｔｒｕｃｔｕｒｅｏ
ｆｈｕｍａｎｂｒ ａ
ｉｎ，ｐｒｏｃｅｓ
ｓｉｎｇｄａ
ｔａｆ ｒ
ｏｍｌｏｗｅｒｌｅｖｅ
ｌｔｏｈ
ｉ ｇｈｅ
ｒｌ ｅｖｅｌ，
ｒ
ａｎｄｇａｄｕａ
ｌｌｙ ｃｏｍｐｏｓ
ｉｎｇ ｍｏｒ
ｅａｎｄ ｍｏ
ｒｅｓ ｅｍａｎｔ
ｉｃｃｏｎｃ
ｅｐｔｓ．Ｉ
ｎｒ ｅｃ
ｅｎｔｙｅａｒｓ，Ｇｏｏｇ
ｌｅ， Ｍｉｃｒ
ｏｓｏｆｔ，
ＩＢＭ，ａｎｄＢａｉｄｕｈａｖｅｉｎｖｅ
ｓｔｅｄａｌ
ｏｔｏｆｒｅｓｏｕｒ
ｃｅｓｉｎｔ
ｏｔｈｅ Ｒ＆Ｄ ｏｆｄｅｅｐｌ
ｅａｒｎ
ｉｎｇ，ｍａｋｉｎｇｓｉ
ｇｎｉｆ
ｉｃａｎｔ
ｐｒｏｇ
ｒｅｓｓｅｓｏｎ ｓｐｅｅ
ｃｈ ｒｅ
ｃｏｇｎｉ
ｔｉｏｎ，ｉｍａｇｅ ｕｎｄｅｒｓｔ
ａｎｄｉｎｇ，ｎａｔｕｒａ
ｌｌａｎｇｕａｇｅ ｐｒｏｃ
ｅｓｓ
ｉｎｇ，ａｎｄ ｏｎ
ｌｉｎｅ
ａｄｖｅ
ｒｔｉ
ｓｉｎｇ．Ｉ
ｎｔ ｅｒｍｓｏｆｔｈｅｃｏｎｔｒ
ｉｂｕ
ｔｉｏｎｔ
ｏｒ ｅａｌ－ｗｏｒｌ
ｄａｐｐｌ
ｉｃａ
ｔｉ ，
ｏｎｓ ｄｅ
ｅｐｌ ｅａ
ｒｎｉｎｇｉｓｐｅｒｈａｐｓｔ
ｈｅｍｏｓｔ
ｓｕｃ
ｃｅｓ
ｓ ｆ
ｕｌｐｒ
ｏｇｒｅｓｓｍａｄｅｂｙｔｈｅ ｍａｃｈｉ
ｎｅｌｅａ
ｒｎｉｎｇｃｏｍｍｕｎｉ
ｔｙｉｎｔｈｅｌ
ａｓｔ１０ｙｅａ
ｒｓ．Ｉｎｔｈｉ
ｓａ ｒ
ｔｉｃ
ｌｅ，ｗｅ
ｗｉｌ
ｌｇｉｖｅａｈｉｇｈ－ｌ
ｅｖｅ
ｌｏｖｅｒ
ｖｉｅｗ ａｂｏｕｔｔｈｅｐａｓｔａｎｄｃｕｒ
ｒｅｎ
ｔｓ ｔ
ａｇｅｏｆｄｅｅｐｌｅ
ａｒｎ
ｉｎｇ，ｄｉ
ｓｃｕｓｓｔｈｅ ｍａ
ｉｎ
ｃｈａ
ｌｌ ｓ，ａｎｄｓｈａ
ｅｎｇｅ ｒｅｏｕｒｖ
ｉｅｗｓｏｎｔ
ｈｅｆ
ｕｔｕｒ
ｅｄｅｖｅ
ｌｏｐｍｅｎ
ｔｏｆｄｅ
ｅｐｌ
ｅａｒｎ
ｉｎｇ．

Ｋｅｙｗｏｒｄ
ｓ ｍａｃｈｉｎｅｌｅ
ａｒｎｉｎｇ；ｄｅ
ｅｐｌ
ｅａｒｎ
ｉｎｇ；ｓｐｅ
ｅｃｈｒ
ｅｃｏｇｎ
ｉｔｏｎ；
ｉ ｉｍａｇｅｒ
ｅｃｏｇｎ
ｉｔｏｎ；ｎａ
ｉ ｔｕｒ
ａｌｌ
ａｎｇｕａｇｅ
ｐｒ
ｏｃｅ
ｓｓｉ ；
ｎｇ ｏｎｌ
ｉｎｅａｄｖｅｒｔ
ｉｓｉｎｇ

摘 要 机器学习是人工智能领域的一个重要学科 ．自从 ２０ 世纪 ８０ 年代以来，机器学习在算法、理论和

２００６ 年以来，机 器 学 习 领 域 中 一 个 叫 “深 度 学 习”的 课 题 开 始 受 到 学 术 界
应用等方面都获得巨大成功 ．
广泛关注，到今天已经成为互联网大数据和人工智能的一个热潮 ．深度学习通过建立类似于人脑的分层
模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射
ＩＢＭ、百度等拥有大数据 的 高 科 技 公 司 相 继 投 入 大 量 资 源 进 行 深 度 学 习 技 术
关系 ．近年来，谷歌、微软、
研发，在语音、图像、自然语言、在线广告等领域取得显著进展 ．从对实际应用的贡献来说，深度学习可能
是机器学习领域最近这十年来最成功的研究方向 ．将对深度学习 发展 的过 去 和 现 在 做 一 个 全 景 式 的 介
绍，并讨论深度学习所面临的挑战，以及将来的可能方向 ．

关键词 机器学习；深度学习；语音识别；图像识别；自然语言处理；在线广告

中图法分类号 ＴＰ１８

２０１２ 年 ６ 月，《纽约时报》披露了谷歌的 Ｇｏｏｇ ｌｅ 由著名的斯坦福大学的机器学习教授 Ｎｇ 和 在 大 规

ｎ 项目 吸引 了 公 众 的 广 泛 关 注 ．这 个 项 目 是 模计算机系统方面的世界顶尖专家 Ｄｅ
ａｎ 共同主导，
［
１］
Ｂｒ
ａｉ ，

收稿日期：
２０１３－０８－１６；修回日期：
２０１３－０８－１９
１８００ 计算机研究与发展 ２０１３，５０（
９）

用 １６０００ 个 ＣＰＵ Ｃｏ
ｒｅ的并行计算平台训练一种称 对未知事件做预测 ．这 种 基 于 统 计 的 机 器 学 习 方 法
为“深度 神 经 网 络 ”（
ｄｅｅｐ ｎｅｕｒ
ａｌｎｅ ｒｋｓ，ＤＮＮ）
ｔｗｏ 比起过去基于人工 规 则 的 系 统，在 很 多 方 面 显 示 出
的机器学习模型，在 语 音 识 别 和 图 像 识 别 等 领 域 获 优越性 ．这个时候的人工神经网络，虽然也被称作多
得了巨大的成功 ．
２０１２ 年 １１ 月，微 软 在 中 国 天 津 的 层感 知 机 （ｍｕ
ｌｔｉ
－ｌａｙｅ
ｒｐｅ
ｒｃｅｐ
ｔｒｏｎ），由 于 多 层 网 络
一次活动 上 公 开 演 示 了 一 个 全 自 动 的 同 声 传 译 系 训练的困难，实际使 用 的 多 数 是 只 含 有 一 层 隐 层 节
统，讲演者用英文演讲，后台的计算机一气呵成自动 点的浅层模型 ．
完成语音识别、英中机器翻译和中文语音合成，效果 ２０ 世 纪 ９０ 年 代 ，各 种 各 样 的 浅 层 机 器 学 习
非常流畅 ．据报道，后面支撑的关键技术也是 ＤＮＮ， 模 型 相 继 被 提 出 ，比 如 支 撑 向 量 机 （
ｓｕｐｐｏ
ｒｔｖｅ
ｃｔｏ
ｒ
或者深度 学 习 （
ｄｅｅｐｌ
ｅａｒｎ
ｉ
［］
ｎｇ，ＤＬ）２ ．２０１３ 年 的 １ ｍａｃｈｉ ｓ，ＳＶＭ ），Ｂｏｏｓ
ｎｅ ｔ
ｉｎｇ，最 大 熵 方 法 （比 如
月，在中国最大的互 联 网 搜 索 引 擎 公 司 百 度 的 年 会 ｌ
ｏｇｉｓ
ｔｉｃｒｅｇ
ｒｅｓ
ｓｉｏｎ，ＬＲ）等 ．这些模型的结构基本上
上，创始人兼 ＣＥＯ 李彦宏高调宣布要成立百度研究 可以 看 成 带 有 一 层 隐 层 节 点 （如 ＳＶＭ，Ｂｏｏｓ
ｔｉｎｇ），
院，其中第一个重点方向的就是深度学习，并为此而 或没有隐层节点（如 ＬＲ）．这些模型在无论是理论分
成 立Ｉ
ｎｓｔ
ｉｔｕ
ｔｅｏ
ｆＤｅ
ｅｐＬｅ
ａｒｎ
ｉ ＩＤＬ）．这是百度成
ｎｇ （ 析还是应用都获得了巨大的成功 ．相比较之下，由于
立 １０ 多年以来第一次 成 立 研 究 院 ［３］．
２０１３ 年 ４ 月， 理论分析的难度，而 且 训 练 方 法 需 要 很 多 经 验 和 技
《麻省理工学院技术评论》（ＭＩＴ Ｔ
ｅｃｈｎｏ
ｌｏｇｙ Ｒｅ
ｖｉｅｗ） 巧，这个时期多层人工神经网络反而相对较为沉寂 ．
杂志 将 深 度 学 习 列 为 ２０１３ 年 十 大 突 破 性 技 术 ２０００ 年以来互联网的高 速 发 展，对 大 数 据 的 智
（
ｂｒｅ
ａｋｔ
ｈｒｏｕｇｈｔ
ｅｃｈｎｏ
ｌｏｇｙ）之首 ．
［
４］ 能化分析和预测提 出 了 巨 大 需 求，浅 层 学 习 模 型 在
为什么深度学习受到学术届和工业界如此广泛 互联网应用上获得 了 巨 大 的 成 功 ．最 成 功 的 应 用 包
的重视？深度学习技术研发面临什么样的科学和工 括搜索广 告 系 统 （比 如 谷 歌 的 Ａｄｗｏ
ｒｄｓ、百 度 的 凤
程问题？深度学习带来的科技进步将怎样改变人们 巢系统）的 广 告 点 击 率 ＣＴＲ 预 估、网 页 搜 索 排 序
的生活？本文将简 要 回 顾 机 器 学 习 在 过 去 ２０ 多 年 （比如雅虎和微软的搜索引擎）、垃圾邮件过滤系统、
的发展，介绍深度学习的昨天、今天和明天 ． 基于内容的推荐系统，等等 ．
２ 第二次浪潮：深度学习
１．
１ 机器学习的两次浪潮 ：从浅层学习到 深 度 ２００６ 年，加 拿 大 多 伦 多 大 学 教 授，机 器 学 习 领
学习 域的泰 斗 Ｈｉ
ｎｔｏｎ 和 他 的 学 生 Ｓａ
ｌａｋｈｕ
ｔ ｄ
ｉｎｏｖ 在 顶
尖学术刊物《科 学》上 发 表 了 一 篇 文 章 ，开 启 了 深
［
６］

在解释深度学 习 之 前，我 们 需 要 了 解 什 么 是 机 度学习在学术界和 工 业 界 的 浪 潮 ．这 篇 文 章 有 两 个

器学习 ．机器学习是人工智能的一个分支，而在很多 主要的讯息：
１）很 多 隐 层 的 人 工 神 经 网 络 具 有 优 异
时候，几乎成为人 工 智 能 的 代 名 词 ．简 单 来 说，机 器 的特征学习能力，学 习 得 到 的 特 征 对 数 据 有 更 本 质
学习就是通过算法，使 得 机 器 能 从 大 量 历 史 数 据 中 的刻划，从而有利于可视化或分类； ２）深度神经网络
学习规律，从而对新 的 样 本 做 智 能 识 别 或 对 未 来 做 在训练上 的 难 度，可 以 通 过＂ 逐 层 初 始 化 ”（
ｌａｙｅ
ｒ－
预测 ．从 ２０ 世纪 ８０ 年代末期以来，机器学习的发展 ｗｉ
ｓｅｐｒ
ｅ－ｔ
ｒａｉ
ｎｉｎｇ）来有效克服，在 这 篇 文 章 中，逐 层
大致 经 历 了 两 次 浪 潮：浅 层 学 习 （
ｓｈａ
ｌｌｏｗｌ
ｅａｒｎ
ｉｎｇ） 初始化是通过无监督学习实现的 ．
和深度学习（ ｄｅｅｐｌｅａ
ｒｎｎｇ）．需 要 指 出 是，机 器 学 习
ｉ 自 ２００６ 年以来，深 度 学 习 在 学 术 界 持 续 升 温 ．
历史阶段的划分是一个仁者见仁，智者见智的事情， 斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为
从不同的维度来看 会 得 到 不 同 的 结 论 ．这 里 我 们 是 研究深度学习的重镇 ．
２０１０ 年，美国国防部 ＤＡＲＰＡ
从机器学习模型的层次结构来看的 ． 计划首次资助深度学习项目，参与方有斯坦福大学、
１ 第一次浪潮：浅层学习
１． 纽约大学 和 ＮＥＣ 美 国 研 究 院 ．支 持 深 度 学 习 的 一
２０ 世纪 ８０ 年 代 末 期，用 于 人 工 神 经 网 络 的 反 个重要依据，就是脑 神 经 系 统 的 确 具 有 丰 富 的 层 次
向传播 算 法 （也 叫 Ｂａｃｋ Ｐｒ
ｏｐａｇａ
ｔｉｏｎ 算 法 或 者 ＢＰ 结构 ．一 个 最 著 名 的 例 子 就 是 Ｈｕｂｅ
ｌ－Ｗｉ
ｅｓｌ模 型，
ｅ
算法）的发明，给机 器 学 习 带 来 了 希 望，掀 起 了 基 于 由于揭示了视觉神经的机理而曾获得诺贝尔医学与
统计 模 型 的 机 器 学 习 热 潮 ［
．这 个 热 潮 一 直 持 续 到
５］
生理学奖 ．除了仿生学的角度，目前深度学习的理论
今天 ．人们发现，利用 ＢＰ 算 法 可 以 让 一 个 人 工 神 经 研究还基本处于起 步 阶 段，但 在 应 用 领 域 已 经 显 现
网络模型从大量训 练 样 本 中 学 习 出 统 计 规 律，从 而 巨大能量 ．
２０１１ 年 以 来，微 软 研 究 院 和 谷 歌 的 语 音
余 凯等：深度学习的昨天、今天和明天
识别研究人员先后采用 ＤＮＮ 技 术 降 低 语 音 识 别 错
误率 ２０％～３０％ ，是 语 音 识 别 领 域 １０ 多 年 来 最 大
的突破性进 展 ．
２０１２ 年 ＤＮＮ 技 术 在 图 像 识 别 领 域
取得惊人的 效 果，在 ＩｍａｇｅＮｅ
ｔ评 测 上 将 错 误 率 从
２６％ 降低到 １５％．在这一 年，
ＤＮＮ 还 被 应 用 于 制 药
公司的 Ｄｒｕｇｅ Ａｃ
ｔｉｖ
ｉｔｙ 预 测 问 题，并 获 得 世 界 最 好
成绩，这一重要成果被《纽约时报》报道 ．
正如文章开 头 所 描 述 的，今 天 谷 歌、微 软、百 度
等知名的拥有大数 据 的 高 科 技 公 司 争 相 投 入 资 源，
占领深度学习的技 术 制 高 点，正 是 因 为 他 们 都 看 到
了大数据时代，更加 复 杂 且 更 加 强 大 的 深 度 模 型 的
能深刻揭 示 海 量 数 据 里 所 承 载 的 负 责 而 丰 富 的 信
息，并对未来或未知事件做更精准的预测 ．
２ 大数据与深度学习
在工 业 界 一 直 有 一 个 很 流 行 的 观 点：在 大 数 据
条件下，简单的机器 学 习 模 型 会 比 复 杂 模 型 更 加 有
效 ．比如说，在很多 的 大 数 据 应 用 中，最 简 单 的 线 性
模型得到大量使用 ．而 最 近 深 度 学 习 的 惊 人 进 展 促
使我们也许到了要 重 新 思 考 这 个 观 点 的 时 候 ．简 而
言之，在大数据情 况 下，也 许 只 有 比 较 复 杂 的 模 型，
或者说表达能力强 的 模 型，才 能 够 充 分 发 掘 海 量 数
据中蕴藏的丰富信 息 ．现 在 我 们 到 了 需 要 重 新 思 考
“大数据 ＋ 简单模型”的 时 候 ．运 用 更 强 大 的 深 度 模
型，也许我们能从大 数 据 中 发 掘 出 更 多 的 有 价 值 的
信息和知识 ．
为了 理 解 为 什 么 大 数 据 需 要 深 度 模 型，先 举 一
个例子 ．语音识别已 经 是 一 个 大 数 据 的 机 器 学 习 问
题，在其声学建模部分，通常面临的是十亿到千亿级
别的训练样本 ．在谷歌的一个语音识别实验中，发现
训练后的 ＤＮＮ 对训练样本 和 测 试 样 本 的 预 测 误 差
基本相当 ．这是非常违反常识的，因为通常模型在训
练样本上的预测误 差 会 显 著 小 于 测 试 样 本 ．只 有 一
个解释，就是由于大数据里含有丰富的信息维度，即
便是 ＤＮＮ 这样的高容量复 杂 模 型 也 是 处 于 欠 拟 合
的状态，更 不 必 说 传 统 的 ＧＭＭ 声 学 模 型 了 ．所 以
在这个例子里我们看出，大数据需要深度学习 ．
浅层 模 型 有 一 个 重 要 特 点，就 是 假 设 靠 人 工 经
验来抽取样本的特 征，而 强 调 模 型 主 要 是 负 责 分 类
或预测 ．在模型的运 用 不 出 差 错 的 前 提 下 （比 如，假
设互联网公司聘请的是机器学习的专家），特征的好
坏就成为整个系统性能的瓶颈 ．因此，通常一个开发
团队中更 多 的 人 力 是 投 入 到 发 掘 更 好 的 特 征 上 去
１８０１
的 ．发现一个好的特征，要求开发人员对待解决的问
题要有很深入的理解 ．而达到这个程度，往往需要反
复的摸索，甚至是 数 年 磨 一 剑 ．因 此，人 工 设 计 样 本
特征，不是一个可扩展的途径 ．
深度 学 习 的 实 质，是 通 过 构 建 具 有 很 多 隐 层 的
机器学习模型和海 量 的 训 练 数 据，来 学 习 更 有 用 的
特征，从而最终提升分类或预测的准确性 ．所以，“深
度模型”是手段，“特 征 学 习”是 目 的 ．区 别 于 传 统 的
浅层学习，深度学习的不同在于：
１）强调了模型结构
的深度，通 常 有 ５ 层、
６ 层、甚 至 １０ 多 层 的 隐 层 节
２）明确突出了 特 征 学 习 的 重 要 性，也 就 是 说，通
点；
过逐层特征变换，将 样 本 在 原 空 间 的 特 征 表 示 变 换
到一个新特征空间，从而分类或预测更加容易 ．
与人 工 规 则 构 造 特 征 的 方 法 相 比，利 用 大 数 据
来学习特征，更 能 够 刻 划 数 据 的 丰 富 内 在 信 息 ．所
以，在未来的几年 里，我 们 将 看 到 越 来 越 多 的 例 子，
深度模型应用于大数据，而不是浅层的线性模型 ．
３ 深度学习的应用
１ 语音识别
３．
语音 识 别 系 统 长 期 以 来，描 述 每 个 建 模 单 元 的
统计概 率 模 型 时 候，大 都 是 采 用 的 混 合 高 斯 模 型
ＧＭＭ）．这种模型由 于 估 计 简 单，适 合 海 量 数 据 训
（
练，同时有成熟的 区 分 度 训 练 技 术 支 持，长 期 以 来，
一直在语音识别应 用 中 占 有 垄 断 性 地 位 ．但 是 这 种
混合高斯模型本质 上 是 一 种 浅 层 网 络 建 模，不 能 够
充分描述特征的状态空间分布 ．另外，
ＧＭＭ 建 模 的
特征维数一般是几 十 维，不 能 充 分 描 述 特 征 之 间 的
相关性 ．最后 ＧＭＭ 建 模 本 质 上 是 一 种 似 然 概 率 建
模，虽然区分度训练 能 够 模 拟 一 些 模 式 类 之 间 的 区
分性，但是能力有限 ．
微软 研 究 院 的 语 音 识 别 专 家 Ｌ
ｉ 和 Ｄｏｎｇ 从
２００９ 年开 始 和 深 度 学 习 专 家 Ｈｉ
ｎｔｏｎ 合 作 ．
２０１１ 年
微软基于深度神经 网 络 的 语 音 识 别 研 究 取 得 成 果，
彻底 底 改 变 了 语 音 识 别 原 有 的 技 术 框 架 ［７］．采 用 深
度神经网络后，可以充分描述特征之间的相关性，可
以把连续多帧的语 音 特 征 并 在 一 起，构 成 一 个 高 维
特征 ．最终的深度神 经 网 络 可 以 采 用 高 维 特 征 训 练
来模拟的 ．由于深度 神 经 网 络 采 用 模 拟 人 脑 的 多 层
结果，可以逐级地进行信息特征抽取，最终形成适合
模式分类的较理想 特 征 ．这 种 多 层 结 构 和 人 脑 处 理
语音图像信息的时候，是有很大的相似性的 ．深度神
经网络的建模技术，在实际线上服务时，能够无缝地
 １８０２ 计算机研究与发展 ２０１３，５０（
９）

和传统的语音识别 技 术 相 结 合，在 不 引 起 任 何 系 统 技术，但 最 重 要 的 是 ＧＰＵ 带 来 的 计 算 能 力 提 升 和

额外耗费情况下大幅度地提升了语音识别系统的识
别率 ．其在线的使用方法具体如下：在实际解码过程
中，声 学 模 型 仍 然 是 采 用 传 统 的 ＨＭＭ 模 型，语 音
模型仍然是采用传 统 的 统 计 语 言 模 型，解 码 器 仍 然
是采用传统的动态 ＷＦＳＴ 解码器 ．但是在声学模型
的输出分布计算时，完 全 用 神 经 网 络 的 输 出 后 验 概
率除以一个 先 验 概 率 来 代 替 传 统 ＨＭＭ 模 型 中 的
ＧＭＭ 的 输 出 似 然 概 率 ．百 度 实 践 中 发 现，采 用
ＤＮＮ 进行声音建 模 的 语 音 识 别 系 统 的 相 比 于 传 统
的 ＧＭＭ 语音识别系统 而 言，相 对 误 识 别 率 能 降 低
２５％．最终在 ２０１２ 年 １１ 月的时候，上线了第一款基
于 ＤＮＮ 的语音搜索系统，成为最早采用 ＤＮＮ 技术
进行商业语音服务的公司之一 ．
国际上谷歌也采用了深度神经网络进行声音建
模，和百度一起是最 早 的 突 破 深 度 神 经 网 络 工 业 化
应用的企业之一 ．但 是 谷 歌 产 品 中 采 用 的 深 度 神 经
网络有 ４～５ 层 ［８］，而百度采用的深度神经网络多达
９ 层 ．这 种 结 构 差 异 的 核 心 其 实 是 百 度 更 好 的 解 决
了深度神经网络在 线 计 算 的 技 术 难 题，从 而 百 度 线
更多的训练数据 ．百度在 ２０１２ 年底将深度学习技术
成功应 用 于 自 然 图 像 ＯＣＲ 识 别 和 人 脸 识 别 等 问
题，并推出相应的桌面和移动搜索产品，在 ２０１３ 年，
深度学习 模 型 被 成 功 应 用 于 一 般 图 片 的 识 别 和 理
解 ．从百度的经验来看，深度学习应用于图像识别不
但大大提升了准确 性，而 且 避 免 了 人 工 特 征 抽 取 的
时间消耗，从而大大提高了在线计算效率 ．可以很有
把握地说，从现在开始，深度学习将取代人工特征 ＋
机器学习的方法而逐渐成为主流图像识别方法 ．
３ 自然语言处理
３．
除了 语 音 和 图 像，深 度 学 习 的 另 一 个 应 用 领 域
问题自然语言处理（
ＮＬＰ）．经过几十年的发展，基于
统计的模型已经成为 ＮＬＰ 的主流，但是作为统计方
法之一的人工神经 网 络 在 ＮＬＰ 领 域 几 乎 没 有 受 到
重视 ．本文作者之一 徐 伟 曾 最 早 应 用 神 经 网 络 于 语
言模型 ［１１］．加 拿 大 蒙 特 利 尔 大 学 教 授 Ｂｅｎｇ
ｉｏ等于
２００３ 年提出 用 ｅｍｂｅｄｄ
ｉｎｇ 的 方 法 将 词 映 射 到 一 个
矢量表示 空 间，然 后 用 非 线 性 神 经 网 络 来 表 示 Ｎ－
ａｍ 模型 １２ ．世界上最早的深度学习用于 ＮＬＰ 的
Ｇｒ
［ ］

上产品可以采用更 复 杂 的 网 络 模 型 ．这 将 对 于 未 来 研究工 作 诞 生 于 ＮＥＣ Ｌａｂｓ Ａｍｅ

ｒｉａ１３ ，其 研 究 员
ｃ
［ ］

拓展海量语料的 ＤＮＮ 模型训练有更大的优势 ． Ｃｏ

ｌｌｏｂ
ｅｒｔ和 Ｗｅ
ｓｔｏｎ 从 ２００８ 年 开 始 采 用 ｅｍｂｅｄｄ
ｉｎｇ
２ 图像识别
３． 和多层一维卷积的结 构，用 于 ＰＯＳｔ ａｇｇｉ ，
ｎｇ Ｃｈｕｎｋ－
图像是 深 度 学 习 最 早 尝 试 的 应 用 领 域 ．早 在 ｎｇ，Ｎａｍｅｄ Ｅｎ
ｉ ｔｉｔ
ｙ Ｒｅ
ｃｏｇｎ
ｉｔｏｎ，Ｓｅｍａｎ
ｉ ｔｉｃ Ｒｏ
ｌｅ
１９８９ 年，
ＬｅＣｕｎ （现 纽 约 大 学 教 授 ）和 他 的 同 事 们 Ｌａｂｅ
ｌｉｎｇ 等 ４ 个典型 ＮＬＰ 问 题 ．值 得 注 意 的 是，他
就发表了卷积神经网络（ ｃｏｎｖｏｌ
ｕｔｉ
ｏｎｎ ｅ
ｕｒａ
ｌｎｅｔｗｏｒｓ，
ｋ 们将同一 个 模 型 用 于 不 同 任 务，都 能 取 得 与 ｓ
ｔａｔ
ｅ－
ＣＮＮ）的工作 ＣＮＮ 是 一 种 带 有 卷 积 结 构 的 深 度 ｔ相当的准 确 率 ．最 近 以 来，斯 坦 福 大 学 教
［
９］
． ｏ
ｆ－ｔ
ｈｅ－ａ
ｒ
神经网络，通常至少有 ２ 个非线性可训练的卷积层、 授 Ｍａｎｎｉｎｇ 等人在深度学习用于 ＮＬＰ 的 工 作 也 值
２ 个 非 线 性 的 固 定 卷 积 层 （又 叫 ｐｏｏ
ｌｉｎｇｌ ｒ）和 １
ａｙｅ 得关注 ［１４］．
个全连接层，一共 至 少 ５ 个 隐 含 层 ．
ＣＮＮ 的 结 构 受 总的来说，深度学习在 ＮＬＰ 上取得的进展没有
到著名的 Ｈｕｂｅ
ｌ－Ｗｉ
ｅｓｌ生物视觉模型的启发，尤 其
ｅ 在语音图像上那么 令 人 影 响 深 刻 ．一 个 很 有 意 思 的
是 模 拟 视 觉 皮 层 Ｖ１ 和 Ｖ２ 层 中 ｓ
ｉｍｐ
ｌｅｃ
ｅｌｌ和 悖论是：相比于声音和图像，语言是唯一的非自然信
ｃｏｍｐ
ｌｅｘｃ
ｅｌｌ的行为 ．在很长时间里，
ＣＮＮ 虽然在小 号，是完全由人类大脑产生和处理的符号系统，但是
规模的问题上，比如说手写数字，取得当时世界最好 模仿人脑结构的人工神经网络确似乎在处理自然语
结 果，但 一 直 没 有 取 得 巨 大 成 功 ．这 主 要 原 因 是 言上没有显现明显优势？我们相信深度学习在 ＮＬＰ
ＣＮＮ 在大规模图像上效果不好，比如像素很多的自 方面有很大的探索空间 ．从 ２００６ 年图像深度学习成
然图片内容理解，所 以 没 有 得 到 计 算 机 视 觉 领 域 的 为学 术 界 热 门 课 题 到 ２０１２ 年 １０ 月 Ｈｉ
ｎｔｏｎ 在
足够 重 视 ．这 个 情 况 一 直 持 续 到 ２０１２ 年 １０ 月， ｔ上 的 重 大 突 破，经 历 了 ６ 年 时 间 ．我 们 需
ＩｍａｇｅＮｅ
Ｈｉ
ｎｔｏｎ 和他的两个学生在著名的 ＩｍａｇｅＮｅ
ｔ问题上 要有足够耐心 ．
用更深的 ＣＮＮ 取 得 世 界 最 好 结 果，使 得 图 像 识 别 ４ 搜索广告 ＣＴＲ 预估
３．
大踏步前进 ［
１０］
．在 Ｈｉ
ｎｔｏｎ 的模型里，输入就 是 图 像 搜索 广 告 是 搜 索 引 擎 的 主 要 变 现 方 式，而 按 点
的像素，没有用到任何的人工特征 ． 击付费（
ｃｏｓ
ｔｐｅｒｃｌｃｋ，ＣＰＣ）又 是 其 中 被 最 广 泛 应
ｉ
这个惊人的结果为什么在之前没有发生？原因 用的计费模式 ．在 ＣＰＣ 模式下，预估的 ＣＴＲ （ ｐＣＴＲ）
当然包 括 算 法 的 提 升，比 如 ｄ
ｒ ｔ等 防 止 过 拟 合
ｏｐｏｕ 越准确，点击率就会越高，收益就越大 ．通常，搜索广
余 凯等：深度学习的昨天、今天和明天
告的 ｐＣＴＲ 是 通 过 机 器 学 习 模 型 预 估 得 到 ．提 高
ｐＣＴＲ 的 准 确 性，是 提 升 搜 索 公 司、广 告 主、搜 索 用
户三方利益的最佳途径 ．
传统上，谷 歌、百 度 等 搜 索 引 擎 公 司 以 ｌ
ｏｇｉ
ｓｔｉ
ｃ 语言深度模型，似乎 都 存 在 深 度 和 卷 积 等 共 同 的 信
ｒ
ｅｇｒ
ｅｓｓ
ｉ ＬＲ）作为预估模型 ．而从 ２０１２ 年开始，
ｏｎ （
百度开始意识到模 型 的 结 构 对 广 告 ＣＴＲ 预 估 的 重
要性：使用扁平 结 构 的 ＬＲ 严 重 限 制 了 模 型 学 习 与
抽象特征的能力 ．为了突破这样的限制，百度尝试将
ＤＮＮ 作用于搜索广告，而这其中最大的挑战在于当
前的计算能力还无法接受 １０１１ 级别的原始广告特征
作为输入 ．作 为 解 决，在 百 度 的 ＤＮＮ 系 统 里，特 征
数从 １０ 数量级被降到了 １０ ，从而能被 ＤＮＮ 正 常
１１ ３
的学习 ．这套深度学习系统已于 ２０１３ 年 ５ 月开始服
务于百度搜索广告系统，每天为数亿网民使用 ．
ＤＮＮ 在搜索广 告 系 统 中 的 应 用 还 远 远 没 到 成
熟，其中 ＤＮＮ 与 迁 移 学 习 的 结 合 将 可 能 是 一 个 令
人振 奋 的 方 向 ．使 用 ＤＮＮ，未 来 的 搜 索 广 告 将 可 能
借助网页搜索的结 果 优 化 特 征 的 学 习 与 提 取；亦 可
能通过 ＤＮＮ 将 不 同 的 产 品 线 联 系 起 来，使 得 不 同
的变现产品不管数据多少，都能互相优化 ．我们认为
未来的 ＤＮＮ 一 定 会 在 搜 索 广 告 中 起 到 更 重 要 的
作用 ．
４ 深度学习研发面临的重大问题
１ 理论问题
４．
理论 问 题 主 要 体 现 在 两 个 方 面，一 个 是 统 计 学
习方面的，另一个 是 计 算 方 面 的 ．我 们 已 经 知 道，深
度模型相比较于浅层模型有更好的对非线性函数的
表示能力 ．具体来 说，对 于 任 意 一 个 非 线 性 函 数，根
据神经网络的 ｕｎ
ｉｖｅ
ｒｓａ
ｌａｐｐｒ
ｏｘｉｍａ
ｔｉｏｎｔ
ｈｅｏ
ｒｙ，我们
一定能找到一个浅层网络和一个深度网络来足够好
的表示 ．但是某些类函数，深度网络只需要少得多的
参数就可以表示 ．但 是，可 表 示 性 不 代 表 可 学 习 性 ．
我们需要了解深度 学 习 的 样 本 复 杂 度，也 就 是 我 们
需要多少训练样本 才 能 学 习 到 足 够 好 的 深 度 模 型 ．
在另一方面来说，我 们 需 要 多 少 的 计 算 资 源 才 能 通
过训练得到更好的 模 型，理 想 的 计 算 优 化 方 法 是 什
么？由于深度模型 都 是 非 凸 函 数，这 方 面 的 理 论 研
究极其困难 ．
２ 建模问题
４．
在推进深度学习的学习理论和计算理论的同时，
我们是否可以提出 新 的 分 层 模 型，使 其 不 但 具 有 传
统深度模型所具有 的 强 大 表 示 能 力，而 且 具 有 其 他
１８０３
的好处，比如更容 易 做 理 论 分 析 ．另 外，针 对 具 体 应
用问题，我们如何设 计 一 个 最 适 合 的 深 度 模 型 来 解
决问题？我们已经看到，无论在图像深度模型，还是
息处理结构 ．甚至对于语音声学模型，研究人员也在
探索卷积深度网络 ．那么一个更有意思的问题是，是
否存在可能建立一个通用的深度模型或深度模型的
建模语言，作为统一的框架来处理语音、图像和语言？
另外，对 于 怎 么 用 深 度 模 型 来 表 示 象 语 义 这 样
的结构化的信息还 需 要 更 多 的 研 究 ．从 人 类 进 化 的
角度来看，语言的能 力 是 远 远 滞 后 于 视 觉 和 听 觉 的
能力而发展的 ．而除了人类以外，还有很多动物具有
很好的识别物体和 声 音 的 能 力 ．因 此 从 这 个 角 度 来
说，对于神经网络这样的结构而言，语言相较于视觉
和听觉是更为困难 的 一 个 任 务 ．而 成 功 的 解 决 这 个
难题对于实现人工智能是不可缺少的一步 ．
３ 工程问题
４．
需要指出的是，对于互联网公司而言，如何在工
程上利用大规模的并行计算平台来实现海量数据训
练，是各个公司从事 深 度 学 习 技 术 研 发 首 先 要 解 决
的问题 ．传统的大数 据 平 台 如 Ｈａｄｏｏｐ，由 于 数 据 处
理的ｌ
ａｔ ｙ 太高，显然不适合需要频繁迭代的深度
ｅｎｃ
学习 ．现有成 熟 的 ＤＮＮ 训 练 技 术 大 都 是 采 用 随 机
ＳＧＤ）方 法 训 练 的 ．这 种 方 法 本 身 不 可 能 在
梯度法（
多个 计 算 机 之 间 并 行 ．即 使 是 采 用 ＧＰＵ 进 行 传 统
的 ＤＮＮ 模型进 行 训 练，其 训 练 时 间 也 是 非 常 漫 长
的 ．一般训练几千小 时 的 声 学 模 型 所 需 要 几 个 月 的
时间 ．而随着互联网服务的深入，海量数据训练越来
越重要，
ＤＮＮ 这种缓慢的训练速度必然不能满足互
联网服务应 用 的 需 要 ．谷 歌 搭 建 的 Ｄｉ
ｓｔＢｅ
ｌｉｆ，是 一
ｅ
个采用普通服务器 的 深 度 学 习 并 行 计 算 平 台，采 用
异步算法，由很多的 计 算 单 元 独 立 的 更 新 同 一 个 参
数服务器的模型参 数，实 现 了 随 机 梯 度 下 降 算 法 的
并行化，加快了模型训练速度 ．与谷歌采用普通服务
器不同，百度的多 ＧＰＵ 并行计算的计算平台，克 服
了传统 ＳＧＤ 训练的不能并行的技术难题，神经网络
的训练已经可以在 海 量 语 料 上 并 行 展 开 ．可 以 预 期
未来随着海 量 数 据 训 练 的 ＤＮＮ 技 术 的 发 展，语 音
图像系统的识别率还会持续提升 ．
目前最大的深度模型所 包 含 的 参 数 大 约 在 １００
亿的数量级，还不及人脑的万分之一 ．而由于计算成
本的限制，实际运用 于 产 品 中 的 深 度 模 型 更 是 远 远
低于这个水平 ．而深度模型的一个巨大优势在于，在
有海量数据的情况 下，很 容 易 通 过 增 大 模 型 来 达 到
１８０４ 计算机研究与发展 ２０１３，５０（
９）

更高的准确率 ．因此，发展适合深度模型的更高速的 ［
１０］ Ｌａ
ｒｇｅ Ｓｃ
ａｌｅ Ｖｉ
ｓｕａ
ｌ Ｒｅ
ｃｏｇｎ
ｉｔｉ
ｏｎ Ｃｈａ
ｌｌｅｎｇｅ ２０１２
（
ＩＬＳＶＲＣ２０１２）［
ＯＬ］． ［
２０１３－０８－０１］．ｈ
ｔｔｐ：?ｗｗｗ．
ｉｍａｇｅ－
硬件也将是提高深度模型的识别率的重要方向 ． ?
ｎｅ
ｔ．ｏ
ｒｇｃｈａ
? ｌｌｅｎｇｅ
ｓ?ＬＳＶＲＣ
?２０１２
?
［
１１］ Ｘｕ Ｗ， Ｒｕｄｎ
ｉｃｋｙ Ａ．Ｃａｎ ａ
ｒｔｉ
ｆｉｃ
ｉａｌ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋ ｌ
ｅａｒ
ｎ
５ 总 结
ｌ
ａｎｇｕａｇｅ ｍｏｄｅ
ｌｓ ［
Ｃ］ ?
?Ｐｒ
ｏｃｏ
ｆＩｎ
ｔ Ｃｏｎ
ｆ ｏｎ Ｓ
ｔａｔ
ｉｓｔ
ｉｃａ
ｌ
ＬａｎｇｕａｇｅＰｒ
ｏｃｅ
ｓｓｎｇ．２０００：１－１３
ｉ
深度 学 习 带 来 了 机 器 学 习 的 一 个 新 浪 潮，受 到 ［
１２］ Ｂｅｎｇ
ｉｏ Ｙ， Ｄｕｃｈａ
ｒｍｅ Ｒ， Ｖｉ
ｎｃ ｔ Ｐ， ｅ
ｅｎ ｔａｌ． Ａ ｎｅｕｒ
ａｌ
从学术届到工业界的广泛重视，也导致了“大数据 ＋ ｒ
ｐｏｂａｂ
ｉｌｉ
ｓｔｉ
ｃｌ ｌ ［
ａｎｇｕａｇｅ ｍｏｄｅ Ｊ］． Ｊ
ｏｕｒ
ｎａｌ ｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ
深度模型”时代的 来 临 ．在 应 用 方 面，深 度 学 习 使 得 Ｌｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２００３，３：１１３７－１１５５

语音图像的智能识 别 和 理 解 取 得 惊 人 进 展，从 而 推 ［
１３］ Ｃｏ
ｌｌｏｂｅ
ｒｔＲ，Ｗｅ
ｓｔｏｎＪ，Ｂｏ
ｔｔｏｕ Ｌ，ｅ
ｔａｌ．Ｎａ
ｔｕｒ
ａｌｌ
ａｎｇｕａｇｅ
ｒ
ｐｏｃ
ｅｓｓ
ｉｎｇ （Ａｌｍｏ
ｓｔ）ｆ
ｒｏｍ ｓ
ｃｒａ
ｔｃｈ ［
Ｊ］．Ｊ
ｏｕｒ
ｎａｌｏ
ｆ Ｍａ
ｃｈｉ
ｎｅ
动人工智能和人 机 交 互 大 踏 步 前 进 ．同 时 ｐＣＴＲ 这
Ｌｅ
ａｒｎ
ｉｎｇＲｅ
ｓｅａ
ｒｃｈ，２０１１，１２：２４９３－２５３７
样的复杂机器学习 任 务 也 得 到 显 著 提 升 ．如 果 我 们
［
１４］ Ｓｏ ｒＲ，Ｌ
ｃｈｅ ｉｎＣ，Ｎｇ Ａ．Ｐａ
ｒｓｉ
ｎｇｎａ
ｔｕｒ
ａｌｓ
ｃｅｎｅ
ｓａｎｄｎａ
ｔｕｒ
ａｌ
能在理论、建 模 和 工 程 方 面，突 破 深 度 学 习 技 术 面
ａｎｇｕａｇｅ ｗｉ
ｌ ｔｈｒ
ｅｃｕｒ
ｓｉｖｅｎｅｕｒ
ａｌ Ｎｅ ｒｋｓ ［
ｔｗｏ Ｃ］?
?Ｐｒ
ｏｃｏ
ｆｔｈｅ
临一系列难题，我们 将 大 大 加 速 推 进 人 工 智 能 向 前 ２８
ｔｈＩ
ｎｔＣｏｎ
ｆｏｎ Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉ ｒｍａｎｙ：Ｉ
ｎｇ．Ｇａ ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌ
发展 ． Ｍａ
ｃｈｉ
ｎｅＬｅ
ａｒｎ
ｉｎｇＳｏ
ｃｉｅ
ｔｙ，２０１１

参 考 文 献 Ｙｕ Ｋａ
ｉ． Ｒｅ
ｃｅｉ
ｖｅｄ ｈ
ｉｓ ＰｈＤ ｆ
ｒｏｍ ｔ
ｈｅ
Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙｏ
ｆ Ｍｕｎ
ｉｃｈｉ
ｎ２００４．Ｐｒ
ｏｆｅ
ｓｓｏ
ｒ．
［
１］ Ｍａ
ｒｋｏ
ｆｆＪ．Ｈｏｗ ｍａｎｙｃ
ｏｍｐｕ
ｔｅｒ
ｓｔｏｉ
ｄｅｎ
ｔｉｆ
ｙａｃ
ａｔ？［
Ｎ］Ｔｈｅ Ｈｉ
ｓ ｍａ
ｉｎ ｒ
ｅｓｅ
ａｒｃｈ ｉ
ｎｔｅ
ｒｅｓ
ｔｓ ｉ
ｎｃｌ
ｕｄｅ
Ｎｅｗ Ｙｏ ｓ，２０１２－０６－２５
ｒｋ Ｔｉｍｅ ｍａ
ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｉｎｇ，ｉｍａｇｅｐ
ｒｏｃ
ｅｓｓ
ｉｎｇ，ｅ
ｔｃ．
［
２］ Ｍａ
ｒｋｏ
ｆｆＪ．Ｓｃ
ｉｅｎ
ｔｉｓ
ｔｓｓ
ｅ ｒ
ｅｐｏｍｉ
ｓｅｉ
ｎｄｅ
ｅｐ－ｌ
ｅａｒ
ｎｉ ｒ
ｎｇｐｏｇ
ｒａｍｓ
［
Ｎ］．ＴｈｅＮｅｗ Ｙｏ ｓ，２０１２－１１－２３
ｒｋ Ｔｉｍｅ
［
３］ Ｌ
ｉＹａｎｈｏｎｇ．Ｔｏ ｂｅ
ｌｉｅｖｅｉ
ｎｔｈｅ ｐｏｗｅ
ｒｏｆｔ
ｅｃｈｎｏ
ｌｏｇｙ ［
Ｒ］．
Ｊ
ｉａＬｅ
ｉ．Ｒｅ
ｃｅｉ
ｖｅｄｈ
ｉｓＰｈＤｄｅｇ
ｒｅｅｉ
ｎｓｐｅ
ｅｃｈ
Ｂｅ
ｉｉ
ｊｎｇ：Ｂａ
ｉｄｕ，２０１３ （
ｉｎＣｈ
ｉｎｅ
ｓｅ）
（李彦宏 ．２０１２ 百度年会主题报告：相信技术的力量［
ｒ
ｅｃｏｇｎ
ｉｔｏｎ ｆ
ｉ ｒｏｍ ｔ
ｈｅ Ｉ
ｎｓｔ
ｉｔｕ
ｔｅ ｏ
ｆ
Ｒ］．北
京：百度，２０１３） Ａｕ
ｔｏｍａ
ｔｉｏｎ， Ｃｈ
ｉｎｅ
ｓｅ Ａｃ
ａｄｅｍｙ ｏ
ｆ
４］ １０Ｂｒ
［ ｅａｋ
ｔｈｒ
ｏｕｇｈ Ｔｅ
ｃｈｎｏ
ｌｏｇ
ｉｅｓ２０１３ ［
Ｎ］．ＭＩＴ Ｔｅ
ｃｈｎｏ
ｌｏｇｙ Ｓｃ
ｉｅｎｃ
ｅｓ，ｉ
ｎ ２００３． Ｈｉ
ｓ ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈ
Ｒｅｖ
ｉｅｗ，２０１３－０４－２３ ｉ
ｎｔｅ
ｒｅｓ
ｔｓ ｉ
ｎｃｌ
ｕｄｅ ｓｐｅ
ｅｃｈ ｒ
ｅｃｏｇｎ
ｉｔｏｎ，
ｉ
［
５］ Ｒｕｍｅ
ｌｈａ
ｒｔ Ｄ， Ｈｉ
ｎｔｏｎ Ｇ， Ｗｉ
ｌｌ
ｉａｍｓ Ｒ． Ｌｅ
ａｒｎ
ｉｎｇ ｍａ
ｃｈｉ
ｎｅｌ
ｅａｒ
ｎｎｎｇ， ｄ
ｉ ｉ ｉ
ｔａｌｓ
ｉ
ｇ ｇｎａ
ｌｐｒ
ｏｃｅ
ｓｓｎｇ ａｎｄ ｎａ
ｉ ｔｕａ
ｌ
ｒ
ｅｐｒ
ｅｓｅｎ
ｔａｔ
ｉｏｎｓ ｂｙ ｂａ
ｃｋ－ｐ
ｒｏｐａｇａ
ｔｉｎｇ ｅ
ｒｒｏ
ｒｓ［
Ｊ］． Ｎａ
ｔ ｅ，
ｕｒ
ｌ
ａｎｇｕａｇｅｐ
ｒｏｃ
ｅｓｓ
ｉｎｇ．
１９８６，３２３（
６０８８）：５３３－５３６
［
６］ Ｈｉ
ｎｔｏｎ Ｇ，Ｓａ
ｌａｋｈｕ
ｔｄｉ
ｎｏｖＲ．Ｒｅｄｕｃ
ｉｎｇｔ
ｈｅｄ
ｉｍｅｎｓ
ｉｏｎａ
ｌｉｔ
ｙｏｆ
Ｃｈ
ｅｎＹｕｑ
ｉａｎｇ．Ｒｅ
ｃｅｉ
ｖｅｄｈ
ｉｓ Ｍａ
ｓｔｅ
ｒｄｅｇ
ｒｅｅ
ｄａ
ｔａ ｗｉ
ｔｈ ｎｅｕｒ
ａｌｎｅ ｒｋｓ ［
ｔｗｏ Ｊ］．Ｓｃ
ｉ ｅ，２００６，３１３（
ｅｎｃ ５０４）．
ｉ：
Ｄｏ
ｆ
ｒｏｍ Ｓｈａｎｇｈａ
ｉ Ｊ
ｉａｏ
ｔｏｎｇ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙ．
１０．
１１２６
?ｓｃ
ｉｅｎｃ
ｅ．１１２７６４７
［
７］ Ｄａｈ
ｌＧ，Ｙｕ Ｄｏｎｇ，Ｄｅｎｇ Ｌ
ｉ，ｅ
ｔａｌ．Ｃｏｎ
ｔｅｘ
ｔ－ｄｅｐｅｎｄｅｎ
ｔｐｒ
ｅ－ Ｅｎｇ
ｉｎｅ
ｅｒ． Ｈｉ
ｓ ｍａ
ｉｎ ｒ
ｅｓｅ
ａｒｃｈ ｉ
ｎｔｅ
ｒｅｓ
ｔｓ
ｔ
ｒａｉ
ｎｅｄ ｄｅ
ｅｐ ｎｅｕｒ
ａｌ ｎｅ
ｔｗｏ
ｒｋｓ ｆ
ｏｒｌ
ａｒｇｅ ｖｏ
ｃａｂｕ
ｌａｒ
ｙ ｓｐｅ
ｅｃｈ ｉ
ｎｃｌ
ｕｄｅｍａ
ｃｈｉ
ｎｇｌ
ｅａｒ
ｎｉｎｇ．
ｒ
ｅｃｏｇｎ
ｉｔｏｎ ［
ｉ Ｊ］． ＩＥＥＥ Ｔｒ
ａｎｓ ｏｎ Ａｕｄ
ｉｏ， Ｓｐｅ
ｅｃｈ， ａｎｄ
ＬａｎｇｕａｇｅＰｒ
ｏｃｅ
ｓｓｎｇ．２０１２，２０（
ｉ １）：３０－４２
［
８］ Ｊ
ａｉｔ
ｌｙ Ｎ， Ｎｇｕｙｅｎ Ｐ， Ｎｇｕｙｅｎ Ａ，ｅ
ｔａｌ． Ａｐｐ
ｌｉｃ
ａｔｉ
ｏｎ ｏ
ｆ
Ｘｕ Ｗｅ
ｉ．Ｒｅ
ｃｅｉ
ｖｅｄｈ
ｉｓ Ｍａ
ｓｔｅ
ｒｄｅｇ
ｒｅｅｆ
ｒｏｍ
ｒ
ｐｅｔ
ｒａｉ
ｎｅｄｄｅ
ｅｐ ｎｅｕｒ
ａｌｎｅ
ｔｗｏ
ｒｋｓｔ
ｏｌａ
ｒｇｅｖｏ
ｃａｂｕ
ｌａｒ
ｙｓｐｅ
ｅｃｈ
Ｃａ
ｒｎｅｇ
ｉｅ Ｍｅ
ｌｌｏｎ Ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙｉ
ｎ ２００１．Ｈｉ
ｓ
ｒ
ｅｃｏｇｎ
ｉｔｏｎ ［
ｉ Ｃ］?
?Ｐｒ
ｏｃｏ
ｆＩｎ
ｔｅｒ
ｓｐｅ
ｅｃｈ， Ｇｒ
ｅｎｏｂ
ｌｅ，Ｆｒ ｅ：
ａｎｃ
ｍａ
ｉｎｒ
ｅｓｅ
ａｒｃｈ ｉ
ｎｔｅ
ｒｅｓ
ｔｓｉ
ｎｃｌ
ｕｄｅ ｃ
ｏｍｐｕ
ｔｅｒ
Ｉ
ｎｔｅ
ｒｎａ
ｔｉｏｎａ
ｌＳｐｅ
ｅｃｈＣｏｍｍｕｎ
ｉｃａ
ｔｉｏｎ Ａｓ
ｓｏｃ
ｉａｔ
ｉｏｎ，２０１２
［
９］ ＬｅＣｕｎ Ｙ，Ｂｏ
ｓｅｒ Ｂ， Ｄｅｎｋｅ
ｒ Ｊ Ｓ，ｅ
ｔａｌ．Ｂａ
ｃｋｐ
ｒｏｐａｇａ
ｔｉｏｎ ｖ
ｉｓｏｎ， ｄａ
ｉ ｔａ ｍｉ
ｎｉｎｇ， ｍａ
ｃｈｉ
ｎｇ ｌ
ｅａｒ
ｎｉｎｇ

ａｐｐ
ｌｉｅｄ ｔ
ｏ ｈａｎｄｗｒ
ｉｔｔ
ｅｎ ｚ
ｉｐｃ
ｏｄｅ ｒ
ｅｃｏｇｎ
ｉｔｏｎ ［
ｉ Ｊ］． Ｎｅｕｒ
ａｌ ｅ
ｓｐｅ
ｃｉａ
ｌｌｙｄｅ
ｅｐｌ
ｅａｒ
ｎｉｎｇ．
Ｃｏｍｐｕ
ｔａｔ
ｉｏｎ，１９８９，１：５４１－５５１