・

６４ ・
　 人类工效学 ２０
０９年 ６月第 １
５卷第 ２期　

文章编号 ：
１０ｏ６—
８３ｏ９（
２ｏ０
９）０
２　 ４－
０３　

语音情绪识别的应用和基础研究　
林 菡　 ，张侃 ’
　
（１．中国科 学院 心理研 究所脑 与认 知科 学 国家重点 实验 室 ，
北 京　 ｌ
ｏ０ｌ
０１；
　
２．中国科 学院 研 究生院 ，北京 １
０００４９）
　

摘要 ：
文章介绍了语 音情绪识别的主要 应用领域 ，
着重分析了其中基础研究 的关键问题 和研究现状 ，
并探　
讨了未来研究的方向。
　
关键词 ：
语音 ；
情绪识别 ；
情感计算　 ’
　
中 图分 类 号 ：
Ｂ８４９；
ＴＰ３
９１．
４２　 文 献标 识 码 ：
Ａ　

１
　 引言　 乐性的同时， 突破了听觉信息单一性的限制。 　
作为表 达 个人 信 息 的最 明显 和最 直 接 的方　 类似 的语 音 的情 绪识 别 技 术 能追 踪 远 程 教　
式之一 ，语音是传递情绪的最精确和最具有多样　 学 中学 习者 的情绪 ，当学 习者 因遇 到 难题 或 无法　
性 的媒介 … 。从 本质 上说 ，
从 语音 中识 别 出说 话　 理解 的材料 而表 现 出焦虑 和 不满 时 ，
老 师或 系统　
人 的情绪状 态是一 个 模式 识别 问题 ，
需 要 情 绪 的　 可 以调整教学方式和进度 ，
或给予情绪调节指导　ｊ
。　
分类 ，情绪语音 的特征， 以及这两者之 间的对应　 ２．
３ 驾驶 系统　
关 系 。这是 技术 实现 的基础 。 因此 ，
本文 在 关 注　 随着语 音交 互设备 在 车 载 系统 的普 及 ，
语 音　
语 音情绪识 别技 术应 用 价值 的 同时 ，
主要 总结 了　 情 绪识别 功能也 开始 用 于监 控情 绪 、
保 障驾 驶 安　
基础研究 的关键 问题 以及 未来研 究 的趋 势 。
　 全 。研究 发现 ，
积极 的情 绪可 以促 使 驾 驶者 更 好　
２ 语音情 绪识别 的应 用　 地 驾驶 ，
减少危 险驾 驶 的行 为 。当 驾驶 者处 于 情　
２．１
　 电话服务　 绪不稳 定 的状 态 时 ，系统 可 以给 予 提 醒 ，或 者 自　
由于只能依 赖语 音获 取 信 息 ，电话 服务 是 最　 动调节 驾驶参 数 以防止 事 故 的发生 ；系统 也可 以　
需要语 音情绪识 别技 术 的领域 之 一 。一方 面 ，电　 根据驾 驶者 的情绪 提供 关 怀式 的语 音 ，
提 高驾 驶　
话服 务需要处 理顾 客 的抱怨 ，
而 语音 系统 能 自动　 体验　．
ｏ
　Ｊ。一项近 期研发 的 系统 能较 准确 地识 别　
地探 测到这种 情绪 ，
及 时提 醒客 服 人员 注 意 服务　 厌烦 、
愉 悦 、惊 讶 、受 挫 或 愤 怒 、
悲伤 或痛苦这 ５
　
态度 ，
提供 相 应 的关 怀 和 帮 助 。另 一 方 面 ，电话　 类情 绪 ，
并且 当车 载 系统 发 出的语 音 与驾 驶 者 的　
自助 服务在识 别客 户请 求 的 同时 ，
如果 能 够 根据　 情绪 匹配 时 ，
驾驶 的安全 性会得 到提高　ｊ。
　
客户 的情绪 做 出快 速 和适 当的响 应 ，
则能 使 人机　 ２．
４ 测谎 与安检　
之间的交互更加 自然 ，
提高亲和力。例如 ，
当机　 人类 有 目 的 的 行 为 始 终 包 含 着 情 绪 的 因　
器检测 到用户受 挫或 生气 的时候 ，
可 以 自动 给 予　 素＂］。因此 ，
在 犯 罪 测 谎 和 安 全 监 测 活 动 中 ，利　
提示　 。
　 用罪犯 特有 的情 绪 特 征 可 以 更有 效 地 识 别 出犯　
２．
２ 远 程 交 流　 罪者 。特别 是 当人 在 欺 骗他 人 的 时候 往 往 处 在　
在语 音通 讯工具 上 赋予 情 绪识 别 的功 能 ，
可　 应激状 态 ，
发 音会 发 生改 变　 。语 音 自动 识别 系　
以帮助通话 双方及时 了解 彼此 的情 绪、促进交　 统能辅助测谎仪根据话语 的节律 、
音调 、
紧张度　
流 。一款手 机 语 音 智 能助 手 能结 合 语 音 情 绪 识　 等 检测 出说 话者 由于隐 瞒事 实 而产 生 的 紧张 、
焦　
别，
分析出通话对 象 的喜 爱程度 、 真诚度 、 疲倦　 虑 或者负 罪感 。
　
度、
欺 骗程 度 和 友 好 度 －
３ｊ，在 增 加 手 机通 话 的娱　 与此同时 ，
安检系统则可 以利用犯罪分子普　

作者简介 ：
林菡（１
９８４一　 ），
女 ，四川 乐山人 ，
硕士研 究生 ，
研 究方 向 ：
工程 心理学 ，
（电话 ）
叭０—６
４８３
６０４
７（电子信　
箱）
ｌｉｎ
ｈ＠ｐ
ｓｙｃ
ｈ．ａ
ｃ．ｃ
ｎ。　
人类工效学 ２ｏ
０９年鱼
　 筮　 鲞　
・
６５ ・
　

遍 拥有 的另 一 情 绪 特 征— — 害 怕 被 捕 。让 受 检　 征受到情绪 的影响最明显¨
　。 目前 ，
语音情绪识　
者 回答设 定好 的 问题 ，
计 算机 通 过 录 音 自动 检 测　 别常采用以下韵律特征 ： 基频 ｆ １
Ｄ（均值 、范围和最　
出这种情 绪 。这 项 技 术 虽 不 能 取 代 现 有 的 安 检　 大最 小 值 等 ）
　＇好，
　］、能 量 （均 值 、范 围 和 方 差　
措施 ，
但如果 提高识别率 ，
将 能有效 地提高安检　 等）
　＇“’
”］、语 速 （一 个 时 间 段 内 说 出 的 字　
的效率 和检测 率 。
　 数）
　川 、和 流 利 程 度 （韵 律 词 之 间 的 停 顿 时　
３
　 语音情 绪 识别 的基础 研究　 间）¨¨等。研究 发现 情绪 的愉悦 度 与　 的均　
虽然语音情绪识别有着如此重要 的作用 ，
但　 值、最大值 、
范围有显著 的正相关 ，
而激活度还与　
目前其 实 际 应 用 范 围还 比较 窄 。若 要 发 展 语 音　 Ｆ０的最小值 呈正相 关¨
　。另有研究表 明，
愉悦　
情 绪识别 技 术 、提 高 其 识 别 率 和应 用 价 值 ，
还 需　 和愤 怒 的 Ｆ
Ｄ均 值 高 于 其 他情 绪 ；
愉 悦 的 短 时 能　
要 从基 础研究 问题 人手 。
　 量增强 ，语速变快 ； 愤怒状态下的基频提高最 多； 　
３．１ 情 绪 的分类　 悲哀 的短 时 能量 均 值 接 近 平 静 状态 ¨　。除 此 以　
关于情绪的分类 ，
研究者们并没有统一 的标　 外 还有 音质 特征 也用 于 区分不 同 的情 绪 …’
¨　。
　
准 。多数 研究 者认 同人 类 具 有 ６种基 本 情 绪 ：
快　 虽 然特 定 的情 绪 下 会 表 现 出某 些 特 定 的声　
乐、
兴趣 、
厌恶 、
恐惧 、
痛 苦 （悲 伤 ）和 愤 怒　 。但　 学特 征 ，
然 而 语 音 的情 绪 识 别 是 一 个 逆 命 题 ，即　
语 音 的情 绪 识 别 研 究 大 多采 用 的是 中性 、快 乐 、
　 从 声 学特 征 反 推 出情 绪 的类 别 。 由 于这 些 特 征　
悲 伤和 愤 怒 这 四 种 区 分 度 大 的情 绪 。也 有 研 究　 并 不 是和情 绪 一一 对 应 的 ，
并 且 特 征是 多 样 和 多　
者 采用 五种 、六 种或 者八 种情 绪　’ 加Ｊ。　 变 的，
选取 合适 的特 征集是 识别 的关键 …　。
　
另一类 情 绪 的分 类 方 法 是层 级式 的 ，即首 先　 ３．
４ 情绪 语音 库　
划 分情绪 的维 度 ，
再 根 据 情 绪在 各 维 度 上 盼 隋况　 情绪语 音库 为 识 别 提供 训 练 集 。样 本越 大 ，
　
确 定 出高层 次 的 情绪 。研 究 广 泛 采 用 ＰＡＤ情 绪　 最 后计 算 的结 果 越 不 易 受 个 体 和 背 景 的 影 响 。
　
三 维度模 型　 “］：愉 悦 度 （Ｐｌ
ｅａｓ
ｕｒｅ）表 示 情 感 状　 一

般说 来 ，
情绪语 音 库 中的语 音 片段 主要 通 过两　
态 的正 、
负 特性 （高兴 的 一不高 兴 的 ），
激 活 度 （Ａ—
　 种 方式 获 取 。 一 种是 由专 业 或 业 余 演 员 在 模 拟　
ｍｕｓ
ａ１）表 示情 感 的神 经 生理 激 活水 平 （激 活 的 一
　 真实情绪状态下朗读设计好的文字　川 。这种方　
非 激活 的 ），
优 势度 （Ｄｏ
ｍｉｎａ
ｎｃｅ）表 示 个 体对 情 景　 法 容 易控 制 ，
操作简单 ，
但 跟 现 实 的情 绪 表 达有　
和他 人 的控制状 态 （主控 的 一受 控 的 ）¨
　。　 差 距 。另一 种是 从广 播 、电视 、电话 、网络 等 媒体　
一

项 比较 研 究 发 现 ，不 管 采 用 哪 种 分 类 方　 收 集现 实 生 活 中人 们 的 自然 语 言　 。但 这 种 方　
法，
最 终 的情绪 识别 率 相 近 。其 中 对愤 怒 和 悲 伤　 式 收集 到 的 语 音 背 景 音 复 杂 ，
处理起来 难度大。
　
这两种 情绪 的识 别 率 最 高 ，
均 在 ９Ｏ％ 以上 ，而 其　 比较发现 ：
基于 自然语音库 的识别率偏低 ，
但基　
他情 绪 的识 别率 则在 ５０％左 右　 。
　 于模拟语音库的识别率被夸大， 对强烈的情绪识　
３．２ 情绪 分析 方法　 别 率高 于对 中性情 绪 的识别 率　］。
　
从 话语 中识 别 出说 话 人 的 情 绪 可 以从 两 方　 ４ 未来 研 究方 向　
面进行 分 析 ：语 言 学 分 析 和 副 语 言 学 分 析　，
”ｊ。
　 ４．１
　 发展 情 绪理论 研 究　
前 者指 根 据 用 词 来 提 取 话 说 者 的情 绪 特 征 。如　 目前 的研究 多 数还 停 留在 基本 情 绪 的 层 面 ，
　
词 语 “惊 讶 ”表 达高 激活 度 ，
“内疚 ”表达低 愉 悦度　 较少 涉及 复 合 情 绪 ，比如 焦 虑 、爱 等 ＂］
。 如 何 定　
等 。而 副语 言分析 则 针对 话 语 内容 以外 的信 息 ，
　 义和区分这些情 绪应 当是 未来研究 的重点 。另　
如 音高 、
强度 等等 。对 两 个分 析 过 程 的 整合 是 一　 外，
不 同领 域 针 对 的 情 绪 也 有 所 不 同 。因 此 ，
应　
个难 题 。一般认 为 ，
副 语 言学 分 析 能 提供 更 可 靠　 根 据 系统 的应用 场 景 ，
有针 对 性 地 研究 。这 可 以　
和有 效 的信 息 ，而语 言学 分 析 存 在 混 淆 的结 论 。
　 从 两方 面 进 行 。一 是 收 集 真 实场 景 下 人 群 的声　
例如，
同一个词语用不同的语调说出来则代表不　 音 数据 ，
进 行 情 绪 的 评 定 和 归 类 ，二 是 利 用 模 拟　
同的情绪。因此 ，
大多数 系统只采用 了副语言分　 场 景诱发 相应 的情 绪 ，比如 用 户在 软 件使 用过 程　
析过 程 。
　 中产生的愤怒 、
挫败感等 。对情绪 的归类 可以采　
３．３ 情绪 语音 的特征　 用多种方法 ，
并结合特征分析结果选取最有效的　
心理学 和语 言学 的研 究 发 现 ，
语 音 的 韵 律特　 方式 。
　
 ・
６６ ・
　 人类工效学 ２ｏ
０９年 ６月第 １
５卷第 ２期　

４．
２ 提 高情绪语 音的特征 分析　 情绪 的语 音 识 别 可 以提 高 人 机 交 互 的 效 用　
关 于情 绪 的 声 学 特 征 尚没 有 明确 的 界 定 。
　 和友好性 、
促进 身份 识 别和 检测 。作 为 情感 计 算　
在众多特 征 中 ，
哪些 才是 与情 绪 的表 现 最相 关并　 的热 门课 题 ，
这项 技 术还 需要 各 项理 论 研究 的支　
且 是最 不 易受 其 他 因素 干 扰 的 呢？ 除 了改 进 特　 持 。结合 心 理 学 、语 言 学 和 声 学 等 各 领 域 的 研　
征 的计算 方法 以外 ，
单 纯 对韵 律 特征 的 重视 对 于　 究，
可 以促 进该 技术发 展和应 用 。
　
语 音情绪 识别是 远 远不 够 的 ，
还 应 当考 虑 到语 音　
的其他 文化 、
社会 环境 等因素 。
　 参 考 文 献　

目前 多数 研 究 还 停 留在 对 低 层 次 声 学 属 性　 ［１］
　 Ｈａ
ｒｒｉ
ｇａｎ
　Ｊ　
Ａ，ｗｉ
ｌｓ
ｏｎ　
Ｋ，Ｒｏ
ｓｅｎ
ｔｈａ
ｌ　Ｒ．Ｄｅ
ｔｅｃ
ｔｉ
ｎｇ　
ｓｔａ
ｔｅ　
ａｎｄ
　Ｔｒ
ａｉｔ
　Ａｎｘｉ
ｅｔｙ　ｆ
ｒ
ｌ０ｍ　Ａｕｄｉ
ｔ０ｒ
ｙ　ａｎｄ　Ｖｉ
ｓｕａｌ
　Ｃｕｅｓ：Ａ　
的研究 ，
而对 高层 次 的语 音结 构 和 内容 的语 言 分　
Ｍｅ
ｔａ—Ａｎ
ａｌｙ
ｓｉｓ［Ｊ］
．Ｐｅ
ｒｓｏ
ｎａｌ
ｉｔ
ｙ　ａ
ｎｄ　
Ｓｏｃ
ｉａｌ
　Ｐｓ
ｙｃｈｏ
ｌ—
　
析还很 少 。作 为一 种 交 流方 式 ，声 音 是 手 段 、语　
ｏｇｙ
　Ｂｕｌ
ｌｅｔ
ｉｎ，２０ｏ４，３０（１）：
５６—６６．
　
法是过程 、内容 是 目的。对 后 两 方 面 的分析 应 当　
［
２］　 Ｍｏ
ｒ　ｓ
ｏｎ　
Ｄ，　 ａ
ｎｇ　
Ｒ，Ｄｅ
　ｓｉ
ｌｖａ
　Ｌ　
ｃ．Ｅｎ
ｓｅｍｂ
ｌｅ　
Ｍｅｔ
ｈｏｄｓ
　
是未来 语 音情 绪 识 别 的努 力 方 向之 一 。 目前 的　
ｆ
ｏｒ
　ｓｐｏ
ｋｅｎ
　Ｅｍ０
ｔｉ
ｏｎ　
Ｒｅｃ
ｏｇｎ
ｉｔｉ
ｏｎ　ｉ
ｎ　ｃａ
ｌｌ—ｃｅ
ｎｔｅ
ｒｓ［
Ｊ］．
　
技术 已经可 以做 到 对话 语 的单 词进 行识 别 ，
但 是　 Ｓｐｅ
ｅｃｈ　
Ｃｏｍｍｕｎｉ
ｃａｔ
ｉ０ｎ，２０ｏ７，４９（
２）：
９８一ｌ１
２．　
还需要从 这些识 别 出 的字句 提 取说 话 者 的情 绪 。
　 ［
３］　 Ｙ０
ｏｎｗＪ，ｃｈ
ｏＹＨ，Ｐａ
ｒｋ　
ｌ（ｓ．Ａ　
ｓｔｕ
ｄｙ　
０ｆ　
ｓｐｅ
ｅｃｈ
　Ｅ附 　
比如 ，
人在愤怒 的情 绪下 可 能会 使用 更 多 的带 有　 ｔ
ｉｏｎ
　Ｒｅ
ｃ０ｇ
ｎｉｔ
ｉｏｎ
　ａＪ
１ｄ
　Ｉｔ
ｓ　Ａｐｐ
１ｉｃ
ａｔｉ
０ｎ　
ｔｏ　
Ｍ０ｈ
ｉｌｅ
　Ｓｅ
Ⅳｉｃ
ｅｓ　
攻击性 和侮 辱 性 的词 语 ；在 紧 张 状 态 下 ，
可 能 出　 ［
Ｃ］／
／ｕｂ
ｉｑｕ
ｉｔ
ｌｌ
ｕｓ
　Ｉｎ
ｔｅⅡｉ
ｇｅｎ
ｃｅ　
ａｎｄ
　ｃ０
ｍｐｕ
ｔｉｎ
ｇ，４
出Ｉｎ
．　
现更 多语法错 误 。不过 ，
对 于整 合 这几 方 面 的特　 ｔ
ｅｍａ
ｔｉ０ｎ
ａｌ　Ｃ０
　ｒｅｎｃ
ｅ（ＵＩ
Ｃ’Ｃｒ
７）．Ｈｏｎｇ
　Ｋ０ｎｇ，２０ｏ７．
　

征 还没有 比较 好 的方 法 。一 些 研 究 根 据 语 言 学　 ［
４］　 ｃｈ
ｅｎ　
Ｋ，Ｙｕ
ｅ　Ｇ，Ｙｕ
　Ｆ，ｅ
ｔ　ａ
１．Ｒｅ
ｓｅａ
ｒｃｈ
　０ｎ
　ｓｐ
ｅｅｃ
ｈ　Ｅｍｏ
－　

分 析 的结果 对副语 言 学分 析过 程 进行 修 正 ，已取　 ｔ

ｉ
０ｎ　
Ｒｅｃ
ｏｇｎ
ｉｔ
ｉｏ
ｎ　ｓ
ｙｓｔ
ｅｍ　
ｉｎ　Ｅ—Ｌ
ｅａｍｉ
ｎｇ［
Ｊ］．ｋｃ
ｔｕｒ
ｅ　
Ｎｏｔ
ｅｓ　
ｉｎ　
Ｃ０Ｉ
Ｈｐｕ
ｔｅｒ
　Ｓｃｉ
ｅｎｃｅ，２００７，４４８
９（１）：５５
５—５５８．
　
得 了一定成 效　 。
　
［
５］　 Ｂａ
ｌｏｍｅ
ｎｏｓ
　Ｔ，Ｒａ
０ｕｚ
ａｉ０
ｕ　Ａ，Ｋａ
ｒｐｏ
ｕｚｉ
ｓ　Ｋ，ｅ
ｔ　ａ
Ｉ＿Ａｎ
　
４．
３ 建 立全 面的情绪语音 库　
Ｉ
ｎｔｍｄｕｃｔ
ｉ０ｎ
　ｔ０　
Ｅｍ ０
ｔｉ０ｎａＵｙ
　Ｒｉ
ｃｈ　
Ｍ ａｎ— Ｍ ａ
ｃｈｉ
ｎｅ　
Ｉｎｔ
ｅｌ－
　
不少语 音库是 为情 绪 的语 音 合 成而 建 立 的 ，
　
１
ｉｇｅ
ｎｔ　
ｓｙｓ
ｔｅｍｓ［
ｃ］／／Ｔｈ
ｉｒｄ
　Ｅｕｒ
０ｐｅ
ａｎ　
ｓｙｍｐ
０ｓｉ
ｕｍ　
ｏｎ　
但 合成 只需 要 找 到 一种 情 绪 表 现 的特 例 就 足 够　 Ｉ
ｎｔｅｌ
ｌｉｇｅｎｔ
　Ｔｅｃ
ｈｎｏｌ
ｏｇｉ
ｅｓ，
　Ｈｙｂｒ
ｉｄ　Ｓｙｓ
ｔｅｍｓ
　ａｎｄ　Ｔｈｅｉ
ｒ　

了，
识别却 需要尽 可 能考 虑 到一 种情 绪 的不 同表　 Ｉ
ｍｐｌ
ｅｍｅｎｔ
ａｔｉ
０ｎ　０
ｎ　Ｓｍａ
ｎ　Ａｄａｐｔ
ｉｖｅ
　Ｓｙｓ
ｔｅｍｓ
　（ＥＵ—
　
达方式 。目前各 种情 绪语 音库一 般 只包括典 型情　 ＮＩ
ＴＥ’
０３）．Ｆｉ
ｎｌａ
ｎｄ，２０ｏ３．
　
绪，
没有考虑到各种变化 ，
所包含的语音片段数量从　 ［
６］　Ｊ
ｏｎｅ
ｓ　ｃ，Ｊ
ｏｎｓ
ｓｏｎ
　ＩＭ．Ｐ
ｅｒｆ
ｏｎｎ
ａｎｃ
ｅ　Ａｎ
ａ１ｙ
ｓｉｓ
　０ｆ
　Ａｃ
０ｕｓ
—　
ｔ
ｉｃ　
Ｅｍｏ
ｔｉ０
ｎ　Ｒｅｃｏ
ｇｎｉ
ｔｉ
ｏｎ　ｆ
ｏｒ　Ｉ
ｎ—Ｃａｒ
　ＣｏｎＶｅ
ｒｓａｔ
ｉｏｎａｌ
　Ｉｎ—
　
几十到几千不一 ，
因此 不足 以获得可靠 的情绪识 别　
结果¨
　。建立全面的情绪语音库可 以提高识别率 ， 　 ｔ
ｅｒｆ
ａｃｅ
ｓ　［Ｊ］．
　ＩＪ
ｅｃｔ
ｕｒｅ
　Ｎ０
ｔｅｓ
　ｉｎ
　ｃ０
ｍｐｕｔ
ｅｒ　ｓ
ｃｉｅ
ｎｃｅ．
　
２００７，４５５５（６）：４ｌ１—４２０．
　
但也为情绪的分类研究提出了更高要求。
　
［
７］　 孟 昭 兰．情 绪 心 理 学 ［Ｍ］．北 京 大 学 出版 社 ：
　
４．
４ 结合 多通道信 息研 究　
２００５：
１２ — １
６．　
越来越 多 的人 机 交 互 系 统 开 始 利 用 多 通 道　
［
８］　 Ｈａ
ｎｓｅ
ｎ　Ｊ
　Ｈ　
Ｌ，Ｐａ
ｔｉ
１　
ｓ．ｓ
ｐｅｅ
ｃｈ　
ｕｎｄ
ｅｒ　
ｓｔｒ
ｅｓｓ：Ａｎ
ａｌｙ
—　
的方式 ，通过麦克风、 摄像头 、 传感器等对来 自语　 ｓ
ｉｓ，Ｍｏ
ｄｅｌ
ｉｎｇ
　ａｎ
ｄ　Ｒｅ
ｃ０ｇ
ｎｉｔ
ｉｏｎ ［Ｍ］／／Ｍｕ
ｌｌｅ
ｒ　ｃ．
　
音、面部 表情 和姿 势 的情 绪 信 息 进 行 整 合　 ，
可　 Ｓｐｅａｋｅｒ
　Ｃｌ
ａｓｓ
ｉ矗ｃａｔ
ｉ０ｎ．
　 Ｂｅｒ
１ｉｎ：
　 Ｓｐｒｉ
ｎｇｅｒ — Ｖｅｄａｇ．
　

以提 高情 绪识 别 灵 敏 度 和准 确 性　引。各通 道 的　 ２００７：ｌ
０８ —１３７．
　

分析 过程 可 以各 自独 立 得 出结 果 ，
再进行整合 ；
　 ［
９］ １
ａ
Ｉ０　
Ｊ，Ｋａ
ｎｇ　
Ｙ，Ｉ
ｊ　Ａ．Ｐｍｓ
ｏｄｙ
　ｃｏ
ｎｖｅ
ｒｓｉ
０ｎ　
Ｆ　ｍ　
Ｎｅｕ
　
也可 以对各通 道 的特 征 同时进 行 计算 分 析 ，
最后　 ｓ
ｐｅｅ
ｃｈ　
ｔｏ　Ｅｍ０
ｔｉ
ｏｎａ
ｌ　ｓ
ｐｅｅ
ｃｈ［Ｊ］
．Ａｕ
ｄｉｏ，ｓｐ
ｅｅｃ
ｈ　ａ
ｎｄ　

得 出统一 的结论 。Ｂｕｓ

ｓｏ对声 音 和面 部特 征 的 双　 ａ
ｇｅ　
Ｐｒ０
ｃｅｓ
ｓｉ
ｎｇ，２
０ｏ６，１
４（４）：ｌ
１４５—１
１５４
．　
［１
０］Ｙａ
ｎｇ　
Ｈ，Ｍｅ
ｎｇ　
Ｈ　Ｍ，ｃａ
ｉ　Ｌ．Ｍｏ
ｄｅｌ
ｉｎｇ
　ｔｈ
ｅ　Ａｃ
ｏｕｓ
ｔｉ
ｃ　
通道研究发现， 这两种分析方式的整体识别率基　
Ｃｏｒ
ｒｅｌ
ａｔｅｓ
　０ｆ
　ＥｘＤｒ
ｅｓｓ
ｉｖｅ
　Ｅｌ
ｅｍｅｎｔ
ｓ　ｉ
ｎ　Ｔｅｘ
ｔ　Ｇｅｎｒ
ｅｓ　ｆ
０ｒ　
本 相同 ，
但 对不 同情绪 的敏感度 不 同¨　。 由于 多　
Ｅｘ
ｐｒｅ
ｓｓｉ
ｖｅ　
Ｔｅｘ
ｔ—ｔ
０一ｓ
ｐｅｅ
ｃｈ　
ｓｙｎｔ
ｈｅｓ
ｉｓ［ｃ］／
／Ｎｉ
ｎｔｈ
　
通道 的方 式需要 各种 设 备 ，
如何 扩 大这 种 多通 道　
Ｉ
ｎｔｅｍ ａ
ｔｉｏｎａｌ
　Ｃｏ
ｎｆｅｒ
ｅｎｃｅ
　ｏｎ　
Ｓｐｏｋｅｎ　
Ｌａｎｇｕａｇｅ
　Ｐｍｃｅｓ
ｓ—　
系统的应用范围也是值得研究的课题。
　 ｉ
ｎｇ．ＵＳＡ：Ｉ
ＳＣＡ，２００６．
　
５ 结束 语　
（下转封 三）
　
（上接 第 ７２页）
　
［
５］　 Ｎｅ
ｕｍａ
ｎ　Ｊ
　Ｈ，Ｂａ
ｒｏｎ
　Ｒ　
Ａ．ｗ０
ｒｋｐ
１ａｃ
ｅ　Ｖｉ
ｏｌｅ
ｎｃｅ
　ａｎ
ｄ　 ［
１　１］
　ｓｋ
ａｒｌ
ｉｃｋ
ｉ，Ｆ
０ｌｇ
ｅｒ　Ｒ．
　Ｒｅ
ｔａｌ
ｉａｔ
ｉｏｎ
　ｉｎ
　ｔｈｅ
　ｗｏ
ｒｋｐ
ｌａｃ
ｅ：　
Ｗ ｏｒ
ｋｐｌ
ａｃｅ
　Ａｇｇｒ
＿
ｅｓｓｉ
ｏｎ：Ｅｖｉ
ｄｅｎｃｅ
　Ｃｏｎｃｅｍ ｉ
ｎｇ　Ｓｐｅｃｉ
　ｃ　 Ｉ
１１ｅ　Ｒｏｌ
ｅｓ　０
ｆ　Ｄｉ
ｓｔｒ
ｉｂｕｔ
ｉｖｅ．Ｐｒ
０ｃｅｄｕｒ
ａｌ　ａｎｄ　
Ｉｎｔ
ｅｒａ
ｃｔｉ
ｏｎ—
　

Ｆｏ
ｎｎｓ，Ｐｏ
ｔｅｎ
ｔｉａ
ｌ　ｃａ
ｕｓｅ
ｓ　ａ
ｎｄ　
Ｐｒｅ
　ｒｒ
ｅｄ　
Ｔａｒ
ｇｅｔ
ｓ［Ｊ］．
　 ａ
ｌ　Ｊ
ｕｓｔ
ｉｃｅ［
Ｊ］．Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
　Ａｐ
ｐ１ｉ
ｅｄ　
Ｐｓｙ
ｃｈ０
ｌｏｇ
ｙ，１
９９７，
　
Ｊｏｕｍａｌ
　ｏｆ
　Ｍａｎａｇｅｍｅｎｔ，ｌ９９８，２４（３）：３９１— ４１
９．　 ８２（３）：４３４ —４４３．
　

［
６］　 ｃｈ
ｅｎ　
Ｐ　Ｙ，ｓ
ｐｅｃ
ｔ０ｒ
　Ｐ　
Ｅ．Ｒｅ
１ａｔ
ｉ
ｏｎｓ
ｈｉｐ
ｓ　ｏ
ｆ　ｗｏ
ｒｋ　
ｓｔｒ
ｅｓ—
　 ［１
２］　ｓ
ｋａｒ
１ｉ
ｃｋｉ
　Ｄ　
Ｐ，Ｆｏ
ｌｇｅ
ｒ　Ｒ，Ｔｅ
ｓｌｕ
ｋ　Ｐ．Ｐｅ
ｒｓｏ
ｎａ１
ｉｔ
ｙ　ａ
ｓ　ａ
　
ｓ
ｏｒＳ
　ｗｉ
ｔｈ　Ａｇｇｒ
ｅｓｓｉ
ｏｎ，
　Ｗ ｉ
ｔｈｄｍ ｗａｌ，
　 Ｔｈｅｆ
ｔ　ａｎｄ
　Ｓｕｂ—
　 Ｍｏｄｅｍｔ
ｏｒ　ｉ
ｎ　ｔ
ｈｅ　Ｒｅ
ｌａｔ
ｉ０ｎｓ
ｈｉｐ　ｂｅｔ
ｗｅｅｎ
　Ｆａｉ
ｍ ｅｓ
ｓ　ａｎｄ　

ｓ
ｔａｎ
ｃｅ　
ｕｓｅ：ａ
ｎ　Ｅｘ
ｐｌ０
ｒａ
＿ｔ
ｏｒｙ
　ｓｔ
ｕｄｙ［
Ｊ］．Ｊ
ｏｕｍａ
１　０
ｆ　０ｃ
—　 Ｒｅ
ｔａｌ
ｉ
ａｔｉ
ｏｎ［Ｊ］
．　Ａｃ
ａｄｅ
ｍｙ　ｏ
ｆ　Ｍａ
ｎａｇ
ｅｍｅ
ｎｔ　Ｊ
０ｕｍａ
ｌ，　
ｃｕｐａｔ
ｉ０ｎａｌ
　ａｎｄ　０Ｉ
ｇａｎｉ
ｚａｔ
ｉｏｎａｌ
　Ｐｓ
ｙｃｈｏｌ
ｏｇｙ，
　ｌ９９２， ６５
　 １９９９，４２（１）：
１００ —１Ｏ８．
　
（３）：１
７７　 １８４．
　 ［１
３］　Ｆｏ
ｘ　ｓ，ｓｐ
ｅｃｔ
ｏｒ　
Ｐ　Ｅ，Ｄ０
ｎ　Ｍ．ｃ０
ｕｎｔ
ｅｒｐｒ
０ｄｕ
ｃｔｉ
ｖｅ　
ｗｏｒ
ｋ　
［
７］　 Ｆ
ｏｘ　
ｓ，ｓ
ｐｅｃ
ｔ０ｒ
　Ｐ　
Ｅ．Ａ　
Ｍｏｄｅ
１　ｏ
ｆ　ｗｏ
ｒｋ　
Ｆｍｓ
ｔｒａ
ｔｉ【
Ｊ
ｎ—　 Ｂｅｈａｖｉ
ｏｒ（ＣＷＢ）
　ｉｎ
　Ｒｅｓ
ｐｏｎｓ
ｅ　ｔ
ｏ　Ｊｏｂ　Ｓｔ
ｒｅｓｓ
ｏｒｓ
　ａｎｄ
　

ａ
ｇｇｒ
ｅｓｓ
ｉ０ｎ［Ｊ］
．　Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
　０唱ａ
ｎｉｚ
ａｔｉ
０ｎａ
ｌ　Ｂｅ
ｈａｖｉ
０ｒ，
　 ０职ａｎｉ
ｚａｔ
ｉｏｎａｌ
　Ｊｕｓｔ
ｉｃｅ：Ｓ０
ｍｅ　Ｍｅｄｉ
ａｔｏｒ
　ａｎｄ　Ｍｏｄｅｒ
ａｔｏｒ
　

１９９９，２０（６）：９ｌ５ —９３１．
　 Ｔｅ
ｓｔｓ
　ｆ０
ｒ　Ａｕ
ｔ０ｎ
０ｍｙ
　ａｎ
ｄ　Ｅｍ０
ｔｉｏ
ｎｓ［
Ｊ］．Ｊ
ｏｕｍａ
ｌ　ｏ
ｆ　Ｖｏ
—　
［
８］　 Ｖｉ
ｖｉ
ａｎ　
ｃ　ｓ
　Ｌａ
ｕ，ｗｉ
ｎｇ　Ｉ
１
ｕｎｇ
　Ａｕ，Ｊ
ａｎｅ
　Ｍ　ｃ　Ｈｏ
．Ａ　 ｃａｔ
ｉｏｎａｌ
　Ｂｅｈａｖｉ
０ｒ，２Ｏ
ＨＤ１，５９（３）：２９１ — ３０９．
　
Ｑｕａ
ｌｉｔ
ａｔｉ
ｖｅ　ａｎｄ　Ｑｕａｎｔ
ｉｔ
ａｔｉ
ｖｅ　Ｒｅｖｉ
ｅｗ　ｏｆ
　Ａｎｔ
ｅｃｅｄｅｎｔ
ｓ　０
ｆ　 ［１
４］　 Ｍａ
ｒｃｕ
ｓ　Ｂ，Ｓｃ
ｈＩｌ
１
ｅｒ　
Ｈ．Ａｎ
ｔｅｃ
ｅｄｅ
ｍｓ　
０ｆ　
Ｃ０ｕｎ
ｔｅｒ
ｐｒｏ
ｄｕｃ
ｔｉ
ｖｅ　
ｃｏ
ｕｎｔ
ｅｒｐ
ｒ（】
ｄｕｃ
ｔｉｖ
ｅ　Ｂｅ
ｈａｖ
ｉｏｒ
　ｉｎ
　０ｒ
ｇａｎ
ｉｚａ
ｔｉｏ
ｎｓ　［Ｊ］
．　 Ｂｅ
ｈａｖ
ｉｏｒ
　ａｔ
　Ｗ０
ｒｋ：Ａ　
Ｇｅｎｅ
ｒａｌ
　Ｐｅ
ｒｓｐ
ｅｃｔ
ｉｖｅ［
Ｊ］．Ｊ
ｏｕｎ
１ａｌ
　
Ｊｏ
ｕｒｎａｌ
　０ｆ
　Ｂｕｓ
ｉｎｅｓ
ｓ　ａｎｄ　Ｐｓ
ｙｃｈｏｌ
０ｇｙ；２【
ｘ】３，１
８（１）：
７３　 ０
ｆ　Ａｐ
ｐｌｉ
ｅｄ　
Ｐｓｙ
ｃｈｏ
ｌｏｇ
ｙ，２
００２，８
９（４）：
６４７ —６
６０．
　
—

９４．
　 ［
１５］
　ｓｐｅ
ｃｔｏ
ｒ　Ｐ　
Ｅ．　０Ｉ
ｇａｎ
ｉｚａ
【ｊ
０ｎａ
ｌ　Ｆｍｓ
ｔｒ
＿ａ
ｔｉ
ｏｎ：ａ
　Ｍｏ
ｄｅｌ
　ａｎ
ｄ　
［
９］　 Ｊ
ｕｄｇ
ｅ　ＴＡ，Ｓ
ｃｏｔ
ｔ
　Ｂ　Ａ，Ｉ
ｌｉ
ｅｓ　Ｒ．Ｈ０
ｓｔｉ
１ｉ
ｔｙ，Ｊ
ｏｂ　
Ａｔｔ
ｉ
—　 Ｒｅ
ｖｉｅ
ｗ　ｏ
ｆ　ｔ
ｈｅ“ｔ
ｅｒａ
ｔｕｒ
ｅ［Ｊ］．Ｐ
ｅｒｓ
ｏｎｎ
ｅＩ　
Ｐｓｙ
ｃｈｏ
ｌｏｇ
ｙ，　
ｔ
ｕｄｅｓ，
　ａｎｄ　Ｗ ｏｒ
ｋｐｌ
ａｃｅ
　Ｄｅｖｉ
ａｎｃｅ：
　Ｔｅｓｔ
　ｏｆ
　ａ　Ｍ ｕｌ
ｔｉ—　 １９７８，３１（４）：
８ｌ５—８２９．
　
ｌ
ｅｖｅ
ｌ　Ｍｏ
ｄｅｌ
　［Ｊ］
．　Ｊ
０ｕｍａ
ｌ　０
ｆ　Ａｐｐ
ｌｉｅ
ｄ　Ｐｓ
ｙｃｈ
ｏｌｏ
ｇｙ，
　 ［１
６］　 Ｒｏ
ｔｕｎ
ｄ０　
Ｍ，Ｓ
ａｃｋ
ｅｔｔ
　Ｐ　
Ｒ．Ｔｈ
ｅ　Ｒｅ
１ａｔ
ｉｖｅ
　Ｉｍｐｏ
ｒｔａ
ｎｃｅ
　ｏｆ
　
２００６，９ｌ（１）：１２６ — １３８．
　 Ｔａ
ｓｋ，
　 Ｃｉ
ｔｉｚｅｎｓｈｉ
ｐ，　 ａｎｄ
　Ｃ０ｕｎｔ
ｅＩｐＩ
ｌ
（】ｄｕｃｔ
ｉｖｅ
　Ｐｅ
　 ｒ
ｍ—　

［
１０］
　Ｒｅ
ｅｓｈ
ａｄ　
ｓ　Ｄａ
ｌａｌ
＿
　Ａ　
Ｍｅｔ
ａ—ａ
ｎａｌ
ｙｓｉ
ｓ　ｏ
ｆ　ｔ
ｈｅ　
Ｒｅｌ
ａｔｉ
０ｎ—
　 ａｎｃｅ
　ｔｏ　
Ｇｌｏｂａ１
　Ｒａｔ
ｉｎｇｓ
　ｏｆ
　Ｊｏｂ　ＰｅＩ
ｆ０ｒｍａｎｃ
ｅ：Ａ　Ｐｏ
ｌｉｃｙ
　
ｓ
ｈｉｐ　ｂｅｔ
ｗｅｅｎ　０ｒ
ｇａｎｉ
ｚａｔ
ｉｏｎａｌ
　Ｃｉ
ｔｉｚ
ｅｎｓｈｉ
ｐ　Ｂｅｈａｖｉ
ｏｒ　ａ
ｎｄ　 —

ｃ
ａｐｔ
ｕｒｉ
ｎｇ　
Ａｐｐｍａ
ｃｈ［Ｊ］
．　Ｊ
ｏｕｒ
ｎａｌ
　ｏｆ
　Ａｐｐ
ｌｉｅ
ｄ　Ｐｓ
ｙ—　
Ｃｏ
ｕｎｔ
ｅｒｐ
ｒｏｄ
ｕｃｔ
ｉｖｅ
　ｗｏ
ｒｋ　Ｂｅ
ｈａｖ
ｉｏｒ
　［Ｊ］
．　Ｊ
ｏｕｍａ
ｌ　ｏ
ｆ　 ｃｈｏｌ
ｏｇｙ，２００２，８７（１）：６６　 ８０．
　
Ａｐｐｌ
ｉｅｄ
　Ｐｓ
ｙｃｈｏｌ
ｏｇｙ，２Ｏ０５，９０（６）：
ｌ２４１ 一 ｌ
２５５．
　

［收稿 日期 ］
２００８—０
６—０３
　
［修 回 日期 ］２
００８—０
８—１
０　

（上接 第 ６６页）
　
［１１］ Ｐａ
ｏ　Ｔ　
Ｌ，ｃｈｅ
ｎ　Ｙ　
Ｔ，Ｙｅ
ｈ　Ｊ
　Ｈ，ｅ
ｔ　ａ
１．Ｄｅ
ｔｅｃ
ｔｉｎ
ｇ　Ｅｍｏ
—　 ｔ
ｉ０ｎ
　０ｆ
　Ｅｎ
１０ｔ
ｉ０ｎ
ｓ　ｉ
ｎ　Ｓ
ｐｏｋ
ｅｎ　
Ｃｈｉ
ｎｅｓ
ｅ［Ｃ］／／ｒ
ｒａ０
　Ｊ，Ｔ
ａｎ　
ｔ
ｉｏｎｓ
　ｉｎ
　Ｍａ
ｎｄａ
ｒｉｎ
　ｓｐｅ
ｅｃｈ
　［Ｊ］．
　Ｃｏｍｐ
ｕｔａ
ｔｉ
ｏｎａ
ｌ　Ｌ
ｉｎ—
　 Ｔ　Ｎ ，Ｐｉ
ｃａｒ
ｄ　Ｒ　Ｗ ． Ａ　 ｃｔ
ｉｖｅ　Ｃｏ
ｒｎｐｕｔ
ｉｎｇ ￡
ｕ１ｄ　Ｉ
ｎｔｅｌ
ｌｉｇｅ
ｎｔ　

ｇｕｉ
ｓｔｉ
ｃｓ　ａ
ｎｄ　
Ｃｈｉ
ｎｅｓ
ｅ　Ｌａｎｇｕａｇｅ　ＰＩ
（
ｌ】ｃｅｓ
ｓｉｎｇ，２Ｏ０５， １
　
Ｏ　 Ｉ
ｎｔｅｒ
ａｃｔ
ｉｏｎ． Ｂｅ　 ｎｇ：Ｙａｎ　
Ｓｈａｎ
　Ｐｒ
ｅｓｓ，２
００５．３
９ｒ７—４
０２．
　

（３）：３４７—３６１．
　 ［１
６］　 高慧 ，苏广 川 ，陈善 广．不 同情绪状 态下 汉语 语　
［１
２］　 ０ｓ
ｇｏｏ
ｄ　ｃ
　Ｅ，ｓｕ
ｃｉ　
Ｇ　Ｊ，Ｔａ
ｎｎｅ
ｎｂａ
ｕｍ　
Ｐ　Ｈ．Ｔｈ
ｅ　ｍｅ
ａｓ—
　 音 的声 学特 征分 析 ［Ｊ］．航 天 医学 与 医学工 程 ，
　
ｕ
ｒｅｍｅ
ｎｔ　
ｏｆ　
ｍｅａ
ｎｉｎｇ［Ｍ］
．　ｕｒ
ｂａｎ
ａ：ｕｎ
ｉｖｅ
ｒｓｉ
ｔｙ　
ｏｆ　
Ｉｌ
ｌｉ
—　 ２００５，１８（５）：
３５０—３５４ ．
　
ｎｏｉ
ｓ　Ｐｒ
ｅｓｓ， １９５７：
３１— ７６．
　 ［１
７］　 Ｖｅ
Ｉ＿
ｖｅ
ｒｉｄ
ｉｓ　
Ｄ，Ｋｏ
ｔｍｐ
ｏｕｌ
ｏｓ　
ｃ．Ｅｍｏ
ｔｉｏ
ｎａｌ
　Ｓｐ
ｅｅｃ
ｈ　Ｒｅ
ｃ—　
［１
３］ Ｆ
ｌ０
ｔｉ
ｎｅａ
　ｓＥ，Ｂａ
ｋａｒ
面ｄｉ
ｓ　ｓ，Ａｔ
ｈａｎ
ａｓｅ
ｌｉｓ
　Ｔ，ｅ
ｔ　ａ
１．Ｅ
Ⅱｌ【
ｌ
—　 ｏ
ｇｎｉ
ｔｉ
ｏｎ：
　ｒｅ
ｓｏｕ
ｒｃｅ
ｓ，　 ａ
ｔｕｒ
ｅｓ，
　ａｎ
ｄ　ｍｅ
ｔｈｏ
ｄｓ　［Ｊ］．
　
ｔ
ｉｏｎ
　ｉｎ　Ｓｐｅ
ｅｃｈ： Ｔ０ｗａ
ｒｄｓ
　ａｎ　Ｉ
ｎｔｅ
ｇｍ ｔ
ｉｏｎ　０
ｆ　Ｉｊ
ｎｇｕｉ
ｓｔｉ
ｃ，　 Ｓｐｅｅｃｈ　
ｃｏｍｍｕｎｉ
ｃａｔ
ｉｏｎ，２Ｏ０６，
４８（９）：１１６２—１１８１．
　
Ｐａ
ｒａｌ
ｉｎｇ
ｕｉｓ
ｌｉ
ｃ，ａ
ｎｄ　
Ｐｓｙ
ｃｈ０
ｌｏ　ｃ
ａｌ　
Ａｎａ
ｌｙｓ
ｉｓ［
Ｃ］／
／Ａ币一
　 ［Ｉ
８］　 Ｂｕｓ
ｓ０　
Ｃ，Ｄｅ
ｎｇ　
ｚ，Ｙｉ
１ｄｉ
ｒｉ
ｍ　Ｓ，ｅ
ｔ　ａ
１．Ａｎ
ａ１ｙ
ｓｉｓ
　ｏｆ
　Ｅ—
　
６ｃｉ
ａｌ　
Ｎｅｕｒ
ａｌ　Ｎｅｔ
ｗｏｒ
ｋｓ　ａｎｄ　Ｎｅ
Ｉｌｒ
ａｌ　Ｉ
ｌ怕ｒ
ｍａｔ
ｉｏｎ
　Ｐｆ
ｏｃｅｓ
ｓ—　 ｍｏｔｉ
０ｎ　Ｒｅｃｏｇｎｉ
ｔｉｏｎ　Ｕｓｉ
ｎｇ　Ｆａｃｉａｌ
　Ｅｘｐｒｅｓｓｉ０ｎｓ， Ｓｐｅｅｃｈ　

ｉ
ｎｇ— Ｉ
ＣＡＮＮ　
２００
３．Ｉ
ｓｔａｎｂＩ
】Ｉ，２００３：１１
２５一ｌ１
３２．
　 ａ
ｎｄ　
Ｍｕｌ
ｔｉ
ｍ０ｄ
ａｌ　Ｉ
ｎｆ０
ｒｍａ
ｔｉｏ
ｎ　［ｃ］／
／ ＰＩ
（
＿】
ｃｅｅ
ｄｉｎｇ
ｓ　ｏ
ｆ　
［１
４］ 林奕琳 ，韦 岗 ，杨 康才．语 音情感 识 别的研 究进　 ｔ
ｈｅ　
６ｔｈ　Ｉ
ｎｔｅｍ ａｔ
ｉｏｎａｌ
　Ｃ０ｎｆ
ｅｒ
＿ ｅ
ｎｃｅ
　ｏｎ
　Ｍｕｌ
ｔｉｍｏｄａｌ
　Ｉｎｔ
ｅｒ—
　

展 ［
Ｊ］．电路与系统 学报 ，２
ｏ０７，
１２（１）：９
０—９
９．　 ｆ
ａｃｅ
ｌ ｓ．ＮＹ ：ＡＣＭ　Ｐｒ
ｅｓｓ，２００４：２０５—２１１．
　

［１
５］　＿
Ｊ
ｉｎ　
ｘ，ｗａ
ｎｇ　
ｚ．Ａｎ
　Ｅｍ０
ｔｉ０
ｎ　ｓ
ｐｄ
ｆｃ
ｅ　Ｍ０
ｄｅｌ
　ｆ
０ｒ
　Ｒｅ
ｃｏ　ｉ
—　
［收稿 日期］
２Ｏ０
８—０
４一ｌ
９　
［
修 回 日期 ］
２００
８—０６—１
３