第 ４２卷 第 ９期　 计 算 机 科 学　 Ｖｏ１

．４２　Ｎｏ．９　
２０１５年 ９月　 Ｃｏｍ ｐｕｔｅｒ　Ｓｃｉ
ｅｎｃｅ　 Ｓｅｐ　２０１５
　

基 于 声 学 特 征 的 语 言 情 感 识 别　
金 琴　。
　 陈师 哲　 李锡 荣。 杨 刚　 许洁 萍。
　
（中国人 民大 学数据 工程 与知识 工程 教育 部 重点实 验 室　 北 京 １
００８７２）
　
（中国人 民大 学信 息学院　 北 京 １
００８７２）
　

摘 要 语音情 感ｉ
Ｙ，￣
ｔ
，１
是语音 处理领域 中一 个具 有挑 战性 和广泛应 用前 景的研 究课题 。探 索 了语音情感识别 中的关　
键 问题之一 ：
生成情感识别的有效的特征表示 。从 ４个角度 生成 了语 音信号 中的情感特征表 示 ：
（１）
低层 次的声 学特　
征 ，包括能量 、
基频 、
声音质量、
频谱等相 关的特征 ，以及 基于这些低层 次特征 的统计特征 ；
（２）
倒谱 声 学特征根 据情 感　
相 关的高斯 混合模 型进行距 离转化 而得 出的特征 ；
（３）声学特征依据 声学词典进行 转化 而得 出的特征 ；
（４）
声学特征 转　
化 为高斯超 向量 的特征 。通过 实验 比较 了各 类特征在 情感识 别上的独立性能，
并且 尝试 了将不 同的特征进 行融合 ，
最　
后 比较 了不 同的声学特征在 几个不同语 言的情感数据集上 的效果 （包括 Ｉ
ＥＭＯＣＡＰ英语 情感语料 库、
ＣＡＳＩ
Ａ汉语 情　
感语料库和 Ｂｅ
ｒｌｉ
ｎ德语情感语料库）。在 Ｉ
ＥＭＯＣＡＰ数据 集上 ，系统的正确识别率达到 了 ７１
．９　，
超越 了之前在 此数　
据 集 上 报 告 的最 好 结 果 。
　
关键词 语音情感识别 ，
声学特征 ，
特征 融合　
中图法分类号 ＴＰ３
９１　 文献标识码 Ａ　 ＤＯＩ
　１０
．１１
８９６
／ｊ．ｉ
ｓｓｎ
．１０
０２—
１３７
Ｘ．２
０１５
．９．
００５
　

Ｓｐｅｅｃｈ　Ｅｍｏｔｉ
ｏｎ　
Ｒｅｃｏｇｎｉ
ｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ａｃｏｕｓｔｉ
ｃ　Ｆｅａｔ
ｕｒｅｓ　

ＪＩ
Ｎ　Ｑｉ
ｎ　 ＣＨＥＮ　
Ｓｈｉ
－ｚｈｅ２
　 ＬＩ
　Ｘｉ
—ｒｏｎｇｅ
　 ＹＡＮＧ　Ｇａｎｇ２
　 ＸＵ　
Ｊｉｅ
－ｐｉ
ｎｇ２
　
（
Ｋｅｙ
　Ｌａｂｏｒ
ａｔｏｒｙ
　ｏｆ
　Ｄａ
ｔａ　
Ｅｎｇｉ
ｎｅｅｒ
ｉｎｇ　
ａｎｄ　
Ｋｎｏｗｌ
ｅｄｇｅ
　Ｅｎｇｉ
ｎｅｅ
ｒｉｎｇ　
ｏｆ　
Ｍｉｎｉ
ｓｔｒ
ｙ　ｏｆ
　Ｅｄｕｃ
ａｔｉ
ｏｎ，
Ｒｅｎｍｉ
ｎ　Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙ　ｏｆ
　Ｃｈｉ
ｎａ，
Ｂｅｉ
ｊｉ
ｎｇ　
１００８７２，
Ｃｈｉ
ｎａ）
　
（Ｓｃ
ｈｏｏ
ｌ　ｏｆ
　Ｉｎｆ
ｏｒｍａｔ
ｉｏｎ，
Ｒｅｎｍｉ
ｎ　Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙ　ｏｆ
　Ｃｈｉ
ｎａ，
Ｂｅｉ
ｊｉ
ｎｇ　
１００８７２，
Ｃｈｉ
ｎａ）
　

Ａｂｓ
ｔｒａｃｔ
　 Ｅｍｏｔ
ｉｏｎ　ｒ
ｅｃｏｇｎｉ
ｔｉｏｎ　
ｆｒｏｍ　
ｓｐｅｅ
ｃｈ　
ｉｓ　ａ　
ｃｈａｌ
ｌｅｎｇｉ
ｎｇ　ｒ
ｅｓｅａｒ
ｃｈ　
ａｒｅａ
　ｗｉ
ｔｈ　
ｗｉｄｅ　
ａｐｐｌ
ｉｃａｔ
ｉｏｎｓ
．Ｔｈｉ
ｓ　ｐａｐｅｒ
　ｅｘｐｌ
ｏｒｅ
ｄ　

ｏｎｅ
　ｏｆ
　ｔｈｅ　
ｋｅｙ　ａｓｐｅｃ
ｔｓ　ｏｆ
　ｂｕｉ
ｌｄｉ
ｎｇ　ａｎ　ｅｍｏｔｉ
ｏｎ　ｒ
ｅｃｏｇｎｉ
ｔｉｏｎ　ｓｙｓ
ｔｅｍ ：ｇｅ
ｎｅｒ
ａｔｉ
ｎｇ　ｓｕｉ
ｔａｂｌ
ｅ　ｆ
ａｔ
ｅ ｕｒ
ｅ　ｒ
ｅｐｒ
ｅｓｅｎｔ
ａｔｉ
ｏｎ．Ｗ ｅ
　ｅｘｔ
ｒａｃ
ｔｅｄ　

ｆ
ｅａｔ
ｕｒｅｓ
　ｆｒ
ｏｍ　
ｆｏｕｒ
　ａｎｇｌ
ｅｓ：
（１）ｌ
ｏｗ－ｌ
ｅｖｅ
ｌ　ａｃ
ｏｕｓ
ｔｉｃ
　ｆｅａｔ
ｕｒｅｓ　
ｓｕｃｈ　
ａｓ　
ｉｎｔｅ
ｎｓｉ
ｔｙ，
Ｆ０，
ｊｉｔ
ｔｅｒ，
ｓｈｉ
ｍｍｅｒ，ｓｐｅｃｔ
ｒａｌ
　ｃｏｎｔ
ｏｕｒ
ｓ　ｅｔ
ｃ．ａｎｄ　
ｓｔ
ａｔｉ
ｓｔｉ
ｃａｌ
　ｆｕｎｃｔ
ｉｏｎｓ
　ｏｖｅｒ
　ｔｈｅｓ
ｅ　ｆ
ｅａｔｕｒｅｓ，（２）ａ　ｓｅｔ
　ｏｆ
　ｆｅａｔ
ｕｒｅｓ
　ｄｅｒ
ｉｖｅ
ｄ　ｆ
ｒｏｍ　ｓ
ｅｇｍｅ
ｎｔａｌ
　ｃｅｐｓｔ
ｒａｌ
—ｂａｓｅ
ｄ　ｆ
ｅａｔ
ｕｒｅ
ｓ　ｓｃｏｒｅｄ　

ａｇａｉ
ｎｓｔ
　ｅｍｏｔ
ｉｏｎ－ｄｅｐｅｎｄｅｎｔ
　Ｇａｕｓｓｉ
ａｎ　
ｍｉｘｔ
ｕｒｅ
　ｍｏｄｅ
ｌｓ，（３）ａ　ｓ
ｅｔ　
ｏｆ　ｆ
ｅａｔ
ｕｒｅｓ
　ｄｅｒｉ
ｖｅｄ　ｆ
ｒｏｍ　
ａ　ｓ
ｅｔ　
ｏｆ　ｌ
ｏｗ－
ｌｅｖｅ１
　ａｃｏｕｓｔ
ｉｃ　ｃｏｄｅ—
　
ｗｏｒ
ｄｓ，（４）ＧＭ Ｍ 　ｓ
ｕｐｅｒ
ｖｅｃｔ
ｏｒｓ
　ｃｏｎｓ
ｔｒｕｃ
ｔｅｄ　
ｂｙ　
ｓｔａｃｋｉ
ｎｇ　
ｔｈｅ
　ｍｅａｎｓ
　ｏｒ
　ｃｏｖａｒｉ
ａｎｃ
ｅ　ｏｒ　
ｗｅｉ
ｇｈｔ
ｓ　ｏｆ
　ｔｈｅ
　ａｄａｐｔ
ｅｄ　
ｍｉｘｔ
ｕｒｅ
　ｃｏｍ—
　

ｐｏｎｅｎｔｓ
　ｏｎ　
ｅａｃｈ　ｕｔ
ｔｅｒ
ａｎｃｅ．Ｗ ｅ　
ａｐｐｌ
ｉｅｄ　ｔ
ｈｅｓｅ　ｆ
ｅａｔ
ｕｒｅｓ
　ｆｏｒ
　ｅｍｏｔ
ｉｏｎ　ｒ
ｅｃｏｇｎｉ
ｔｉ
ｏｎ　ｉ
ｎｄｅｐｅｎｄｅｎｔ
ｌｙ　
ａｎｄ　ｊ
ｏｉｎｔ
ｌｙ　ａｎｄ　ｃ
ｏｍｐａｒｅｄ　
ｔ
ｈｅｉ
ｒ　ｐｅｒｆ
ｏｒｍ ａｎｃｅ　
ｗｉｔ
ｈｉｎ　
ｔｈｉ
ｓ　ｔ
ａｓｋ　
Ｗ ｅ　
ｂｕｉ
ｌｔ　ａ
　ｓｕｐｐｏｒｔ
　ｖｅ
ｃｔｏｒ
　ｍａｃ
ｈｉｎｅ（ＳⅥ Ⅵ） ｃ
ｌａｓｓ
ｉｆｉ
ｅｒ　
ｂａｓｅ
（１　ｏｎ　ｔ
ｈｅｓ
ｅ　ｆ
ｅａｔ
ｕｒｅ
ｓ．Ｗ ｅ
　ｔｅｓｔ
ｅｄ　

ｔ
ｈｅ　ｐｅ
ｒｆｏｒ
ｍ ａｎｃｅ　
ｏｆ　ｔ
ｈｅｓｅ　
ｄｉｆ
ｆｅｒ
ｅｎｔ
　ｆｅａｔ
ｕｒｅｓ
　ｏｎ　ｓ
ｏｍｅ
　ｐｕｂｌ
ｉｃ　ｅｍｏｔ
ｉｏｎ　
ｒｅｃ
ｏｇｎｉ
ｔｉｏｎ　ｃｏｒｐｕｓ（ｉ
ｎｃｌ
ｕｄｉ
ｎｇ　
ＩＥＭ ＯＣＡＰ　ｃｏｒｐｕｓ
　ｉｎ　

Ｅｎｇｌ
ｉｓｈ，
ＣＡＳＩ
Ａ　ｃ
ｏｒｐｕｓ
　ｉｎ　
Ｍ ａｎｄａｒｉ
ｎ，ａｎｄ　
Ｂｅｒｌ
ｉｎＥＭ Ｏ－
ＤＢ　
ｉｎ　
Ｇｅｒｍａｎｙ）．Ｏｎ　
ｔｈｅ
　ＩＥＭ ＯＣＡＰ　
ｄａｔ
ａｂａｓｅ，
ｔｈｅ
　ｆｏｕｒ
－ｃｌ
ａｓｓ
　ｅｍｏ—
　
ｔｉ
ｏｎ　
ｒｅｃｏｇｎｉ
ｔｉｏｎ　
ａｃｃｕｒ
ａｃｙ　
ｏｆ　ｏｕｒ
　ｓｙｓ
ｔｅｍ　
ｉｓ　
７１．９
　 ，ｗｈｉ
ｃｈ　ｏｕｔ
ｐｅｒ
ｆｏｒ
ｍｓ　ｔ
ｈｅ　
ｐｒｅ
ｖｉｏｕｓｌ
ｙ　ｒ
ｅｐｏｒｔ
ｅｄ　
ｂｅｓｔ
　ｒｅｓｕｌ
ｔｓ　
ｏｎ　ｔ
ｈｉｓ
　ｄａｔ
ａ—　

ｓｅｔ．
　

Ｋｅｙｗｏｒｄｓ
　 Ｓｐｅｅｃｈ　ｅ
ｍｏｔ
ｉｏｎ　
ｒｅｃ
ｏｇｎｉ
ｔｉｏｎ，
Ａｃｏｕｓｔ
ｉｃ　ｆ
ｅａｔ
ｕｒｅｓ，
Ｆｅａｔ
ｕｒｅ
　ｆｕｓｉ
ｏｎ　

个非 常重 要的研究 方向 ，
尤 其在人机交 互的应用 中有重要 的　
１
　 引 言　
意义和广泛 的应用前景 ，
例 如在计算 机交 互教学ｌ
＿
１］，
以及人 的　
一

般 认 为 人 类 是 通过 语 言 、
表情 、
音 乐 和 行 为 等 表 达模 式　 精神健康辅助诊断ｌ
＿
２］等应用 中都发挥着重要 的作用 。
　
来进行 情感交 流的 ，
其 中包含在语 音信号 中的情感信 息是非　 要研究语音信号 中所 包含 的情感 ，
首先需要 根据 某些特　
常重要 的信息 资源 ，
因此基于语 音 的情感分 析的研究 越来越　 性 标 准 对 语 音 情 感 做 一 个 有 效 合 理 的分 类 ，
然 后 在 不 同类 别　
受到人们 的重视 。而语 音情感识别是语音信息处理技术 中一　 的基础上研究特征参数 的性质 。本文 主要集 中研究语音情感　

到稿 日期 ：
２０１
４—０８—
１２ 返修 日期 ：
２０１４—
０９—１
３　 本文受北京市 自然科 学基金 （
４１４２０２９），
中国人民大学科学研究基金 （中央高校基本科研业务　
费专项资金 ）（１
４ＸＮＬＱ０１）资助 。
　
金 ￣－
（１９７
２－ ），
女，博士 ，
副教授 ，
ＣＣＦ会员 ，
主要研究方 向为音频 信息处理 、多媒体 内容 分析与理解 、自然语 言处理 、
统 计机 器学 习，Ｅ－
ｍａｉ
ｌ：
　
ｑｊ
ｉｎ＠ｒ
ｕｃ．ｅｄｕ．ｃ
ｎ；陈师哲 （１
９９４－ ），
女，主要研究方向为音频信 息处理 ；
李锡荣 （
１９８３－），
男，博士 ，
讲师 ，
ＣＣＦ会员 ，
主要研究方 向为图像检索 与　
多媒体 内容分析 ；
杨 刚 （１
９７９－），
男，博士 ，
讲师 ，
主要研究方 向为神经 网络算法 ；
许洁 萍（１９６６－ ），
女，博 士，副教授 ，
ＣＣＦ会员 ，
主要研究方 向　
为多媒体信息处理 。
　

・　
２４ ・
　
识别 的声 学特征表 示 ；
在提取低层 次的帧级 声学特征 的基础　 度神 经元 网络 的特征 的学习需要大 量的训练数 据 ，
本 文没有　
上，
通过 ４种不 同的转化操 作生成 不 同的衍生 特征 。这 ４种　 直接 与其进行 比较 。本 文工作主要集 中在生成语音情感识别　
转 化包 括 ：
１）传统 的统计 函数变换 ，
包 括极值 、
均值 、
方差等 ；
　 的有 效 声 学 特 征 表 示 。
　
２
）将 帧级声学特征与情感相关 的高斯混合模 型进 行距 离计算　
３ 声 学特 征　
而转化的特征 ；
３）通 过 数 据 驱 动方 法 得 到 的 声 学 码 字 ，
并 以 这　
些码字进行转化 的特征 ；
４）通过高 斯混合模 型转 化生成 的超　 本 文 首先 对 每 个 语 音 句 子 提 取 了 帧 级 的 低 层 次 声 学 特　
向量特征表示 。本文也探 索 了将 不 同特征进 行融合 ，
包 括前　 征，
然后 再整体地或 局部地对 这些低层 次基础特征进 行转化　

期在特征级别 的融合 以及 后期 在分类结果级别的融合 。

　 操作 。
　
本文第 ２节简要 介绍 了语 音情感 识别 的相 关 工作 ；
第 ３
　 ３．１ 低 层 次 基 础 声 学 特 征 　
节 详 细 介 绍 了低 层 声 学 特 征 以及 通 过 ４种 变 化 衍 生 的特 征 ；
　 首先 利用 Ｏｐ
ｅｎＳＭＩ
ＬＥ工具ｌ
＿
】。
　进 行低层 次特 征提取 ，
参　
第 ４节介绍 了实验所用 的 ３个 数据集 ；
第 ５节阐述 了具体 的　 考了 Ｉ
ｎｔｅ
ｒｓｐｅ
ｅｃｈ
　２０１
０年 泛 语 言 学 挑 战 赛 （
Ｐａｒ
ａｌｉ
ｎｇｕ
ｉｓｔ
ｉｃ　
实验设 置以及实验 结果 ；
最后对本 文的研究 工作进行 总结和　 Ｃｈａ
ｌｌｅ
ｎｇｅ
）中 广泛 使 用 的 特 征 提 取 配 置 文 件 “ｅ
ｍｏｂ
ａｓｅ
２０１
０．　
展望 。
　 ｃ
ｏｎｆ
”［“］。表 １列 出了本 文实验 中所抽 取的低层 次基础 声学　
特征 。其 中基 频特 征 和声 音 质量 特 征 是用 ４０
ｍｓ的帧 窗和　
２ 相 关工作　 １
０ｍｓ的帧移抽取 ，
倒 谱类 的特征 是 用 ２
５ｍｓ的帧窗 和 １
０ｍｓ
　
语音情感描述方 式大致可以分为离散情感类别和连续情　 的帧移抽取 。
　
感 维 度 两种 形式 。前 者 将 情 感 描 述 成 离 散 的 、
情 感类 别标签　 表 １ 低 层 次 基 础 声 学 特 征　
的形式 ，
如高兴 、
悲伤等 ，
属于分类 问题 ；
后者则将情感状态描　 ＦＥＡ ＴＵＲＥＳ　 ＤＥＳ（；
ＲＩＰＴ１
０ Ｎ　

Ｔｈｅｎ　ｌ
ｏｕｄｎｅｓｓ
　ａｓ　
ｔｈｅ　
ｎｏｒ
ｍ ａｌ
ｉｚｅｄ　
ｉｎｔｅｎｓｉ
ｔｙ　
述 为多维情感 空间 的点 ，
每个 维度对应 着情感空 间的一个 心　 Ｌｏｕｄｎｅｓｓ＋ Ｄｅｌ
ｔａ　
ｒ
ａｉｓ
ｅｄ ｔ
Ｏ　ａ　ｐｏｗｅｒ
　ｏｆ
　０．３
　
理学属 性 ，
如表示情感 激烈程度 的激 活度属 性。其 因用连续　 Ｆ０ｆ
ｉｎａｌ
＋Ｄｅ ｌ
ｔａ　 Ｔｈｅ
　ｓｍｏｏｔｈｅｄ　
ｆｕｎｄａｍ ｅｎｔａｌ
　ｆｒ
ｅｑｕｅｎｃｙ　
ｃｏｎｔ
ｏｕｒ
　

的实数对每 一维度进行描述 ，
也被称 为连续情感描 述 ，
一般被　 Ｆ０ｆ
ｉｎＥｎｖ＋ Ｄ
ｅ ｌ
ｔａ　
Ｔｈｅ　
ｅｎｖｅｌ
ｏｐｅ　
ｏｆ　
ｔｈｅ　ｓｍｏｏｔ
ｈｅｄ　ｆ
ｕｎｄａｍｅｎｔ
ａ１　
ｆｒ
ｅｑｕｅｎｃｙ　
ｃｏｎｔ
ｏｕｒ
　
建模为标 准的预测或拟合问题 。这两种形式都具有各 自表达　
Ｔｈｅ　１
ｏｅａｌ
（　ｆ
ｒａｍｅ－ｔ
ｏ－ｆ
ｒａｍｅ）Ｊｉ
ｔｔｅｒ　
情感 的优缺点 ，
离散情感描述简洁 、
易懂 、
容易着手 ，
但是其单　 ｊ
ｉｔｔｅｒ
Ｌｏｃａｌ＋Ｄ
ｅｌｔａ
　
（ｐｉ
ｔｃｈ　
ｐｅｒ
ｉｏｄ　
ｌｅｎｇｔｈ　ｄｅｖｉ
ａｔｉ
ｏｎｓ）
　
一

有限的情感 描述能力 无法满足 对 自发情感 的描述 ；

连续情　 ｊ
ｉｔｔｅｒ
ＤＤＰ＋Ｄｅｌ
ｔａ　
Ｔｈｅ
　ｄｉ
ｆｆｅｒｅｎｔｉ
ａ１　ｆ
ｒａｍ￣ｔ
－ｆ
ｏ ｒａｍｅ　
Ｊｉｔｔ
ｅｒ　
（ｔｈｅ‘Ｊｉ
ｔｔｅｒ
　ｏｆ
　ｔｈｅ　
Ｊｉｔ
ｔｅｒ’）
　
感 描述拥有无 限的情感 描述能力 ，
但将 主观情感 转化为客观　
Ｔｈｅ　
１ｏｃａｌ
（ｆｒ
ａｍ ｅ－
ｔｏ－
ｆｒａｍ ｅ）Ｓｈｉ
ｍｍ ｅｒ
　
ｓｈｉ
ｍｍ ｅｒＬｏｃａｌ
＋Ｄｅｌ
ｔａ　
数值 的过程是繁重且无 法保证质 量 的。当前 ，
离 散情 感分类　 （ａｍｐｌ
ｉｔｕｄｅ　ｄｅｖｉ
ａｔｉ
ｏｎｓ
　ｂｅｔｗｅｅｎ　ｐｉ
ｔｃｈ　
ｐｅｒｉ
ｏｄｓ）
　

的研究 比连续情 感维度的研究发展更为繁荣 。在 目前离散语　 Ｖｏｉ

ｃｉｎｇ　
ｆｉｎａｌ
＋Ｄｅ ｌ
ｔａ　
Ｔｈｅ　
ｖｏｉ
ｃｉｎｇ　ｐｒ
ｏｂａｂｉ
ｌｉ
ｔｙ　
ｏｆ　ｔ
ｅ 　ｆ
ｈ ｉｎａｌ
　ｆｕｎｄａｍｅ
ｎｔａｌ
　
ｆｒ
ｅｑｕｅｎｃｙ　ｃ
ａｎｄｉ
ｄａｔ
ｅ．　
音情感 分类 研究中 ，
常 用的情感 分为 ８类情感 模 型（
高兴、
期　 Ｍ ＦＣＣ－ｒ
ｅｌａｔｅｄ　 Ｍ ＦＣＣｓ（１５）＋ ｌ
ｏｇＭ ｅｌ
ＦｒｅｑＢａｎｄ（８）
　

望、
愤怒 、
厌恶 、
悲伤 、
惊奇、
恐惧 、
赞 同）
或 ４类情 感模 型 （
喜、　
３．２ 统 计 函数 转 化 的声 学 特 征 　
怒、
惊、悲 ）。
　
对 于离散情感识 别而言 ，
其 系统的识别 准确 率是 与两个　 在基 础声 学 特 征 上 应 用 了 ２１个 不 同 的统 计 函数 ，
将每个　

要素 紧密相关 的 ：
特征 表示 和分 类器 。在语 音情 感识别 研究　 句子 的一 组时长 不等 的基 础声 学特 征转 化 为定长 的静 态特　
领域 ，
研究人员们 已经尝试 了各种不 同的分类技术 ，
包括高斯　 征。这些 统计 函数包括 最大最小 值 、
均值 、
时 长、
方 差等 。关　

混合模 型（
Ｇａｕ
ｓｓｉ
ａｎ　
Ｍｉｘ
ｔｕｒ
ｅ　Ｍｏｄｅ
ｌ，ＧＭＭ）、
隐马尔可夫模型　 于这 些统计函数的具体描述可 以参考文献 ［
１３］。
　
（Ｈｉ
ｄｄｅｎ　Ｍ ａｒ
ｋｏｖ　Ｍｏｄｅｌ，ＨＭＭ ）、Ｋ－
近 邻 （Ｋ－
ｎｅａｒ
ｅｓｔ
　ｎｅｉ
ｇｈ—
　 ３
．３ 模 型 转 化 的声 学特 征 　

ｂｏｒ
，ＫＮＮ）、人 工 神 经 网 络 （Ａｒ
ｔｉｆ
ｉｃｉ
ａｌ
　Ｎｅ
ｕｒａ
ｌ　Ｎｅ
ｔｗｏｒ
ｋｓ，
　 这一转化的 目的也是将基于分段 的时长不等 的倒谱特征　
ＡＮＮ）、
支持 向量 机 （
Ｓｕｐｐｏ
ｒｔ　Ｖｅ
ｃｔｏｒ
　Ｍａ
ｃｈｉ
ｎｅ，
ＳＶＭ ）等 ［
　］。
　 转化 成 一 组 新 的 定 长 的 静 态 特 征 。但 是 新 的特 征 要 保 持 情 感 　
其 中支持 向量机被认 为是对不 同的模 式识别问题可 以得到 比　 区分 的信 息 ，
而不 只是 简单地在句子级别 上进行统计计算 （
如　
其他 的传统分类技术更好 、
更泛化 的性能 的方法 。
　 ３．２节 中统 计 函数 转 化 的声 学 特征 ）。
　

语音情感 的变化通 常可 以体 现为 语音特 征参数 的变 化 。

　 首先 ，
基于倒谱特征 为每类情 感分别训 练一 个有 ５个高　
例如高兴时 ，
通常是语 速较快 ，
音量较 大 ；
悲伤时 ，
通常是语速　 斯分量 的高斯 混合模型 。整个高斯混合模型或者其 中的高斯　
缓慢 ，
音 量 较 小 。声 学 特 征 （
Ａｃｏｕｓ
ｔｉｃ
　Ｆｅ
ａｔｕｒ
ｅ）是语 音情 感识　 分量都 可以被看作是情感相关的模型 。通过计算倒谱特征与　
别系统使用 的最 主要特征 。研究人 员们 探索了很多不同 的声　 情感 相关模 型之间的匹配度或者距离来进行转化 。转化后 的　
学特征，
包 括与基频 （
Ｐｉｔ
ｃｈ）、能 量 （
Ｅｎｅ
ｒｇｙ）、语 速 （
Ｓｐｅ
ｅｃｈ
　 特征包含 ３个 维度 （
　，ｈ，
ａ）Ｅ
１５
］。其 中 Ｐ是归一化 的帧级倒谱　
Ｒａ
ｔｅ）、
共振峰等相关 的韵律 特征［
１０
，１
１］以及 频 谱 相 关 的 特 征 ，
　 特 征 与情 感 模 型 匹 配 概 率 得 分 的 平 均 值 ，
ｈ是 匹 配 概 率 得 分 　
例 如 Ｍｅｌ
—Ｆｒ
ｅｑｕｅ
ｎｃｙ　
Ｃｅｐ
ｓｔｒ
ａｌ　
Ｃｏｅ
ｆｆｉ
ｃｉ
ｅｎｔ
ｓ（ＭＦＣＣ）和 Ｐｅ
ｒｃｅ
ｐ—　 高的比率 ，
ａ是 在帧级 特征 分布 为 Ｄｉ
ｒｉ
ｃｈｌ
ｅｔ分 布 的假设 前提　
ｔ
ｕａｌ
　Ｌｉ
ｎｅａ
ｒ　Ｐｒ
ｅｄｉ
ｃｔｉ
ｏｎ（
ＰＬＰ）
等ｌ＿
８］。其 中 ＭＦＣＣ是 目前 使 用　 下转化生成 的高级 特征 。将 这些新特征称作模 型转化的倒谱　
最广泛 的语音特征之一 ，
具有计算简单 、
区分 能力好等突出的　 特征 （
Ｍ－Ｃｅ
ｐｓｔ
ｒｕｍ）。
　
优点 。这些特征大部分是帧级 的特征 。基 于帧级 特征 的统计　 ３．
４ 码 宇 转 化 的 声 学 特 征　
特征（
例如均值 、
方差 、
范围等）
也被广泛应用 于语音情感 识别　 码本技术是在 文本 分类 （
ｂａｇ－
ｏＰｗｏｒ
ｄｓ词 袋 ）
以及 图像分　
系统 中［
５］。近年来 ，
根 据深度 神经元 网络学 习得 到的特 征也　 类（
ｂａｇ－
ｏｆ－
ｖｉｓ
ｕａｌ
　ｗｏ
ｒｄｓ视 觉词袋 ）等任 务 中常用 的技 术 。类　
在语音情感识别 任务 中取 得 了很 好 的性能＿
ｌ２
］。但是 基 于深　 似 的音 频 词 袋 （
ｂａｇ
－ｏｆ
－ａｕ
ｄｉｏ
　ｗｏｒ
ｄｓ）
的 方 法 也 被 成 功 地 应 用 到　
・　
２５　・
　
多媒体事件检 测等 任务 中［
　］。其基 本思 想就是 对于 一段音　 ４
．２　 ＣＡＳＩ
Ａ 汉语 情 感 语料 库　
频上 的基础倒谱 特征 ，
通 过统计其 在码本 中每个 码字上 的分　 ＣＡＳＩ
Ａ 是 由 中 国科 学 院 自动 化 研 究 所 录 制 的 ＿
】
　。语 料 　
布，
将 其转化为维度为码本大小的新特征 。本 文首先使用 Ｋ＿
　 设 计 包 含 ６类 不 同 情 感 ：
高兴 、
悲 哀、
生气 、
惊吓、
难过 、
中性 。
　
近￣Ｉ
Ｉ（Ｋ—
ｍｅａ
ｎｓ）
聚类 算法 产生 一个声 学码 本 ，
然 后将 每个 句　 每种 情感 有 ５
Ｏ句 语 料 ，
由 ４位 录 音 人 （
２男 ２女 ）
在 纯 净 录 音　
子表示成其基础声学特征在每个码字上 的分布 ：
　 环境 中（
信噪 比约为 ３
５ｄＢ）
对５Ｏ句语料赋予不 同的情感演绎　
ｄ　一 （
　“ ，… ，
ｄ　．
Ｋ）　 而得 到。语音信号 采用 １６
ｋＨｚ采样以及 １
６ｂｉ
ｔ量化 。经过 听　
其 中，
ｄ　代表第 ｉ个句子 中属于第 Ｊ个码字 的帧 的数 目的加　 辨筛选 ，
最终保 留 １
２００句语音样例 。
　
权 平 均 。Ｋ 代 表码 本 的 大 小 即码 字 的个 数 ，
这 个 参 数 可 以通　 ４．
３ 柏 林 ＥＭＯ－
ＤＢ德 语 情 感 语 音 库　
过在开发集数据上学习调整到最优 。
　 ＥＭＯ－
ＤＢ是 由柏 林 工业 大学 录制 的德 语 情 感 语 音 库 ［
２
　，　
３
．５ 高 斯 超 向量 特 征 　 由１
Ｏ名 演 员 （
５男 ５女 ）
对 １
Ｏ个 语 句 （
５长 ５短 ）进 行 ７种 感 　
近年来 ，
高斯超 向量在 话者识 别的任 务 中有很 成 功的应　 情（
高兴 、
生气 、
焦 虑、
害怕 、
无聊 、
厌恶和中性）的演绎而 得到 ，
　
用＿
１
　。高斯超 向量 通常是 通过 拼接 高斯混 合模 型 中的均值　 共 包 含 ５３
５句 语 料 。语 音 信 号 同 样 采 用 １
６ｋＨｚ采 样 以 及 　
或协方差或权值而生成 的。首先在随机抽取的包含所有情感　 １
６ｂｉ
ｔ量化 。语料 文本 的选取遵从语 义中性 、
无情 感倾 向的原　
的数 据上 训 练 出一个 通用 背 景高 斯混 合模 型 （
称 为 ＧＭＭ－
　 则，
且 为 日常 口语 化 风 格
诣、
超 ，
无
　
厂　过人
　．多
＿＿的书
－　面语 修 饰 。语 音 的 录 制　
、
Ｕ ＢＭ ）：
　 在专业 录音室 中完 成 ，
要 求演员在 演绎某个特定 情感前通过　
Ｍ　
回忆 自身真实经历 或体验进 行情绪 的酝酿 ，
来增 强情绪 的真　
ｇ（Ｘ）一 ∑Ａ
　Ｎ （Ｘ；
　 ，
　 ）
　
ｉ— ｌ
　
实 感 。经 过 ２Ｏ个 参 与 者 （
１０男 １
Ｏ女 ）的 听 辨 实 验 ，
得 到　
其中，
　 是权值 ，
～（　 ，
　）是单 个高 斯 ，
　 和　 是高斯 的均　
８
４．３
　 的听辨正确率 。
　
值 和协方差 。假 定协 方差　 是对 角阵 ，
对于 每个句 子 ，
可 以　
通过 ＭＡＰ（
Ｍａｘ
ｉｍｕ
ｍ　Ａ　
Ｐｏｓ
ｔｅｒ
ｉｏｒ
）适应 生成一个对应 的高斯　 ５ 实验　
混合模 型（
Ａｄａｐ
ｔｅｄ
　ＧＭＭ）；
然后拼接这个 高斯混合模 型的均　 本 文 中所 有 的实 验 都 是 关 于语 音 情 感 分 类 的 。 实验 的评 　
值　 或对角 阵　 或权值　 来产生不 同的超 向量 ，
图 １示 出　 测标准是识别准确率 ，
即：　
了拼接均值产生超 向量的过程。可以把高斯超向量看作是 由　
准确率 一　
低层次声学特征 转化 的高维 特征 ，
并 将 其作 为 ＳＶＭ 分类 器　
的输 入 特 征 。
　 ５．１ 实 验设 置　
本 文 中所 有 的 实 验 都 是 在 １
Ｏ组 交 叉 验 证 （１
０一ｆ
ｏｌｄ
　ｃｒ
ｏｓｓ
　
通 用模 型　
ｖ
ａｌｉ
ｄａｔ
ｉｏｎ）
的模式 下完成 。
　
（
ＧＭＭ－ ＵＢＭ） 　
在后文 中出现 的不 同声学特征及其衍生特征 的名称缩写　
及描述如下所示 ：
　
・
Ｃｅ
ｐｓｔ
ｒｕｍ：
在帧级的倒谱声 学特征 上应用 统计 函数得　
输 入语 句　 到语句级别 的倒谱特征 。
　

图 １ 高 斯 超 向 量 特 征 的生 成 图示　
・
ＡＣＯ：
在帧级 的基 础声学特 征 （
除去倒谱 Ｃｅ
ｐｓｔ
ｒｕｍ特　
征）上应 用统计函数得到语句级别的特征 。
　
４ 数 据集描 述　 ・
Ｍ－
Ｃｅｐｓ
ｔｒｕｍ：
倒谱声学特征根据情感 相关 的高斯混合　
模 型 进 行 距 离 转 化 而 得 出 的特 征 。
　
分别在 Ｉ
ＥＭＯＣＡＰ英语情感语料库 、
ＣＡＳＩ
Ａ汉语情 感语　 ・
ＢｏＷ ：
利 用 声 学 码 本 转 化 的 特 征 。ＡＣＯ－
ｏ Ｗ 是 指对　
Ｂ
料库和 Ｂｅ
ｒｌｉ
ｎ德语情感语料库 中进 行 了实 验。下面将对 这 ３
　
帧级基础声学特征 （
除倒 谱特 征 ）
进 行码 本转 化 而得 到的特　
个数据集逐一介 绍 。
　
征，
Ｃｅｐｓ
ｔｒｕ
ｍ－ＢｏＷ 是 指 对 倒 谱 声 学 特 征 进 行 码 本 转 化 而 得 　
４．１
　ＩＥＭＯＣＡＰ英 语 情 感 数 据 集　
到 的特 征 。
　
Ｉ
ＥＭＯＣＡＰ是 由南加 利福 利亚大 学录 制 的情感数 据 库 ，
　 ・
ＧＳＶ：
通过拼接 ＭＡＰ－
自适 应得 到 的高斯 混合 模型 的　
包含约 １
２小时的视听数据 ，
即视频、
音频和语音文本 、
面部表　 均 值 或 协 方 差 或 权 重 而 形 成 的 高 斯 超 级 向量 。在 实 验 中 ，
生　
情＿
ｌ８
］。１
０名专业演员 （
５男 ５女 ）
在有 台词或 即兴 的场景 下 ，
　 成 的 ＧＳＶ特征是基于帧级 的倒谱声学特征而得到 的。
　
特意 引导 出情感 表达 。之 后 ，
人工将每一段对话切分成单 句 ，
　 ・
十：
特 征 的 拼 接 操 作 。 如 ：ＡＣＯ＋ Ｃｅｐｓ
ｔｒｕｍ 是 指 拼 接 　
每一句话至少 由 ３个标 注员进行类别标注（
ｉｎ高兴 、
生气等），
　 ＡＣＯ和 Ｃｅ
ｐｓｔ
ｒｕｍ 特 征 。
　
此 外 也 对 Ｖａ
ｌｅｎｃ
ｅ、Ａｃ
ｔｉｖａ
ｔｉｏｎ、
Ｄｏｍｉ
ｎａｎ
ｃｅ　
３个 维 度 进 行 了 标　 实验 中 ，
首先利 用 ＳＶＩ
Ｖｌ
ｃ　］
分类 器在 Ｉ
ＥＭＯＣＡＰ上 比较　
注 。本 文 的实 验 仅 考 虑无 较 大 争议 的 分 类标 注 结 果 。为 了 平　 了上述 每组特征 的效果 ，
并 尝试 了前期 特征融合 和后期分类　
衡 不 同 情感 类 别 的 数 据 ，
将 高兴 （
ｈａｐ
ｐｙ）和 兴 奋 （
ｅｘｃ
ｉｔｉ
ｎｇ）
合　 结果融合 ，
然后将较好的特征及组合推广 到 ＣＡＳＩ
Ａ和 ＥＭＯ－
　
并 成高兴类别 。由高兴 、
生气 、
悲伤和 中性最终构成 了 ４类情　 ＤＢ不 同语 言 的数 据 集 中来 验 证 其 鲁 棒 性 和 可 迁 移 性 。
　
感 识别数据库 。表 ２展示了每一类情感的语句个数 。
　 分 类 器 是 情 感 识 别 系统 中最 重 要 的部 分 之 一 。在 众 多 的　

表２
　ＩＥＭＯＣＡＰ数 据 集 中每 个 情 感 类 别 语 句 的 数 量　 分类器 中 ，
支 持 向量 机 Ｓ
ＶＭ 在 多 种 不 同 应 用 中都 被 认 为 是 　
最有效 的分类器之一 ，
而且 比神经 网络更易于使用 。通常 ，
径　
兰　 壹　 斐笪　 主
　堡　
１１０３　 １６３６
　 １０８４　 １７０８　 ５５３１
　 向基核 函数 （
ＲＢＦ－
ＳＶＭ）
是最基 础的选择 。Ｃ和 ｙ是在 ＲＢＦ－
　
・　
２６　・
　
ＳＶＭ 中需要调 节的两个参数 ，
Ｃ控制调 整训练 的错 误和最 大　 分类准确率 。实验结果显示后期融合效果没有前期融合好 ，
很　
边界 ，
ｙ调整核 的宽 度。通常使用 网格搜 索进行交 叉验证 ，
对　 有 可能是 由于投票结果值的离散性使其并不适用于后期 融合 。
　
Ｃ和 ｙ进行调优 。在实 验 中，
使 用数 据挖 掘 工具 Ｗｅ
ｋａ［
２２
］中　 表 ６ 两组特征后期融合的情感分类 准确率　
的网格搜索算法来调 整 Ｃ和 ｙ，
其 中 Ｃ的范 围是 ２
　到 ２
　，ｙ
　 特征集　 准确率　
的范 围是 ２
　到 ２
　 呈指数增长 。
　 Ｃｅｐｓｔ
ｒｕｍ ＋ ＧＳＶ　
ＣＯＷ　 ６５．５　

Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ ＋ ＧＳ、　ｍ ｅａｎ　 ６７．０　
５．２　 Ｉ
ＥＭＯＣＡＰ实 验 结 果　
Ｃｅｐｓ
ｔｒｕｍ－Ｂ　Ｗ ＋ ＧＳＶ—
ＣＯＶ　 ６７．１　
表 ３列出 了每一组特征在 Ｉ
ＥＭＯＣＡＰ数据集上 的分类效　 Ｃｅ
ｐｓｔｒ
ｕｍ ＋ Ｃｅｐｓｔｒ
ｕｍ－ＢｏＷ 　 ６７．０　

果 。基于协方差 的高斯超 向量 取得 了在单一特征 中的最高准　 Ｃｅｐｓｔ

ｒｕｍ ＋ ＧＳＶ－ｍ ｅａｎ　 ６５．４　

ＡＣ０＋ Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ 　 ６６．９　
确率 ６
７．８
　 ，超 过 了此 前 文 献 ［
１５］中 报 告 的声 学 特 征 在　
Ｍ－
Ｃｅｐｓ
ｔｒｕｍ ＋ ＧＳＶ－ｅｏｖ　 ６８．０％　
Ｉ
ＥＭＯＣＡＰ　
４类 情 感 分 类 的 准 确 率 。 码 本 转 化 （Ｂｏ
Ｗ ）选 择 的　 ＡＣｏ＋ ＧＳＶ—Ｃ
ＯＹ　 ６７．９　

聚类码本大小 为 ４
０９６，
其在倒谱 声学特 征（
Ｃｅｐｓ
ｔｒｕｍ）中效果　 （　 一
ｍ ｅａｎ　 Ｇ　Ｎ —ＣＯＶ　 ６７．５　

Ａ Ｃｏ ＋ ＧＳＶ—ｍｅａｎ　 ６７．３　
良好 ，
但是在基础声学特征 （
ＡＣＯ）中的效果 却大 相径庭 。这　
是 因为对于尤其 是描述语 音质量 的特征来说 ，
其包 含 了长 时　 ５．３
　 ＣＡｓＩ
Ａ 实 验 结 果　
信息 ，
仅仅有小部分的帧有非零值 ；
而对于频谱特征蕴含 的短　 使 用在 Ｉ
ＥＭＯＣＡＰ中效果 较好 的单个 特征 集合 在 ＣＡ—
　
时信息 ，
则可以很好地通过码本转换体现 。
　 ＳＩ
Ａ数据集上进行测试 。结果如 表 ７所列 ，
其中，
对于 Ｃｅ
ｐｓ—
　
表 ３ 单组 特征在 Ｉ
ＥＭＯＣＡＰ数据集上的分类准确率　 ｔ
ｒｕｍ－
ＢｏＷ 特征 ，
经 过交叉验 证当聚类码 本大小为 ２
０４８时效　
果 最好 ，
这是 由于 ＣＡＳＩ
Ａ数据集的数据量 比 Ｉ
ＥＭｏＣＡＰ数据　
集小 。在 中文语 音 环 境 下 ，
Ｃｅｐ
ｓｔｒ
ｕｍ－
ＢｏＷ 和 ＧＳＶ－
ｍｅａ
ｎ仍　
然保 持了很好的迁移性 。由于后期 融合效 果不 明显 ，
只进行　
了前期 的两类和三类特征集融合 ，
实验结果 如表 ８所列 。
　

表 ７ 单组特征在 ＣＡＳＩ
Ａ数据集上的情感 分类 准确率　

在前期融合 中 ，
对特征集 合 中所 有特 征的两两 组合 进行　
了实验 ，
即不同特征的简单拼接 。表 ４展示 了 Ｔｏ
ｐ－ｌ
Ｏ的特征　
组合及其分类准确率 。从 中发现 ＡＣＯ 与其他每 一个单 一特　
表 ８ 多组特征前期融合在 ＣＡＳＩ
Ａ数据集上 的情感分类准确率　
征 的融合都对分 类性 能 有所 提高 ，因此考 虑到 ＡＣ０和 其他　
特征集　 准确率　
短时信息特征 的互 补性 ，
把 ＡＣＯ和其 他频 谱 转化得 到 的特　
ＡＣ０＋ Ｃｅｐｓｔｒ
ｕｍ　 ８４．７　
征进行 ３种 特征 的 融 合。如 表 ５所 列 ，
ＡＣＯ、
ＧＳＶ－
ｍｅａ
ｎ和　 ＡｃＯ ＋ Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ 　 ８５
．３％　
ＧＳＶ－
ｃｏｖ融合取得了最高 的分类准 确率 ７
１．９
　，远远超 出 了　 ＡＣ０＋ ＧＳＶ—ｍｅａｎ　 ８５
．１％　
Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ ＋ ＧＳｖ＿
ｍ ｅａｎ　 ８６　
此前在 Ｉ
ＥＭＯＣＡＰ　
５类情感识 别中的最好结果¨
１
　。　
Ｃｅｐｓｔ
ｒｍｎ＋ Ｃｅ
ｐｓｔ
ｒｍ￣ ＢｏＷ 　 ８７
．２％　
表４
　 Ｔｏｐ１
０两组特征前期融合 的分类准确率　 ＡＯＯ＋Ｃｅｐｓ
ｔｒｕｍ－ＢｏＷ ＋ ＧＳＶ－
ｍｅａｎ　 ８６．７　
ＡＣＯ ＋ ｅｅｐｓｔ
ｒｕｍ ＋ Ｃｅｐｓｔ
ｒｍｎ－ＢｏＷ 　 ８７
．８％　
特征集　 准确率　
Ｃｅｐｓｔ
ｒｕｍ－ＢＯＷ ＋ ＧＳＶ－
ｍｅａｎ　 ７１．００％　
Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ ＋ ＧＳ、Ｌｅｏｖ　 ７Ｏ．９０％　
５
．４　 ＥＭＯ－
ＤＢ实 验 结 果　
Ｃｅｐｓｔｒ
ｕｍ　 Ｃｅｐｓｔ
ｒｕｍ－ＢｏＷ 　 ７Ｏ．６０　 同样 的配 置 在 ＥＭＯ－
ＤＢ数 据 集 上 的 实 验 结 果 如 表 ９和　
Ｃｅｐｓｔ
ｒｕｍ ＋ ＧＳＶ—
ｍ ｅａｎ　 ７Ｏ．４０　
表ｌ
Ｏ所列 ，
Ｃｅｐｓ
ｔｒｕ
ｍ－ＢｏＷ 的聚类码本 大小 为 １
０２４时效果 最　
Ｃｅｐｓｔ
ｒｕｍ ＋ ＧＳｖ＿
ＣＯＶ　 ７Ｏ．２Ｏ　
ＡＣＩ
Ｄ　 Ｃｅｐｓｔ
ｒｕｍ －
ＢｏＷ 　 ７０．１０　
好，
这 也 与 数据 集 大 小 相 关 ，ＥＭＯ－
ＤＢ的 数 据集 大 小 约 为　
Ｉ
Ｖ［Ｃｅｐｓｔ
ｒｕｍ ＋ ＧＳＶ－
ｃｏｖ　 ６９．７Ｏ　 ＣＡＳＩＡ 的一 半 。
　
ＡＣｏ＋ ＧＳＶ—
ＣＯＹ　 ６９．６０　
表 ９ 单组特征在 ＥＭＯ－
ＤＢ数据集上 的分类准确率　
ＧＳＶ —
ｍ ｅａｎ＋ ＧＳＶ —
ＣＯＷ　 ６９．４Ｏ　
ＡＣｏ＋ ＧＳＶ　
ｍ ｅａｎ　 ６９．１０　

表５
　 ３组 特 征 前 期 融合 的 分类 准 确率 　
特征 集　 准确 率　
ＡＣＯ ＋ Ｃｅｐｓｔｒ
ｕｍ－
ＢｏＷ ＋ Ｇ ＳＶ－ｍｅ￣ 　 ７１．６
　
ＡＣ０＋ Ｃｅｐｓｔ
ｒｕｍ －
ＢｏＷ ＋ ＧＳＶ－ｃ
ｏｖ　 ７１．８　
Ａｃ０ ＋ Ｃｅｐｓｔ
ｒｕｍ ＋ Ｃｅｐｓｔ
ｒｕｍ－
ＢｏＷ 　 ７１．４
　
ＡＣ（）＋ Ｃｅｐｓｔｒ
ｕｍ ＋ ＧＳＶ－ｍｅａｎ　 ７１．２
　
表 １Ｏ 多组特征前期 融合在 ＥＭＯ－
ＤＢ数据集上 的分类准确率　
ＡＣＯ＋ Ｃｅｐｓｔ
ｒｕｍ＋ ＣＳＶ－
ｃｏｙ　 ７０．３
　 特征集　 准确率　
ＡＣｏ ＋ Ｍ －Ｃｅｐｓｔ
ｒｕｍ＋ ＧＳＶ－
ｃｏｖ　 ７Ｏ．３
　 ＡＣＯ＋ Ｃｅｐｓｔ
ｒｕｍ　 ８７．８　
Ａｃｏ＋ ＧＳＶ—
ｎ－ｅ
ａｎ＋ ＧＳＶ－
ｅＯＶ　 ７１．９％　 ＡＣ０＋ Ｃｅｐｓｔ
ｒｕｍ －
ＢｏＷ 　 ８８．４　
ＡＣＯ＋ＧＳＶ—ｍｅａｎ　 ８８．８　

对于后期融 合 ，
采用 简单 的线性加 权 融合 。利用 ＦｏＣａ
ｌ　 Ｃｅｐｓｔ
ｒｕｍ ＋ ＧＳＶ－
ｍ ｅａｎ　 ８９．５　
Ｃｅｐｓｔ
ｒｕｍ ＋ Ｃｅｐｓｔ
ｒｕｍ －
ＢｏＷ 　 ８
９．７％　
工具　 在训练集 中进行权重 的取优 ，
最后将得 到的权重参数　 Ａ ＣＯ 一－Ｃｅｐｓｔｒ
ｕｍ Ｊ＿Ｃｅｐｓ
ｔｒｕｍ－ＢｏＷ 　 ９０．１
　
应 用 于测 试 集 。表 ６列 出 了 在 决 策 层 面上 的 后 期 融 合 的 情 感　 Ａｃｏ＋ Ｃｅｐ￣ｒｕｍ ＋ ＧＳＶ—
ＩＩｌ
Ｉ皿 　
－ ９０．３　

・　
２７　・
　
 从表 中 可 以看 出，
Ｃｅｐｓ
ｔｒｕｍ－
ＢｏＷ 和 ＧＳＶ－
ｍｅａｎ对 不 同　 ［
９］ Ｚｈａ
ｎｇ　
Ｂ　Ｙ，Ｙｕ
　Ｊ　Ｑ，
Ｔａｎｇ
　Ｊ　Ｆ，
ｅｔ　ａ１
．Ｍｏ
ｖｉｅ　
ｂａｃ
ｋｇｒ
ｏｕｎｄ　
ｍｕｓ
ｉｃ　
语言的鲁棒性较高 ，
但 是受数据集大小影 响较 大 ；
数据集减小　 ｃ
ｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ　
ｆｏｒ
ｅｍｏｔ
ｉｏｎ
　ＥＪ］．Ｃｏｍｐｕｔ
ｅｒ　Ｓｃ
ｉｅｎｃ
ｅ，２０１
３，４０（１２）：
　
３７—４Ｏ。７４　
后，
其效果甚 至不 如直 接对 每 帧特征 的统计 函数 值 。但 是 ，
　
［１
Ｏ］Ｓｃｈｕｌ
ｌｅｒ
　Ｂ，Ｒｅ
ｉｔｅｒ
　Ｓ，Ｍｕｅ
ｌｌｅ
ｒ　Ｒ，ｅｔ
　ａ１
．
　ｓｐｅ
ａｋｅｒ
—ｉ
ｎｄｅ
ｐｅｎｄｅ
ｎｔ　
ＡＣＯ特征与经过转化后 的倒谱声学特征 的互 补信息更 多 ，
融　
ｓ
ｐｅｅ
ｃｈ　
ｅｍｏｔ
ｉｏｎ　
ｒｅｃｏ
ｇｎｉ
ｔｉ
ｏｎ　
ｂｙ　
ｅｎｓ
ｅｍｂｌ
ｅ　ｃｌ
ａｓｓ
ｉｆｉ
ｃａｔ
ｉ０ｎ［
Ｃ］∥Ｐｒ
ｏ—　
合效果显著 。
　
ｃｅｅｄｉ
ｎｇｓ
　ｏｆ
　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉ
ｏｎａｌ
　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍ ｕｌｔ
ｉｍ ｅｄｉ
ａ　ａｎｄ　
结束语 本文在 Ｉ
ＥＭＯＣＡＰ英语情感语料 库 、
ＣＡＳＩ
Ａ汉　
Ｅｘｐｏ（ＩＣＭ Ｅ）．Ａｍ ｓｔｅｒｄａｍ ，Ｎｅｔ
ｈｅｒｌ
ａｎｄｓ，２００５：８６４—８６７　
语情 感语 料库和 Ｂｅ
ｒｌｉ
ｎ德语情感 语料库 等 ３种 不 同语言 、
不　
［１
１］Ｐａ
ｏ　Ｔ　
Ｌ，Ｃｈｅ
ｎ　Ｙ　
Ｔ，Ｙｅ
　Ｊ　Ｈ，
ｅｔ　
ａ１．Ｍａ
ｎｄａｒ
ｉｎ　
Ｅｍｏｔ
ｉｏｎａｌ
　Ｓｐｅ
ｅｃｈ　
同大小 的数据 集上进行 了语音情感识别 实验 ，
主要工作 是抽　
Ｒｅｃ
ｏｇｎｉ
ｔｉ
ｏｎ　
ｂａｓ
ｅｄ　
ｏｎ　
ＳＶＭ　
ａｎｄ　
ＮＮ［Ｃ］ｆ
　Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
　ｏｆ
　Ｉｎｔ
ｅｒ—
　
取 不 同 的声 学 特 征 以及 对 帧 级 别 特 征 的 多 种 转 化 ，
包 括 模 型　 ｎａｔｉ
ｏｎａｌ
　Ｃｏｎｆ
ｅｒｅｎｃｅ　ｏｎ　Ｐａｔｔ
ｅｒ　Ｒｅｃｏｇｎｉｔ
ｉｏｎ （ＩＣＰＲ ）． ２００６，１：
　
转换 、
码本转换 、
高斯超级向量 。数据 集的规模 对于数据驱动　 １０９６～１
　１００　

的码 本特征和高斯超级 向量有较大影响 ，
但整体来说 ，
转化后　 ［１
２］Ｌｅｅ
　Ｈ，
Ｌａｒ
ｇｍａ
ｎ　Ｙ，
Ｐｈａ
ｍ　Ｐ，
ｅｔ　
ａ１．Ｕｎｓ
ｕｐｅ
ｒｖｉ
ｓｅｄ
　ｆｅ
ａｔｕｒ
ｅ　ｌ
ｅａｒ
ｎｉｎｇ　
的特 征分类效果更优 ，
且与原始统计 函数 的特征具有互补性 。
　 ｆｏｒ
　ａｕｄｉ
ｏ　ｃｌ
ａｓｓｉ
ｆｉｃａｔｉ
ｏｎ　ｕｓｉ
ｎｇ　ｃｏｎｖｏｌ
ｕｔｉ
ｏｎａｌ
　ｄｅｅｐ　ｂｅｌ
ｉｅｆ
　ｎｅｔｗｏｒｋｓ　

在 每个数 据集 中通过 特征 融合 ，
都 大大 提高 了识 别准 确率 。
　 ［ｃ］∥ Ｐｒ
ｏｃｅｅ
ｄｉｎｇｓ
　ｏｆ
　Ａｄｖａ
ｎｃｅ
ｓ　ｉ
ｎ　Ｎｅ
ｕｒａ
ｌ　Ｉ
ｎｆｏｒ
ｍａｔ
ｉｏｎ　Ｐｒ
ｏｃｅｓ
－　

在 Ｉ
ＥＭＯＣＡＰ 数据 集上 ，
系 统 的 识 别 准 确 率 达 到 了 ７１
．９　，
　 ｓｉ
ｎｇ　Ｓｙｓｔ
ｅｍｓ（ＮＩ
ＰＳ）．２００９：１－９　

超越 了之前 在此数 据集 上报 告的最好 结果 。

　 ［１３］Ｅｙｂｅｎ
　Ｆ，Ｗｏｌ
ｌｍｅｒ
　Ｍ，Ｓｃ
ｈｕｌ
ｌｅｒ
　Ｂ　ＯｐｅｎＳＭＩ
Ｉ　Ｅ—
Ｔｈｅ
　Ｍｕｎｉ
ｃｈ　
Ｖｅｒ
ｓａｔ
ｉｌｅ
　ａｎｄ　
Ｆａｓ
ｔ　Ｏｐｅｎ
－Ｓｏｕｒ
ｃｅ　
Ａｕｄ
ｉｏ　
Ｆｅａｔ
ｕｒｅ
　Ｅｘｔ
ｒａｃｔ
ｏｒ［Ｃ］／
／　
未来的工作会 致力 于探索 其他 不 同类 型 的特征 转化 方　
Ｐｒｏｃｅｅｄｉ
ｎｇｓ　ｏｆ
　ＡＣＭ 　Ｍ ｕｌ
ｔｉｍｅｄｉ
ａ（Ｍ Ｍ ）．Ｆｌｏｒｅｎｃｅ，Ｉｔａｌｙ，２０１０：
　
法，
如利 用深度神 经网络进行 特征学 习以及 在后期更加 有效　
１４５９—１４６２　
的融合模 式 。
　
［１４］Ｓｃｈｕｌ
ｌｅｒ
　Ｂ，
Ｂａｔ
ｌｉ
ｎｅｒ
　Ａ，Ｓｔ
ｅｉｄｌ
　Ｓ，ｅ
ｔ　ａ１
．Ｒｅｃ
ｏｇｎｉ
ｚｉ
ｎｇ　
Ｒｅａｌ
ｉｓｔ
ｉｃ
　Ｅｍｏ—
　
参 考 文 献　 ｔｉ
ｏｎｓ　ａｎｄ　Ａｆｆｅｃｔ　ｉ
ｎ　Ｓｐｅｅｃｈ：Ｓｔａｔｅ　ｏｆ
　ｔｈｅ　Ａｒｔ
　ａｎｄ　Ｌｅｓｓｏｎｓ　Ｌｃａｎｔ
　

ｆ
ｒｏｍ　
ｔｈｅ
　Ｆｉ
ｒｓｔ
　Ｃｈａｌ
ｌｅｎｇｅ［Ｊ］．Ｓｐｅｅ
ｃｈ　Ｃｏｍｍｕｎｉ
ｃａｔ
ｉｏｎ，２
０１１，５３
　
［１
］ Ｌｉ
ｔｍａｎ　
Ｄ，Ｆｏｒ
ｂｅｓ
　Ｋ．Ｒｅｃ
ｏｇｎｉ
ｚｉ
ｎｇ　
ｅｍｏｔ
ｉｏｎｓ
　ｆｒ
ｏｍ　ｓ
ｔｕｄｅ
ｎｔ　
ｓｐｅｅ
ｃｈ　
（１０）：１０６２—１０８７　
ｉ
ｎ　ｔ
ｕｔｏｒ
ｉｎｇ　ｄｉ
ａｌｏｇｕｅ
ｓ　Ｅｃ］ｆ
　Ｐｒ
ｏｃｅｅ
ｄｉｎｇ　ｏｆ
　ＩＥＥＥ　Ｗｏｒ
ｋｓｈｏｐ　ｏｎ　
［１５］Ｒｏｚ
ｇｉｃ
　Ｖ，Ａｎａ
ｎｔｈａ
ｋｒｉ
ｓｈｎａｎ　
Ｓ，Ｓａ
ｌｅｅｍ　
Ｓ，ｅｔ
　ａ１
．Ｅｍｏｔ
ｉｏｎ
　Ｒｅ
ｃｏｇｎｉ
—　
Ａｕｔ
ｏｍ ａｔｉ
ｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉ
ｔｉｏｎ　ａｎｄ　Ｕ ｎｄｅｒｓｔａｎｄｉ
ｎｇ（ＡＳＲＵ ）．
　
ｔ
ｉｏｎ　
ｕｓｉ
ｎｇ　
Ａｃｏｕｓ
ｔｉｃ
　ａｎｄ
　Ｌｅｘｉ
ｃａｌ
　Ｆｅａ
ｔｕｒ
ｅｓ［ｃ］∥ Ｐｒ
ｏｃｅｅ
ｄｉｎｇｓ
　ｏｆ
　
２００３：２５—３Ｏ　
ＩＮＴＥＲＳＰＥＥＣＨ　２０１２．Ｓｅｐｔｅｍｂｅｒ　
Ｐｏｒｔｌ
ａｎｄ，２０１２　
［２］ Ｆｒ
ａｎｃ
ｅ　Ｄ　
Ｊ，Ｓｈｉ
ａｖｉ
　Ｒ　
Ｇ，Ｓｉ
ｌｖｅ
ｒｍａ
ｎ　Ｓ，
ｅｔ　
ａＩ．Ａｃｏ
ｕｓｔ
ｉｃａｌ
　ｐｒ
ｏｐｅ
ｒｔｉ
ｅｓ　
［１６］Ｌｅ
ｅ　Ｋ，Ｅｌ
ｌｉ
ｓ　Ｄ　
Ｐ　Ｗ．Ａｕｄｉ
ｏ－Ｂａｓ
ｅｄ　
Ｓｅｍａｎｔ
ｉｃ　
ｏ ｎｃｅ
Ｃ ｐｔ　
Ｃｌａ
ｓｓｉ
ｆｉ
ｃａ—
　
ｏ
ｆ　ｓ
ｐｅｅｃ
ｈ　ａｓ
　ｉｎｄｉ
ｃａｔ
ｏｒｓ
　ｏｆ
　ｄｅｐｒ
ｅｓｓ
ｉｏｎ　
ａｎｄ
　ｓｕｉ
ｃｉ
ｄａｌ
　ｒｉ
ｓｋ口］．Ｉ
ＥＥＥ　
ｔ
ｉｏｎ　ｆ
ｏｒ　Ｃｏ
ｎｓｕｍｅｒ
　Ｖｉ
ｄｅｏ［Ｊ］．Ｉ
ＥＥＥ　Ｔｒ
ａｎｓ
．Ａｕｄｉ
ｏ，Ｓｐｅｅ
ｃｈ，ａ
ｎｄ　
Ｔｒａｎｓ．ｏｎ　Ｂｉ
ｏｍ ｅｄｉ
ｃａｌ
　Ｅｎｇｉ
ｎｅｅｒｉ
ｎｇ，２０００，４７（７）：８２９—８３７　 Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉ
ｎｇ，２０１０，１８（６）：１４０６—１４１６　
［
３］ Ｙａｎｇ　
Ｎ，Ｍｕｒ
ａｌｅｅ
ｄｈａ
ｒａｎ　
Ｒ，Ｋｏｈ１
　Ｊ，
ｅｔ　ａ１
．Ｓｐｅ
ｅｃｈ－
ｂａｓ
ｅｄ　ｅ
ｍｏｔ
ｉｏｎ　
［１７］Ｃａ
ｍｐｂｅｌ
ｌ
　Ｗ　
Ｍ，Ｓｔ
ｕｒｉ
ｍ　Ｄ　
Ｅ，Ｒｅｙ
ｎｏｌ
ｄｓ　Ｄ　
Ａ．Ｓｕｐｐｏｒ
ｔ　ｖｅｃ
ｔｏｒ
　ｍａ—
　
ｃｌ
ａｓｓｉ
ｆｉｃａｔ
ｉｏｎ　ｕｓｉ
ｎｇ　ｍ ｕｌ
ｔｉｃｌ
ａｓｓ　ＳＶＭ 　ｗｉ
ｔｈ　ｈｙｂｒｉ
ｄ　ｋｅｒｎｅｌ
　ａｎｄ　
ｃ
ｈｉｎｅ
ｓ　ｕｓ
ｉｎｇ　ＧＭＭ　ｓ
ｕｐｅｒ
ｖｅｃ
ｔｏｒ
ｓ　ｆ
ｏｒ　ｓ
ｐｅａｋｅｒ
　ｖｅｒ
ｉｆ
ｉｃａ
ｔｉｏｎ［Ｊ］
．　
ｔ
ｈｒｅ
ｓｈｏｌ
ｄｉｎｇ　
ｆｕｓ
ｉｏｎ［Ｃ］∥Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
　ｏｆ
　ｔｈｅ
　４　Ｉ
ＥＥＥ　
ｗｏｒ
ｋｓｈｏｐ　 ＩＥＥＥ　Ｓｉ
ｇｎａｌ
　Ｐｒｏｃｅｓｓｉ
ｎｇ　Ｌｅｔｔｅｒｓ，２００６：３０８—３　
１１　
ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｔｅｃｈｎ０ｌ
０ｇｙ（ＳＬＴ），２０１２．Ｍ ｉ
ａｍｉ，Ｆｌ
ｏｒｉ
ｄａ，
　 ｒ１
８］ Ｂｕｓｓ
ｏ　Ｃ，
Ｂｕｌ
ｕｔ　Ｍ ，Ｌｅ
ｅ　Ｃ　Ｃ，ｅ
ｔ　ａ１
．ＩＥＭ０ＣＡＰ：Ｉ
ｎｔｅｒ
ａｃｔ
ｉｖｅ
　ｅｍｏ—
　
２０１２：４５５—４６０　
ｔ
ｉｏｎａｌ
　ｄｙａ
ｄｉｃ
　ｍｏｔ
ｉｏｎ　
ｃａｐｔ
ｕｒｅ
　ｄａｔ
ａｂａｓ
ｅ［Ｊ］．Ｊｏｕｒ
ｎａｌ
　ｏｆ
　Ｌａｎｇｕａ
ｇｅ　
［
４］ Ｓｃ
ｈｕｌ
ｌｅｒ
　Ｂ，
Ｒｉｇｏｌ
ｌ　
Ｇ，Ｌａｎｇ＾，
Ｌ　
Ｓｐｅ
ｅｃｈ　ｅ
ｍｏｔ
ｉｏｎ　
ｒｅｃ
ｏｇｎｉ
ｔｉ
ｏｎ　ｃ
ｏｍ—
　 Ｒｅｓ
ｏｕｒｃｅｓ
　ａｎｄ　Ｅｖａｌ
ｕａｔｉ
ｏｎ，２ＯＯ８。４２（４）：３３５—３５９　
ｂｉ
ｎｉｎｇ　ａｃｏｕｓｔｉ
ｃ　ｆｅａｔ
ｕｒｅｓ
　ａｎｄ　ｌ
ｉｎｇｕｉ
ｓｔｉ
ｃ　ｉ
ｎｆｏｒｍ ａｔｉ
ｏｎ　ｉ
ｎ　ａ　ｈｙｂｒｉ
ｄ　 ［１
９］Ｄａ
ｔａ　
ｃｏｌ
ｌｅｃｔ
ｅｄ　
ｂｙ　ｔ
ｈｅ　
ｓｐｅｅ
ｃｈ　
ｇｒｏｕｐ　
ａｔ　
Ｎａｔ
ｉｏｎａ
ｌ　Ｋｅ
ｙ　Ｌａ
ｂｏｒ
ａｔｏｒ
ｙ　
ｓ
ｕｐｐｏｒ
ｔ　ｖｅ
ｃｔｏｒ
　ｍａｃ
ｈｉｎｅ
－ｂｅｌ
ｉｅ
ｆ　ｎｅ
ｔｗｏｒ
ｋ　ａ
ｒｃｈｉ
ｔｅｃｔ
ｕｒｅ［ｃ］∥Ｐｒ
ｏ　 ｏｆ
　Ｐａｔ
ｔｅｒ
ｎ　Ｒｅｃ
ｏｇｎｉ
ｔｉ
ｏｎ［０Ｌ＿．ｈｔ
ｔｐ：
／／、
＾　 ．ｄａ
ｔａｔ
ａｎｇ．ｃ
ｏｍ／ｄａ
ｔａ／
　
ｃｅｅｄｉ
ｎｇｓ　ｏｆ
　ｔｈｅ　ＩＣＡＳＳＰ．２００４，１：５７７—５８０　 ３９２７７　

［５］ Ａｙａ
ｄｉ　
Ｍ，Ｋａ
ｍｅｌ
　Ｍ，
Ｋａｒ
ｒａｙ
　Ｆ．Ｓｕｒ
ｖｅｙ　
ｏｎ　
ｓｐｅ
ｅｃｈ　
ｅｍｏｔ
ｉｏｎ　
ｒｅｃｏ
ｇ—　 ｒ２
Ｏ］Ｂｕｒ
ｋｈａｒ
ｄｔ　
Ｆ，Ｐａｅｓ
ｃｈｋｅ
　Ａ，
Ｒｏｌ
ｆｅｓ
　Ｍ，
ｅｔ　
ａ１．Ａ　
ｄａｔ
ａｂａ
ｓｅ　
ｏｆ　
Ｇｅｒ
ｍａｎ　
ｎｉ
ｔｉ
ｏｎ：Ｆｅ
ａｔｕｒ
ｅｓ，
ｃｌａｓ
ｓｉｆ
ｉｃａｔ
ｉｏｎ
　ｓｃｈｅ
ｍｅｓ，ａｎｄ　
ｄａｔ
ａｂａ
ｓｅｓ［Ｊ］
．Ｐａｔ
—　 ｅｍｏｔ
ｉｏｎａｌ
　ｓｐｅ
ｅｃｈ［Ｃ］∥ Ｐｒ
ｏｃｅ
ｅｄｉ
ｎｇｓ
　ｏｆ
　ＩＮＴＥＲＳＰＥＥＣＨ　２００５．
　
ｔｅｒｎ　Ｒｅｃｏｇｎｉ
ｔｉｏｎ，２０１１。４４（３）：５７２—５８７　 Ｌｉ
ｓｂｏｎ，２００５：１５１７—１５２０　

［６］ Ｚｅｎｇ　
ｚ，Ｐａｎｔ
ｉｃ　
Ｍ，Ｒｏｓ
ｉｍａｎ　
Ｇ　Ｉ，
ｅｔ　
ａ１．Ａ　
ｓｕｒ
ｖｅｙ
　ｏｆ
　ａｆ
ｆｅｃ
ｔ　ｒ
ｅｃｏｇｎｉ
　 ［２１］Ｈｓｕ
　Ｃ　
Ｗ，Ｃｈａ
ｎｇ　
Ｃ　Ｃ，
Ｌｉｎ　
Ｃ　Ｊ．Ａ　
ｐｒａ
ｃｔｉ
ｃａｌ
　ｇｕｉ
ｄｅ　
ｔｏ　ｓ
ｕｐｐｏｒ
ｔ　ｖｅｃ
　
ｔ
ｉｏｎ　
ｍｅｔ
ｈｏｄｓ：Ａｕｄｉ
ｏ，ｖｉ
ｓｕａ１
，ａｎｄ
　ｓｐｏｎｔ
ａｎｅ
ｏｕｓ
　ｅｘｐｒ
ｅｓｓ
ｉｏｎｓ［Ｊ］
．　 ｔ
ｏｒ　
ｃｌａｓ
ｓｉｆ
ｉｃａ
ｔｉｏｎ［ＯＬ］．２０１０．ｈｔ
ｔｐｔ
｜｛　 ．ｃｓ
ｉｅ．ｎｔ
ｕ．ｅ
ｄｕ．ｔ
ｗ／　
Ｉ
ＥＥＥ　Ｔｒａｎｓ．ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌ
ｙｓｉ
ｓ　ａｎｄ　Ｍ ａｃｈｉ
ｎｅ　Ｉｎｔ
ｅｌｌ
ｉｇｅｎｃｅ，
　 ｃ
ｊｈｎ／ｐａｐｅｒ
ｓ／ｇｕｉ
ｄｅ／ｇｕｉ
ｄｅ．ｐｄｆ
　

２００９，３１（１）：３９—５８　 ［２２］Ｗｉ
ｔｔｅ
ｎ　Ｉ
　Ｈ，
Ｆｒａｎｋ　
Ｅ，Ｔｒ
ｉｇｇ　
Ｉ　Ｅ，ｅ
ｔ　ａ１
．ｗｅ
ｋａ：
Ｐｒａｃ
ｔｉｃ
ａｌ　
ｍａｃ
ｈｉｎｅ
　

［７］ Ｋｏｃ
ｋｍａ
ｎｎ　
Ｍ，Ｂｕｒ
ｇｅｔ
　Ｌ，Ｃｅ
ｍｏｃ
ｋｙ　
Ｊ．Ａｐ
ｐｌｉ
ｃａｔ
ｉｏｎ　
ｏｆ　ｓ
ｐｅａ
ｋｅｒ
　ａｎｄ
　 ｌ
ｅａｒ
ｎｉｎｇ　
ｔｏｏｌ
ｓ　ａｎｄ
　ｔｅ
ｃｈｎｉ
ｑｕｅｓ
　ｗｉ
ｔｈ　
Ｊａｖａ
　ｉｍｐｌ
ｅｍｅ
ｎｔａ
ｔｉｏｎｓ［ＯＬ］．
　
ｌ
ａｎｇｕａｇｅ　ｉ
ｎｄｅｐｅｎｄｅｎｔ　ｓｔａｔ
ｅ－ｏｆ
－ｔｈｅ－ａｒ
ｔ　ｔｅｃｈｎｉ
ｑｕｅｓ　ｆ
ｏｒ　ｅｍｏｔｉ
ｏｎ　 ｈｔ
ｔｐ１ｆ｛
　 ｗ．ｃ
ｓ．ｗａ
ｉｋａ
ｔｏ．ａｃ
．ｎ￣／－ ｅｉ
ｂｅ／ｐｕｂｓ
／９９Ｉ
ＨＷ－
ＥＦ－
ＬＴ　

ｒ
ｅｃｏｇｎｉ
ｔｉ
ｏｎ［Ｊ
］．Ｓｐｅ
ｅｃｈ　
Ｃｏｍｍｕｎｉ
ｃａｔ
ｉｏｎ，
２０１１，
５３（
９）：
１１７２
—１１
８５　 ＭＨ—
ＧＨ—
ＳＪＣ－
Ｔｏｏｌ
ｓ－Ｊ
ａｖａ
．ｐｄｆ
　

［８］ Ｃｈｅｎ　
Ｌ，Ｍａｏ
　Ｘ，Ｘｕｅ
　Ｙ＿
Ｌ，ｅ
ｔ　ａ１
．Ｓｐｅｅ
ｃｈ　
Ｅｍｏｔ
ｉｏｎ　Ｒｅｃ
ｏｇｎｉ
ｔｉ
ｏｎ：
　 ｒ２３］ Ｂｒ
ｕｍｍｅｒ
　Ｎ．Ｆｏ
Ｃａｌ
—ＩＩ：Ｔｏｏｌ
ｋｉｔ
　ｆｏ
ｒ　ｃ
ａｌｉ
ｂｒａｔ
ｉｏｎ　
ｏｆ　
ｍｕｌ
ｔｉｃ
ｌａｓ
ｓ　ｒ
ｅｃｏ－
　

Ｆｅ
ａｔｕｒ
ｅｓ　
ａｎｄ　Ｃｌ
ａｓｓ
ｉｆｉ
ｃａｔ
ｉｏｎ　Ｍｏｄｅｌ
ｓ［Ｊ］
．Ｄｉ
ｇｉｔ
ａｌ　Ｓｉ
ｇｎａｌ
　Ｐｒ
ｏｃｅｓ
—　 ｇｎｉ
ｔｉ
ｏｎ　
ｓｃｏｒ
ｅｓ［ＯＬ］．ｈｔ
ｔｐｓ：
／／ｓ
ｉｔｅｓ
．ｇｏｏ
ｇｌｅ
．ｃｏｍ／ｓ
ｉｔｅ
／ｎｉ
ｋｏｂｒ
ｕｍ—
　

ｓｉ
ｎｇ，２０１２，２２（６）：１１５４—１１６０　 ｍｅｒ
／ｆｏｃ
ａｌ　

・　
２８　・