分类号 密级

编号

革中’
千筑人塔
硕士学位论 文

虚拟教学中基于表情计算的情感

学 位 申请 人 姓 名 何 彬

申请 专业 学生类 别 全 目刹 硕 士
申请 学位 专业 方 向 计葬机应用技术
指 导 教 师 姓 名 魏开平 砂教遗
篡 硕士 学位 论 文
’

从 “ 沟叩 “

恤摊人

‚
 篡 硕 士 学位论 文
‚

华 中师范大学学位论 文原创性声明和使用授权说明
原创性声明

本人郑重声明 所呈交的学位论文‚是本人在导师指导下‚独立进行研究工作
所取得的研究成果。除文中已经标明引用的内容外‚本论文不包含任何其他个人或
集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体‚均己在
文中以明确方式标明。本声明的法律结果由本人承担。

作者签名 柯 游召 日期 沙对 年 ‘月 多 日

学位论 文版权 使 用授权 书

本学位论文作者完全了解学校有关保留、使用学位论文的规定‚即 学校有权
保 留并向国家有关部 门或机构送交论文的复印件和 电子版 ‚允许论文被查阅和借
阅。本人授权华中师范大学可以将本学位论文的全部或部分 内容编入有关数据库进
行检索‚可 以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权
中国科学技术信息研究所将本学位论文收录到 《中国学位论文全文数据库》‚并通
过网络向社会公众提供信息服务。

作者签名 币
巧稍
日期 洲 年 了月 日 导
日
期师签
尹名
‚ 勿
学年办 日

本人 已经认真阅读 “ 工 高校学位论文全文数据库发布章程 ” ‚同意将本人的

学位论文提交 “ 高校学位论文全文数据库” 中全文发布‚并可按 “ 章程” 中的
规定享受相关权益。同意论文提交后滞后 口半年 口一年 口二年发布。

作者签名 俩 林
日期 ‚州矛年 ‘月 日 导
师签
名加
日期 必宁尸
年石月
 ⑧
摘 要

随着信息技术的迅猛发展‚新的教学媒体不断涌现。继多媒体之后‚教育技术
领域又出现 了一种新型教学媒体一一虚拟现实技术即 找 。虚
拟现实技术能够非常容易的生成立体视觉和音效‚易于建立基于 自然技能的、和谐
友好 的人机交互 ‚因此虚拟现实技术在教育领域 的应用 远程虚拟教学一
得到越来越广泛的关注 。
尽管远程虚拟教学在教育模式和教育观念上引发了一场深刻的变革‚也存在着
很多不足‚特别是在双 向交互上。远程虚拟教学中的时空分离使得学习者无法满足
情感的交流而存在情感缺失‚这会影响学生的认知学习甚至心理健康 。因此‚情感
交互对于保障远程虚拟教学质量和提高教学效果具有重要意义。近年来‚利用情感
计算技术解决远程教育中的情感缺失问题成为一个新颖独特的研究课题。
针对远程虚拟教学中的情感缺失问题‚在 “ 构建和谐人机交互系统” 的研究背
景 下 ‚本 文探 索性地提 出并设计 了一种基 于人脸表 情识 别 的情 感交 互模 型
。它以情感计算为理论基础 ‚以人脸表情识别为核心技术 ‚通过捕获和
识别学习者的表情‚判断和理解其情绪状态‚并根据学习者特定的情绪状态给出相
应的情感鼓励或情感补偿策略。 促进了人机和谐交互‚在一定程度上增进
了远程学习系统中的情感交互‚为解决远程虚拟教学的情感缺失‚实现和谐人机情
感交互做 出了有益的探索。

关键词 虚拟教学 表情识别 算法 情感计算 情感交互

⑥ 硕 士 学位论 文
’

‚ 巧血
‚助 一

切 伍 ‚

‚ ‚ 一

一 ‚

’
‚

‚
脚 ‚
‚即

’ 柱 加
‚

切旧 加
洲
 鲁 硕 士 学位论 文
’

目 录
摘 ” “ “”””“ “ “二
要二 ” ”“ …“ “““…” …” ”“ ” ”二
“ ”““” ””“……“ ”二
““” ”“二
“ ”“ ”…
。
。 。
。 … 。
。 。
二。。。
… 。
二。。。
。… … 。
。。。
。。。
。 。
二。。。二。。
…… 。
二。 … … 。
二。二。 … 。 … 。
。。 … 。
。… … 。。。

第一章 绪
者 论 ……。 ……‚ ……。 ……
本文研究背景和意义
研究背景 ……
研究意义 ‚……
虚拟教学的研究状况
人机情感交互研究现状 ……
虚拟教学中的情感交互 ……
本文组织结构 ……
第二章 情感计算相关理论介绍 …““…“”。” ””…”””“…“ “ “””””二
“ ”二”二
” ”二
””二
”“
情绪心理学基本理论 ……
表情与情绪 ……
情绪的分类与表达 ……
几种典型的情绪模型 ……
情感计算理论基础 ……‚ ……
情绪与情感的关系 ……
情感计算理论 ……
情感计算与表情识别 ……‚ ……
人脸表情识别技术 ……
表情识别介绍 ……
表情识别常用方法 ……巧
本章小节 ……
第三章 基于表情计算的情感交互算法““””” ”””””””””“””” ”” ””” ”” ” “ ”“”…
表情独立分量分析 ……
改进的表情独立分量分析一 ……
人脸检测与归一化 ……
人脸表情热区的特征提取 ……
表情识别算法 ……
实验及分析 ·
·
··
··
··
·
··
··
……犯
情感交互模型 ……
 篡 硕士学位论 文
’

构造情感空间 ……
情感激励 ……
情感淡化 ……
情感交互算法 ……
实验与分析 ……
本章小结 ……‚ ……
第四章 虚拟教学中的 系统实现”“”““ …”二””” ”二” ”” ”” ””“ “ “” …”
系统环境及开发工具 ……
系统结构及应用 ……
砚 系统结构 ……‚ ……
砚 的应用 ……‚ ……
交互实现 ……‚ ……‚ ……
工作机制 ……
交互实例 ……
本章小节 ……
第五章 总结与展望二“ …“二
”” “ “ ”” ” ” “ ””””” “ …””” “…“ ” ” ”” ””” “” ” ” ”
本文主要工作 ……
创新之处 ……
工作展望 ……
参考文献…“““””二“” …”…“二”二
”” ”””””二””二” ”” …”二”””二
“ ” ” ““ “”“”二” ”“ “ “…
攻读硕士学位期间发表的论文 ”二
“” ”“二
“” …“” ”二””” “”“”…”””””“二
““ “ ”” ”” ” “
致 谢 二” “ ” ””“…”“二“二”二”…““二“ ““二””“二“ ““”二” …” “……“ ”“ ””““”“二” ”” ”” “
 纂
第一章 绪 论

本文研究背景和意义

研究背景

国家十一五规划 中专章论述了服务业的发展‚并提出运用现代信息技术和科技
的发展改造服务业‚提高服务业水平。近年来‚虚拟现实技术作为一种新型的教育
媒体备受关注 ‚为现代远程教育提供了新的发展思路‚由此发展形成了远程虚拟教
学技术 。远程虚拟教学逐渐发展成为具有代
表性的一类服务业‚将现代信息技术及和谐人机交互技术应用其中具有重要意义 。
此外人工心理和情感计算很重要的一个研究课题就是如何将其应用到学习和教育
领域 。在 国家提倡创新型服务业的大环境下‚开展关于人工心理与人工情感在现代
远程教育方面的应用研究是非常有意义的‚将极大的促进远程虚拟教学的发展和应
用推广。
基于上述背景‚本课题提出构建个性化、人性化的远程虚拟教学系统 。并借助
人脸表情识别技术‚着眼于人工心理情感识别和情绪反应的分析‚依靠信息科学技
术‚提高教学效率。

研究意义
当前网络化教育系统 己经进入了个性化发展时代‚要求我们的教育系统实现人
性化交互教学、个性化因材施教‚同时还要针对学习者的学习兴趣、学习情绪的不
同进行智能化调整。基于当前远程教育发展的要求‚本课题研究的主要 目的就是以
“ 以学生为中心‚学生是认知的主体‚是知识意义的主动建构者” 的原则设计远程虚
拟教学中的情感交互系统‚充分重视学习者的学习情绪‚并给出一些情绪调节策略
对学习者进行引导‚实现人性、和谐的人机交互‚从而达到提高教学效率的目的。

虚拟教学的研究状况

虚拟教学帅 八 就是利用计算机技术、通信技术、仿真技术、人工
智能技术等进行的双向交互式教与学的一种教学模式 。对此国家也投入了大量的
物力和人力进行相关技术的研究。对于远程教育发展的趋势‚著名远程教育专家基
 纂 硕 士 学位 论 文
’

更 描述为“ 远程面对面教学” 一一 ‚
并在构建远程教学的概念中‚强调 “ 眼光接触” 但 或 “ 眼球对眼球教学”
伍 一一 ‚即强调通过现代 电子通信技术手段实现师生和同学之
间的眼光接触、眼球对眼球的沟通‚达成信息、思想、情感的交流和交互作用‚并
利用信息科学技术实现因人施教‚提高学习效率 。
在美国‚通过网络学习的人数正以每年 以上的速度增长。美国 年教
育技术高层论坛提出了 “ 而 ” 即 “ 数字化学习” 的计划。在
’ 上的一篇题为 “ 一 ” 的文
章中提到 要欣赏数字化学习正在如何改变教育的图景‚你只需要看看数字。根据
美国《 州技术协调人员的新调查 《
教育周刊》 数字化教育 州技术协调人员的调查 ‚
个州 已经制订了联机高中项 目‚五个州正在开发‚ 个州允许建立所谓电子特
许学校‚犯 个州的数字化学习行动正在进行中。同时‚调查显示‚ 个州正在施
行或计划 网上测试 。 和 己经在使用基于万维网的评价 。所有那
些项 目和政策变化正在为千百万的学生打开联机教育之门。 报告说‚“ 虚拟
学校运动” 是 “ 基于技术的 一 教育的下一个浪潮 ” 。德国人工智能研究中心
灯 扔 翻 专门成立 了一个研究开发
一 田卫 系统 的中心 。
国内已有一些高校在这方面进行了研究。由于虚拟现实技术的特点‚在理工科
的教学中应用较为广泛‚尤其在建筑、机械、物理、化学等学科有着质的突破卜 。
清华大学计算机系某所研究的 “ 智能教室” 的远程教育系统‚该智能教室 别
把交互空间的概念引入远程教育系统‚以交互空间在远程教育系统上的
应用作为背景‚对交互空间的关键技术和人机交互模式的发展方向作了探讨 。
同济大学建筑学院的虚拟现实实验室‚采用比较高端的设备‚对建筑景观、结
构进行相关的仿真 。尽管高端设备价格昂贵‚但是在建筑教学中运用先进技术‚进
行大胆尝试 ‚使学生对相关知识 以一种崭新的方式学习‚取得了 良好的效果 。
西南交通大学致力于工程漫游方面的虚拟现实应用研究。在跟踪 国际仿真领域
先进技术发展的同时‚自行开发出了一系列具有国际水平的计算机仿真和虚拟现实
应用产品‚在城市规划仿真、驾驶员培训仿真及其他交互式仿真方面取得了突出成
果。
中国科技大学运用虚拟现实技术在物理实验方面‚有着丰富的经验。他们己经
形成了比较成熟的产品 基于本地的大学物理仿真实验软件 广播电视大学物理虚
拟实验 几何光学设计实验平台 大学物理虚拟实验远程教学系统。
 ⑧ 硕 士 学位论 文
’

人机情感交互研究现状
人与计算机利用 自然途径进行交流是人机交互理论的 目标。类似的构想如多模
式界面早在大约三十年前就己经出现‚当时 提出了 “ 交谈式计
算机” 的概念。即人可以用语音、手势、表情、注视和肢
体语言‚也就是用 日常生活中相互交流的方式‚与这样的机器进行交互 。在人们 日
常生活和工作中‚随着计算机发挥的作用越来越大‚人们迫切地希望能够用一种 自
然的、类似人与人之间交互的方式操纵计算机。因此‚近年来通过多种模式与计算
机交互的研究越来越多‚从简单的语音交互 已经发展到同时利用语音、手势、人的
表情、眼睛的跟踪及触觉等多种方式与计算机交互。这种类似人类之间的交互方式‚
开辟了新一代人机交互研究的方向。
在人机交互领域‚斯坦福大学的 和 进行了一系列研究 。他们在研
究人的社会关系的经典实验中让计算机代替部分人的位置‚实验表明人机实验结果
与人类实验结果相同。 和 得出结论 人与计算机间的联系有 自然性和
社会性。在人机交互中所需要解决的问题同人和人交流中的是一致的‚最关键的都
是 “ 情感智能” 的能力。
在人机情感交互方面‚文献 ’
“ 的目标是建造计算机化的学习伴侣。试图帮助儿
童专注于一个学习任务‚并且也反映出一些儿童的情感状态‚了解这些情感状态在
儿童的学习经历中所扮演的角色。例如如果儿童的脸和姿势显示出对屏幕上显示的
内容有强烈的兴趣 ‚那么计算机将保持不动 以免干扰儿童 。如果儿童转换他的姿势
和视线显示他在休息‚那么计算机会在适当的时候打断儿童的休息过程和提供鼓励
给儿童帮助学习进展。文献 ’
一 把情感引入了教育对话领域‚创造指导教师系统和
学生交流更 自然和有效的方式。文献 发展 了一个方案 研究用机器来帮助
治疗孤独症儿童。文献 ’介绍了德国人工智能研究中心发展的三个方案 虚拟剧场、
虚拟市场和对话 中引入情感模型和个性特征来帮助开发儿童的想象力和创造
力。

虚拟教学中的情感交互
虚拟教学就是传统教学适应信息技术和现代人才培养观的一种新型教学‚是人
类进入虚拟空间进行教育的一种教学形式。从广义上讲‚虚拟的教师、虚拟的教室、
实验室和虚拟的研讨等等‚在这种虚拟环境中进行的教与学的活动都可以称之虚拟
教学。从狭义上讲‚虚拟教学就是利用虚拟现实技术‚构建一个虚拟学习环境‚将
 纂
知识赖 以产生的活生生的客观现实再现给学生‚讲授知识要点‚进行理论概括‚引
导学生充分利用 自己的视觉、听觉等感官接受信息‚激发学生的学习兴趣和创新意
识‚启发学生发挥 自己的想象能力‚开展创新思维活动的一种教学方法。一个虚拟
教学系统至少包括三方面 教师虚拟化、学生虚拟化、教学资源虚拟化。

情感交互

情感是人们对客观事实是否符合 自己需要、愿望和观点而产生的体验‚是人们
对客观事物的反映形式 。人的情绪情感具有两极性‚表现在对人的智力活动起到增
力或减力的作用。所谓增力是指适量的情感因素可 以起到激活动机、启动认知的作
用 反之 ‚则会干扰记忆、迷乱思维。情绪和情感的两极性不是绝对的‚而是相对
的‚两者相辅相成、密切联系‚又可以在一定的条件下互相转化。人际关系的本质
是一种情感的交流与互动‚它是建立在认知基础之上的。认知互动为求共识‚情感
互动为求共鸣 ’‚
’。

情感交互的分类

虚拟教学中的情感交互 ‚是指在虚拟教学中教师与学生之间、学生与学生之间
相互表现出来的情感、态度、评价等方面的积极主动倾向和相互作用‚体现了在虚
’一
拟学习环境中人与人的社会关系和积极的内心情感的交流【 ’。
虚拟教学中的交互根据活动的主体、客体关系进行分类‚主要包括两种 教学
性交互和社会性交互。教学性交互是指发生在学习者和学习环境之间的事件 ‚主要
指学习者与教学内容以及学习者与界面之间的交互。社会性交互是指人与人之间的
交流活动‚网络环境下利用电子邮件、聊天室等交互工具‚学习者与学习者以及学
习者与教师之间进行的社会性交流与协作 。
传统教学过程 中发生的交互主要包括学习者、教师和教学内容三个要素。结合
虚拟教学中交互的实际情况‚虚拟教学中情感交互的要素应包括 以下三方面 教师、
学习者和学习共同体。
学习者与教师的交互
传统课堂教学中‚学习者与教师的交互主导着学习的进行‚虚拟环境下师生交
互依然被赋予很高的期望‚发挥着重要的作用。虚拟环境下师生之间时空上的距离‚
导致了双方心理上、交流上的障碍‚其中潜在着教师、学习者双方发生误解的空间‚
这些都迫切要求虚拟课程中加强交互活动的设计。只有让教师和学习者不断地发生
互动‚学习者的学习才能有效地发生。虚拟课程教学要充分发挥学习者的主动性和
篡 默默
教师的引导性。通过交互‚学习者实现对学习信息和学习活动的有意控制 ‚实现知
识建构的同时能够得到教师的及时指导。学习者可以根据教师的评价结果对相关学
习行为进行强化‚并在课程进行的过程中观测到 自己的进步与不足‚及时按要求调
整学习。
学习者与学习者的交互
学习者与学习者的交互是一种可以对教学质量产生很大影响的交互形式‚既可
以是两个学习者之 间的对话‚也可 以是多个学习者之间的小组讨论。学习者通过网
络相互交流学习经验、分享学习成果‚使知识水平得到共同提高。在虚拟教学过程
中不仅需要知识上的交流‚更为重要的是需要一种情感上的交流 。基于情感交流的
社会性交互可以减少学习者的孤独感‚使学习者获得同伴的鼓励和精神支持‚强化
他们的学习动力‚激发他们的学习热情 。
学习者与共 同体的交互
共 同体简言之就是指基于兴趣和关心 自发集结起来的团体。在学习共同体中‚
学习者感到 自己和其它学习者同属于一个团体‚在进行共同的学习活动‚遵守共同
的规则‚具有一致的价值取向和偏好 。学习者对共同体的归属感、认同感 以及从其
他成员身上所得到的尊重感有利于增强学习者对共同体的参与程度‚维持他们持
续、努力的学习活动。

情感交互的作用

情感交互作为教学活动中师生交往不可缺少的一个环节‚在学习中有着积极的
作用 只 。
情感交互可 以激发学习者的学习动机 ‚启动学习者的认知加工 。情绪情感
影响和调节人的知觉、记忆和思维等认知过程‚影响对信息的选择 ‚监视信息的流
动‚促进或阻止工作记忆‚干涉决策、推理和问题的解决。学习者对什么感兴趣‚
或者说他觉得从哪些行为上能获得情绪方面的满足和愉快的体验‚将直接引导他认
知活动的方 向‚并能对认知过程加以调控 。
情感交互有利于教学中情感 目标的实现 。情感教育包括动机 的引起 ‚兴趣
的培养‚感情的陶冶‚意志的锻炼‚信仰的确立‚习惯的养成‚方法的掌握以及个
性的形成等诸多非智力因素方面的问题‚还包含了思想品德教育的内容。所以正确
利用情感教育对教学有很大的促进作用。
情感交互可以有效地提高学习效率。一般地说‚愉快而热烈的情绪‚能使
人的大脑处于最佳状态‚人在愉快的心情下学习与工作‚精力集中‚记忆效果好‚
篡 硕 士 学位论 文
’

学习与工作效率高 相反‚在痛苦、烦躁不安的心情下学习与工作‚注意力涣散‚
记忆效果差‚效率 自然不高。
情感交互能扩展学习者的交际范围与能力‚增加不同地域、不同文化背景
学习者的交流机会‚有助于人们建立友谊‚增进人际互助、谅解和相互信任。
情感交互可以缓解学习者的现实生活压力‚调节心情。情绪是生命的指挥
棒‚我们应该控制和调节 自己的情绪和情感‚使之有利于健康和生命。
情感交互有利于学习者社会化的发展。学习者最终必将实现角色的转变‚
到社会中接受检验。个体要适应社会‚首先要对社会的共同体价值体系、行为规范、
行为准则等方面有深刻的认识 ‚产生积极的情感体验‚进而形成社会体验。

本文组织结构
本文对解决远程虚拟教学过程中的情感缺失问题进行了有效尝试 。首先提出了

一种简单的人脸表情分类算法‚对人脸表情进行识别 在此基础上结合人工心理技
术‚建立虚拟情感空间模拟学习者的情绪变换过程 接着提出了学生与教学平台间
的教学性情感交互算法 最后设计并实现 了 系统‚证明了本文所提出算法
是可行和有效的。
全文共分五章‚结构如下
第一章 绪论。介绍了虚拟教学概况、人机情感交互现状 以及虚拟教学中的情感
交互理论 。
第二章 情感计算相关理论介绍。首先介绍了情绪心理学基本理论 然后对情感
计算理论进行了分析 最后研究了情感计算的一个特例一一人脸表情识别技术。
第三章 基于表情计算的情感交互模型。建立了基于人脸表情运动特征的表情分
类算法 构造 了人工情感空间 提 出了学习者与远程虚拟教学平台间的教学性情感
交互算法。
第四章 虚拟教学中的情感交互系统 。首先介绍了搭建该系统的基本软硬件平
台 阐述该系统的整体框架及应用 最后给出了系统运行界面及交互过程 。
第五章 总结与展望。本章总结了本文所做的工作‚对此做出了中肯的评价‚并
指出了该课题今后的研究方向。
 纂 硕 士 学位 论 文
、

第二章 情感计算相关理论介绍

情感计算是近几年来信息科学、认知科学和心理科学研究的热点‚它以人类情
绪和情感理论为基础‚以情感机理、情感信息的获取、情感模式识别、情感建模与
理解、情感合成与表达、情感传递与交流等为研究内容‚以赋予计算机类似于人的
情感能力为最终 目标。人脸表情识别作为情感计算的一个重要研究领域‚是对人脸
的表情信息进行特征提取分析‚按照人的认识和思维方式加 以归类和理解‚利用人
类情感方面的先验知识使计算机进行思考及推理‚进而去分析和理解人的情绪和情
感‚是人机情感交互过程中情感信息获取的重要途径。

情绪心理学基本理论

表情与情绪

面部表情不是孤立的‚它与情绪之间存在着千丝万缕的联系 。情绪在种族进
化中的适应价值和人类社会中的交际作用‚在很大程度上是通过表情体现的。面部
表情、声调表情和身体姿势构成了情绪表现 而情绪表现、情绪体验和情绪生理又
组成了情绪心理。虽然‚情绪心理的构成比较复杂‚而影响人类情绪的因素也有很
多‚由于受到社会文化背景、个人生活经历和其他主客观因素的影响‚每个人的情
绪表现也不尽相同‚有时情绪的维度也并不唯一‚因此反映出来的面部表情就不是
简单的而是复杂的混合表情 。但只要我们细心观察‚即使从复杂的混合表情也能发
现一些反映情绪的蛛丝马迹。所以无论是对表情的研究还是对情绪的研究‚二者都
是互不可缺的因素。

情绪的分类与表达

情绪的分类

情绪究竟应该如何分类 是否存在彼此独立的、具有人类普遍性的基本情绪类
型 简单的维度空间是否能够表示出千姿百态的情绪 总的来说‚情绪主要有以下
三种分类
基本情绪论。一种观点认为人类的情感是由分立的基本情绪组成的‚称之
为基本情绪论。基本情绪论认为情绪在发生上有原型模式‚即存在着数种泛人类的
基本情绪类型‚每种类型各有其独特的体验特性、生理唤醒模式和外显模式‚其不
同形式的组合形成了所有的人类情绪。从个体发展角度来看‚基本情绪的产生是有
纂 硕 士 学位 论 文
’

机体 自然成熟的结果。从生物进化的观点看‚情绪原型是适应和进化的产物‚也是
适应和进化的手段 。
维度空间论 。与基本情绪论相对立的是维度空间论。它认为人类所有的情
绪是由几个维度空间所组成‚特定的情绪状态只能代表一个从亲近到退缩或者是从
快乐到痛苦的连续空间中的位置‚不同情绪之间不是独立的‚而是连续的‚可 以实
现逐渐的、平稳 的转变 ‚不 同情绪之间的相似性和差异性是根据彼此在维度空间中
的距离来显示的。
基于基本情绪的维度空间论。心理学上关于这两种理论的观点虽然存在大
量的争论‚但是他们所 内涵的基本观点也许并不矛盾 。人类确实存在着先天的基本
情绪‚但这和正负情绪的分离并不矛盾。

情绪的表达

情绪虽然是一种内心的态度体验‚但常常伴随着外部表现‚如人的面部表情、
身体姿态 以及言语表达等 。情绪的外部行为特征就叫做表情。表情是人际交往中信
息传达、情感交流不可缺少的手段‚也是了解他人主观心理状态的客观指标。借助
表情‚才能 “ 察言观色 ”‚在别人的举手投足间洞悉他的内心感受。根据表情的发
生部位和方式的不同‚可将表情分为面部表情、体态表情和言语表情。
面部表情 。面部表情是通过眼、眉、嘴和脸颊部肌肉变化来表现情绪状态。
人的眼神变化是面部表情最重要的体现‚其次是嘴角和眉头肌肉的变化。一个人喜
悦时‚眉头舒展‚双 目含笑‚颧肌收缩‚嘴角上提 悲伤时则双眉紧锁 ‚两眼呆滞 ‚
嘴角下垂‚愁容满面 愤怒时双眉倒竖‚怒 目圆睁‚颧肌抽搐‚嘴角外撇甚至咬牙
切齿。

图 一 不同情感下的面部表情

如图 一所示‚为 数据库中不同情感状态 从左至右‚从上至下依次为兴

 纂 硕 士 学位论 文
’

奋、生气、愤怒、高兴、平静、悲伤 的面部表情。
言语表情。言语表情是指情感发生时个体在语言的声调、节奏和速度等方
面的特征。言语表情强调的不是言语的内容‚而是语音的高低、强弱、以及语调的
变化。体育节 目主持人在比赛的实况解说中‚语音尖锐、急促‚语调激昂‚有时甚
至声嘶力竭‚渲染出一种紧张而兴奋的情感 当为一个逝去的人致悼词时‚用缓慢、
低沉的语调更能表达出悲痛的情感。此外‚在现实生活中‚人们常常会正话反说‚
或者反话正说‚言语表情这时有助于揣摩对方的真正意图。
体态表情。体态表情是身体各部分的表情动作 。喜悦时手舞足蹈‚悲痛时
顿足捶胸‚愤怒时双拳紧握‚恐惧时手足僵硬‚这些躯体和手、足的动作特征‚可
以真切地流露出一个人的内在情感。在体态表情中‚手势是一种重要的表达形式。
人们在语言表达中常常需要手势的辅助‚有时无法借助言语时‚手势就发挥着独特
的不可替代的作用。手势表情是通过学习得来的‚而且随着不同的社会环境和文化
传统而存在差异 。

几种典型的情绪模型

冯特的情绪三维理论
冯特认为情绪是一种主观体验‚他以内省的方法研究情绪的主观感受‚提出了
情绪的三维理论。他认为‚情绪一般需要三种维度才能对它们作出有效的描述。这
三个维度是 愉快一不愉快 紧张一松弛 激动一平静。每一种情绪‚首先在偷快

一不愉快两极之间游动‚然后在紧张一松弛之间‚最后在激动一平静之间游动。所
有的情绪都是以这三维度以某种方式所产生的 ’。

图 一冯特情绪三维模型

的情绪三维模式
为了表示各种情绪之间的关系‚ 普拉切克 利用因素分析法假设了情绪
 篡 硕士 学位论 文
‚

之间存在着三个基本特征 强度、相似性和极性 对立性 。强度、相似性和极性是

表示各种情绪之间相互关系的空间模式的三个维度 ‘。如图 一所示。

‘
强 评价

留翻匕
韶
二
一
、
二 加、
中 评价

图 一 情绪三维模式

这个模式的 个扇形‚均表示 种原始的情绪 狂喜、悲痛、接受、潜很、狂

怒、惊讶、警惕、恐惧。 城 认为这些原始的情绪是从进化过程中分化出来的‚
并且具有适应的价值‚它们最强烈‚故居于顶端‚沿扇面向下‚越靠近底部‚这种
情绪就越微弱。在扇面上越邻近的情绪性质上越相似‚距离越远‚差异越大‚互为
对顶角的两个扇形中的情绪则是相互对立的。如 “ 憎恨” 和 “ 接受 ”‚是对立的两
种情绪‚靠近 “ 憎恨” 的‚“ 悲痛‚与其比较接近 。

的 模型
如图 一 是 年 的 教授提出的一个 模型 】
。这个
模型 田火 ‚隐马尔科夫模型 有三个情绪状态 兴趣、高兴和悲痛 ‚
但它可 以扩充为多个。一个人的情绪状态不能被直接观察‚但某一状态的特征能够
被观测得到‚通过特征可以找出可能的情感状态。
 纂 默思

图 一 模型

情感计算理论基础

情绪与情感的关系

情绪和情感既是在种族进化过程中发生的‚又是人类社会历史发展的产物。对
于在这样漫长的演化过程中发生的多层次质变的现象‚用一个术语来加以标志是困
难的。因为‚当人们用情绪、情感这类术语来标志在如此漫长的历史演化过程中所
发生的、而且是处在不同水平上的这一心理现象时‚人们心 目中所指 的内涵常常有
所不同 ’
“刃 。例如‚有时人们把同生理需要相联系而产生的感情反应称为情绪‚而
把受社会规范制约的感情称为情感 另一些时候人们又在标示感情形式时采用情
绪‚而在标示感情 内容时采用情感。总的来说‚情绪和情感是人对客观事物是否符
合 自己需要而产 生的态度 的体验 ‚它是人对客观事物与人 的需要之 间的关系 的反
映。具体来说‚“ 情绪” 代表着感情性反映的过程 ‚也就是说‚感情性反映作为心
理活动 的过程 ‚用 “ 情绪 ” 这一术语来标示‚无论人类还是其他的动物 ‚都具有产
生情绪的能力 “情感” 经常被用来描述社会性高级感情‚一般认为‚具有稳定而
深刻社会含义的感情性反映叫做 “ 情感”‚它标示感情的内容。所谓感情的内容并
不是指这一反映的语义内容或思维内容‚而是指那种带有享乐色调的体验‚只有人
类才有情感能力 。
 篡默
款
情感计算理论

情感计算
情感计算 作为一个崭新的领域‚日益引起国内外各研究机
构的重视。第一次提出 “ 情感计算” 这个概念的美国 媒体实验室情感计算研究
小组的领导人 教授 在 年她的专著 “ ” 情感计算
中给出 “ 情感计算是关于、产生于或故意影响情感方面的计算”‚情感计算的目的
是通过赋予计算机识别、理解、表达和适应人的情感能力来建立和谐的人机环境‚
并使计算机具有更高的、全面的智能。在传统的计算机与人的交互过程中‚计算机
不能理解操作者的情绪和心情‚正是因为没有这种情感能力‚计算机就不可能具有
类似人的智能‚更不要说实现类似于人类交流的情感互动‚只能作为一个僵硬的工
具。情感计算就是要赋予计算机类似于人的观察、理解和表达各种情感特征的能力‚
通过对情感特征的分析和处理来获取对情感状态有关的生理和行为特征的高层次
语义上的解释 ‚最终达到类似于人一样的 自然、亲切和生动的交流。
情感计算研究就是试图创建一种能感知、识别和理解人的情感‚并能针对人的
情感做出智能、灵敏、友好反应的计算系统。 将情感计算的研究内容具体
分为九个方面 情感机理、情感信息的获取、情感模式识别、情感的建模与理解、
情感合成与表达、情感计算的应用、情感计算机的接口、情感的传递与交流、可穿
戴计算机。 目前的工作侧重于有关情感信号的获取 如各类传感器的研制 与识别。
情感计算可以从两个方面理解 ’ 一是基于生理学的角度‚通过各种测量手段检测
人体的各种生理参数‚如心跳、脉搏、脑 电波等并以此为根据来计算人体的情感状
态 二是基于心理学的角度‚通过各种传感器接受并处理环境信息‚并以此为根据
计算人造机器 如个人机器人 所处的情感状态。
在情感计算领域 ‚目前世界各国都在积极地开展相关研究‚取得 了诸多成果‚
其中以美国 媒体实验室的工作较为突出。
我国也在逐步开展情感信息处理的研
究‚并引起 了国家有关部门的关注。例如 ‚在国家 自然科学基金 年的项 目指
南中 “ 和谐人机环境中的情感计算理论研究” 被列为重点项 目。同时‚中国科学院
自动化所、心理所以及国内众多高校在情感信息处理的研究上也取得了一定的进
展。加 年 月 日至 日‚由中国科学院自动化所组织‚在北京举行了第一届
中国情感计算与智能交互学术会议‚会议中展示了国内各研究机构近几年来从认
知、心理、模式识别、系统集成等不同角度在情感计算领域取得的研究成果‚弥补
了国内情感计算领域的空白 ‚ 。
人工心理理论
 ⑧ 硕 士 学位论 文
‚

人工心理理论首次由北京科技大学王志 良教授提出 “】
。人工心理研究的是对人
的心理活动 着重是人的情感、意志、性格、创造 的全面内容进行一次人工机器实
现 。它 以人工智能现有的理论和方法为基础 ‚是人工智能的继承和发展 ‚是人工智
能发展的高级阶段‚并有着更广泛的内容‚同时人工心理学是一门交叉学科‚其理
论源于脑科学、心理学、生理学、伦理学、神经科学、人类工学、感性工学、语言
学、美学、法学、信息科学、计算机科学、自动化科学、人工智能等。它的应用范
围主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人
工心理编程语言、人工创造技术、人类情感评价计算机系统、人类心理数据库及数
学模型、人机和谐环境技术和人机和谐多信道接 口等。
当前在人工心理理论方面的主要研究内容有
研究建立人工心理的理论结构体系 目的、法则、研究内容、应用范围、
研究方法等 。尤其是人工心理学说的定义、研究规则、研究内容的界定
问题‚主要使其研究符合人类道德规范‚这个 问题在人工智能领域是不存
在的。
研究人工心理与人工智能的相互关系‚如何使二者相辅相成、
互相促进、
共 同发展。尤其是借鉴人工智能己有的研究成果‚建立人工心理的理论体
系。
人类心理信息的数学量化 心理模型建立、心理状态评价标准 。
人工心理理论与感性科学、情感计算都是研究与情感相关的信息。但感性科学
从 “ 感性 ” 的角度来研究关于信息处理的方法、过程 以及用计算机实现的方法‚偏
重于对商品的观感和舒适感进行研究‚并没有致力于对情感交互能力的研究 情感
计算则侧重于采用一定的物理手段获取与情感相关的信息‚目前侧重于对情感的测
量和识别 ‚其 中测量方法较多的集中在生理信号的量测 。人工心理理论是利用信息
科学的手段‚
对人的心理活动 着重是人的情感、意志、性格、创造 的全面内容的进
行一次人工机器 计算机、模型算法等 实现‚它的范围更加宽广 ‚可 以认为人工心
理是人工智能在横 向和纵深方面的更进一步的发展。人工心理 目前着重于对混合智
能系统中的适应性‚情感交互能力以及认知方面的深层探索。

情感计算与表情识别

研究情感计算的首要问题是获取情感信号。脉搏频率变化、皮肤电流强度、汗
液、语音和面部表情等都是具体的情感信号‚其中面部表情是最直观反映人的情绪
的信号之一‚是传递具体情感信息的外显行为‚而且面部表情信号比其它信号较容
 篡
易获取 以表情理解为核心的情感计算的研究及其内容‚进一步阐述了人脸面部表
情识别的价值、意义及未来发展的 目标。因此很多研究者都从面部表情的识别入手‚
配合语音识别、 事件相关电位 等手段来研究情感计算。本文也从面部表情识
别这个角度来探讨情感计算对现代远程虚拟教学在理论和技术上的情感支持【刀。

人脸表情识别技术

表情识别介绍

人脸表情识别的最终 目标是使机器可 以像人类一样识别出人的面部表情。人类

能毫不费力识别人脸表情且能对人脸表情信息进行心理分析和加工处理‚因此‚对
表情信息的含义、表情与情感的关系、表情信号的特点以及人类进行表情识别的原
理方法等方面的研究可 以为机器识别人的表情提供理论上的指导和启示。同时人脸
表情 自动识别系统是一个人工系统‚需要图像处理、模式识别、人工智能、计算机
视觉等方面的发展为其提供必要的实现条件‚因此表情识别是一个涉及到心理学、
生理学、行为学、社会学、传感器技术、计算机科学等诸多领域的一个交叉课题‚
其发展受到其他领域的制约和影响 一 。
人脸表情识别的 个关键环节 人脸检测与定位、面部表情特征的提取与表示、
人脸表情 的识别分类 构成了人脸表情分析系统 文献【 中给出的构成与流程如图
一 所示 。
‚ 夕 口 一 ‚ ‚ 、 、

‘ 人脸分割 ‘ ‘ 归一化 、 ‘ 人脸描述

叮运动提取 少〔型变提取 少 情感分类

、

、 、 一 口 夕
叮情感解释
、 、 二 户 口

图 一人脸表情的分析系统

人脸的检测与定位
人脸检测与定位是为了在输入图像中找到人脸的确切位置‚找到特征提取的对
象。由于人脸检测在各种人脸分析工作 如人脸识别 中都有着重要的作用‚目前已
 ⑧ 默默
经成为人脸分析领域中一个非常活跃的方向‚也出现了专门的针对检测的综述性介
绍 ‚。
对于单幅的静态图像‚人脸的检测与定位很明显就是对该图像进行操作‚人脸
检测与定位的方法大致分成两类 一是基于统计的人脸检测方法 包括神经网络
法、子空间方法、模版法多层小波分解和遗传算法等 一是基于知识建模的人脸检
测 包括人脸规则、颜色纹理信息和对称性等。
表情特征的提取
人脸表情特征提取部分的目标是从人脸图像或者图像序列中提取出能够表征输
入表情的信息‚并尽量的舍弃其他无用的可能造成干扰的因素。人脸表情特征提取
的方法按其所使用图像的类型不同可分为两大类 基于静态图像的表情特征提取和
基于动态图像序列的表情特征提取。
表情特征的分类与识别
人脸表情识别系统的最后一个步骤就是将人脸表情进行分类‚首先应该制定一
组类别‚并涉及相应的分类机制对表情进行识别归入相应类别。可以根据面部运动
进行分类也可以根据感情进行分类。常用的表情识别的分类器有 临近、神经网
络、基于隐马尔可夫模型的多特征融合方法、支持向量机、线性判别分析、基于规
则的方法、模版匹配方法等。

表情识别常用方法

人脸表情特征提取部分的 目标是从人脸图像或者图像序列中提取 出能够表征输

入表情的信息‚并尽量的舍弃其他无用的可能造成干扰的因素。人脸表情特征提取
的方法按其所使用图像的类型不同可分为两大类 基于静态图像的表情特征提取和
基于动态图像序列的表情特征提取 。下面分别介绍两大类方法中的典型特征提取
算法 。
基于静态图像的表情识别方法
基于静态图像的表情识别方法又可分两类 整体特征提取方法和局部特征提取
方法 一 。
整体特征提取方法是将表情人脸作为一个整体来分析‚其中典型的方法有
① 主元分析法 卿 刀 ‚
主元分析又称 一 变换‚是一个非常有效的降维的方法‚
特征脸
方法在人脸识别领域成为举足轻重的一个分支。尽管人脸表情识别与人脸识别在特
征提取上存在很多的不同之处‚但部分学者的研究 ‚表明特征脸的方法在人脸表
 纂 默思
情的识别上也是有效的‚而且 等 的研究分别从识别理论和社会科学两个角
度说明了主元分析的在人脸表情识别上可行性和有效性。这种方法根据像素间的二
阶相关性‚将包含表情人脸的图像区域看作一个随机向量‚采用 变换得到正交
变换基‚其中较大的特征值对应的基底 特征脸 就组成了表情特征空间的一组基‚
然后利用这组基底的线性组合就可以描述、表达人脸表情‚实现表情人脸的识别和
重建。缺点 运算量较大‚对图像定位的要求较高。
独立分量分析法 卿 劫日 ‚
叭 提 出的基于独立分量分析 算法的人脸表情识别方法 ‚认为
这 幅原始图像是 幅特征图像的线性组合‚然后对这 幅的特征图像进行独立分
量分析。特征图像是由主分量分析得到的。 等对经过 特征提取的
图像进行独立分量分析‚并通过实验表明这种表情提取的方法比单独用主分量分析
的表情提取方法更有效‚对主分量的特征空间维数的选择具有更低的敏感度 。
③ 线性判别法 ‚
最佳鉴别矢量方法的基本思想是将原来高维的模式样本投影到最佳鉴别
矢量空间以达到维数压缩的效果‚投影后保证模式样本在新的空间中有最大的类 间
距离和最小的类 内距离‚即模式在该空间中有最佳的可分离性。 法是
将这种识别的原理应用在脸部特征点运动上的一种方法【 。
局部特征提取方法一般根据局部几何特征 主要是眼睛、鼻子、嘴部区域的定
位、测量确定其大小、形状、距离、相互比例等 和面部纹理 永久性的皱纹、暂时
性的褶皱 来提取特征矢量‚重点对含有丰富的表情信息的部位进行特征提取‚从而
加快速度和提高准确性 ‚ 。其中典型的方法有
① 脸部运动编码分析法 ‚
面部运动编码系统 系统将其划分成大约 个既相互独立又相互联系的运动
单元 ‚并分析 了这些运动单元的运动特征及其所控制的主要区域 以及与之相关
的表情。这种方法很直观‚易于理解‚但是系统的编码速度、可靠性、精确性和实
时性就成为其广泛应用的阻碍。
②论 一 中的脸部运动参数法 ‚
一 的脸部运动参数法 是一个完整的脸部基本运动的集合‚与脸部肌肉
运动密切相关‚可以用来描述 自然的脸部表情。其原理是先根据公共脸模板针对具
体人建立具体中性脸‚再根据具体的表情脸样本获得 参数‚进而识别出表情图
像中的表情。
基于动态表情序列的表情特征提取
 篡
图像序列具有 良好 的时空特性‚包含丰富的时间和运动信息。基于特征点的光
流模型、基于密度流的像素跟踪模型、 分析方法、势网络模型、局部特征区域
跟踪等方法都得到了应用 ’
书 。一般要求第一帧图像为无表情人脸‚典型的识别方
法介绍如下
① 基于光流的方法
光流是空间运动物体被观测表面上的像素点运动的瞬时速度场‚包含了物体与
成像传感器系统之间相对运动的关系。光流估计利用运动图像序列中的强度数据的
时域变化和相关性‚确定图像像素位置的运动情况 。光流估计的方法被广泛的应用
于图像序列的表情识别中‚基于特征点的光流模型、基于密度流的像素跟踪模型都
离不开光流估计。 味口 等 研究表明利用光流可以检测到
中的运动单元 和 应用光流模型进行人脸表情的分析‚但并没
有描述区分各个运动单元的光流的特征 等砰 提出了一种基于光流的方法‚
对眉毛、眼睛、嘴唇等区域的运动单元进行分辩 ‚既可以分辩 个独立的运动单元
又可以分辨 个运动单元的组合。
② 特征点的跟踪方法
特征点跟踪的方法就是对标定好的特征点进行运动轨迹跟踪‚用特征点的位置
变化构成特征向量用于识别。如 等 应用特征点跟踪进行表情特征
提取‚选取 个特征点 眉毛 个‚眼睛周围 个‚鼻子周围 个‚嘴部 个‚
是用 一 算法做点的运动估计。
③ 势网络模型法’
使用势网络模型法‚用不同的滤波器对归一化后的人脸图像进行边缘检测‚然
后使用高斯滤波器对提取的图像强度边缘进行滤波 ‚得到一个光滑的梯度边缘 滤波
后的图像可认为是一个梯度场‚这样就可以使用弹性网格模型进行人脸分析‚该网
格通过弹性力变化控制人脸的进一步变形‚弹性网格模型抽取到的弹性网格变形信
息可用于人脸运动信息编码。通过使用高斯微分滤波器对归一化的人脸图像进行势
网络模型的适配‚达到特征提取的 目的。要求图像序列为正面人脸图‚且无毛发、
眼镜等的遮盖‚第 帧为无表情人脸‚允许光照变化。
④ 隐马尔科夫模型法 ‚
隐马尔科夫模型 作为信号的一种统计模型‚ 等 提出 应
用到面部表情识别中‚有三个问题需要解决 怎样 由观察的面部表情序列及模型去
计算观察面部表情序列的概率 如何选用最佳准则来决定状态的转移 如何根据观
察的面部表情序列计算给定的模型参数‚使得观察序列对该模型有最大的概率。涉
篡 默思
及到此 对各种表情描述的准确程度 问题‚并提出了一种可以自动分割和识别
面部表情的多层 的模型‚在与人相关的实验中得到了 的识别率‚其中
“ 高兴” 的表情识别率达到了 在与人不相关的实验中也取得了 的识别
率。

本章小节

本章首先论述了人类情感情绪的基本理论 总结分析了情绪的分类和表达方式
接着分析 了情感计算和人工心理学理论等情感计算研究的理论基础 最后介绍了人
脸表情识别的概念及常用方法。
 篡 默思
第三章 基于表情计算的情感交互算法

表情识别作为获取人类情感信息的重要途径‚已经成为情感计算领域的研究热
点。本章在分析 算法基础上‚结合 分类算法‚进行人脸表情识别‚
并结合人工心理理论建立情感空间及情感状态转移机制‚设计出情感交互算法‚实
现了基于学习者表情的教学性情感交互。

表情独立分量分析

独立分量分析 是近年来发展起来的一种新的盲源分离方法
。该方法在信号处理的很多领域都有很大应用潜力‚己引起了国
际信号处理领域的广泛关注 ’。 理论的发展可追溯到上个世纪 年代初期。
法国学者 和 等人首次提出了 分析的基本概念 】
。然而当时
正是神经网络研究的高潮期‚ 理论的研究只是在小范围内进行‚并未受到广泛
重视。直到 年代中期‚ 理论和算法的研究才真正得以发展并受到国际信号
处理界的广泛关注。其中 和 在 年发表的论文【 可 以说是
研究热潮的起点‚随后 一 和他的研究小组在 算法理论研究方面也
做 了很多开创性的工作。

图 一是 问题的线性混合和分离模型。图中虚线框中的源信号矢量
二 ‚
凡‚…‚
‘ 和线性混合矩 阵 都 是 未 知 的 。 牙 为待 求 的分 离矩 阵 。

‚
‚‚…‚‚ 是 的最终输出结果。
只有观测信号矢量 ‚
乓‚…‚
‘ 是
已知的‚其中的每个分量戈 二 ‚‚
…‚ 有相同的观测样本长度。 、 分别代表
的是观测信号个数。
 篡 硕士 学位论 文
’

假定 个观测信号戈是 个未知源信号 的线性组合 ‚ 七 ‚源信号的均

值为零且各分量相互不独立 。当不考虑观测噪声时‚有

戈 艺马 ‚
‘ ‚‚
…‚
矩阵形式为

‚‚
’‚与 ‚ ‚ ‚‘ ·
其中 、 、 分别表示观测矢量、混合矩阵和源信号矢量。特别说明的是 为

矩 阵。
为了从混合信号中恢复源信号‚可采用简单的线性分离系统‚即

‚‚
…‚喻 一砰· ‚
凡‚…‚
‘ ·牙·
其中 、平、 分别表示分离信号、分离矩阵和观测矢量‚平是 分离矩阵‚

和 平具体表示为
‘
” ﹁ ‚
一 一

气 ’
‘’气树

「
‚‚… ‚
” “”

”’
“’’
。‚ 。 。 。 「 ‚

理玩二 二
玛 呱
独立分量分析的主要 目的是为非高斯数据找到一种线性变换‚使得输出的分量
与分量之间是统计独立或者尽可能的独立 。所 以判断独立 的标准非常关键。在数学
上独立性与非高斯性是等价的‚它主要有两个判断标准 负嫡 叩 和峭度
叭。 。但是峭度标准对数据的外部条件很敏感‚不稳定 。所 以一般采用负嫡
来判定两个变量是否独立。

一种近似公式可进行非高斯性度量

凡‚二
艺、〔仅‚一叹‚’
其中‚凡为一些正常数‚ 为零均值、单位方差的高斯变量‚函数 为非二次

函数。当所有的叹 是‚
近似式成为 似力、〔
“ 仰研一
“仰 」
‚·其中 是
 篡
硕 士 学位 论 文
’

任意非二次函数‚ 为一个无关的常数。对适当选取的 ‚可得到很好的负嫡的近

似‚尤其是选择增长不是很快的 时‚可得到鲁棒的估计。

设 经过中。
化、预白化处理‚
几 最大值在 。
的某个最优解处得至。
在约束条件叫 勺 一 ‚
下‚以 匀 的最优解满足
二 一
刀 ‚
其中刀为一常数‚ 为 的导数。当 是 的最优值时‚可容易地得到

刀一或可 ‚根据此式可以计算处迭代中的刀近似值。式 的求解可以用

牛顿法。其中的 阵 为

· 一
刀
最终的迭代公式为

‘
二、 一、 了
‘
上式只估计 了一个独立分量‚设独立分量的个数为 ‚为了估计 出这 各独立
分量 ‚需要使用 。各列矢量 ‚
…‚ 运行式 。为 了防止不同的权矢量收敛导相

同的极值点‚可以使用基于 田皿一 去相关的抽取算法。在每一次迭代后对

线性组合 派‚
…‚几 去相关。 即得到 个列矢量 ‚
当估计了 个独立分量‚ …‚咋
时 ‚利用 公式 · 来求 琳 ‚‚且每一次迭代用下式进行去相关 ‚并重新归一化

阵‚ ·、‚ 一艺阵

、十
‚ ‘·
、十 扒十 、‚
、
算法 表情特征提取算法
步骤 对观测数据 进行去均值处理‚使得 戈卜伍
步骤 观测数据 进行去白化处理‚使得叫了小 ‘
步骤 初始化估计向量的个数‚ 二
 篡 硕士 学位论 文
’

步骤 初始化 、 ‚
、 可以随机给定‚、 咋‚ 、

步骤 利用 迭代计算 、 ‚更新和归一化

步骤 使 二 如果 信源个数 ‚返回步骤 。

上述算法执行后‚能生成多个反映表情特征的独立分量。但是‚提取独立分量
的理论是有一定缺陷的 得到的独立分量很随机‚并不是固定的。也即某次运行
得到 了一些独立信息‚在下次运行 中可能得到另外一些独立信息。 即使得到了一
组独立分量‚对它们的能量 幅度 ‚角度 符号 进行一些变化而不影响它们间严格的
数学关系 ‚这样 ‚得到的独立分量性能值得思考 。 理论上只能说是能够尽量独立
的特征分量‚并不保证一定独立 。
由于这些缺陷‚使得使用独立分量的时候不得不考虑 以下几个 问题 究竟多
少个独立分量能够充分地描述要处理的对象 得到的独立分量判别分析的性能
怎样 如果得到的这些独立分量判别性能不同‚或者说有很大的差异‚那么怎样
去组合它们

一些研究人员己经注意到这些理论上的缺陷‚因此也都提出了一些相应的方法。
即 址‘提出了最大化类间马氏距离的 算法。 ‚通过微
笔‚
小地修改计算独立分量的条件 ‚多次运行‚多次计算‚得到很多个不同的独立分量‚
然后估计这些独立分量的统计意义上的可靠性‚最后选取那些在信号空间中出现频
率较多并且能够和其它独立分量容易分离的独立分量 。他们俩人都获得了比较不错
的实验结果‚但是仍然有以下几个方面不足
首先 ‚在文献【 中‚他们 的判断依据是马 氏距离最大化 ‚可是没有在理论上
证 明所得到的独立特征的分布符合特定分布‚也即不能从理论上证明马氏距离和独
立分量的判别性能之间有什么关系 。可能有的独立分量的马 氏距离很小‚但是它具
有很强的判别分析性能。第二‚文献【 提出的算法需要多次计算独立分量‚这样
在大数据库上必然是一个很耗时的工作。第三‚不可能通过有 限次的计算得到所有
的独立分量‚所 以那些得到的独立分量的可信度只能在一定程度上成立‚并不是绝
对的。最后‚在 和【 中提取的特征都是从可信度或者是有效等这样的角度出发
的‚并没有考虑到判别分析的过程‚即不能保证根据他们的标准提出的特征具有很
强的判别分析性能。

改进的表情识别算法一
 纂 硕士 学位 论 文
’

心理学和教育心理学的研究成果表明‚如果学生对所学内容很好的理解并接受‚
则会表现 出愉快 或快乐 的情绪 反之‚若无法理解所学内容或在学习过程中遇到
障碍‚或者不喜欢当前的教学方式‚不喜欢当前教学进度的安排‚则会表现出不高
兴或悲观的情绪或表现为对所学内容不感兴趣。由于学习过程中的情绪变化是比较
细微的‚必须对表情的局部特征进行重点分析。传统的表情识别算法对表情的细微
变化不敏感‚不适合直接用于学习系统中的情感识别。

针对 以上的不足 ‚本文提出了一种改进 的表情识别算法一 。

算法包括三个步骤 检测并提取人脸区域 ‚并对人脸热点区域 眼、眉和嘴部 进
行定位和提取 。 对人脸热区重复运行 多次‚得到足够 的独立分量。 构造
分类器‚对表情特征进行选择和分类 。

人脸检测与归一化算法

人脸检测与定位是表情识别的第一步‚从背景中精确检测出人脸图像作为识别
系统的输入 ‚才能进行表情数据的提取。为了提高复杂背景下算法额鲁棒性‚需要
在表情识别之前准确定位人脸区域并进行归一化处理。
人脸检测
本文使用 即 提供的 人脸分类器进行人脸检测‚效果较为理想。图
一为 分类器人脸检测示意。

图 一 分类器人脸检测

表情特征归一化
在上一部分的基础上提取人脸 ‚得到由 个人脸区域为元素的数组 ‚
由于 仅包含眼、眉、鼻、嘴等主要特征‚所以在此基础上进行人脸特征定
位具有较高的准确性。
 纂 硕 士 学位 论 文
’

眼睛特征定位
眼睛是人脸最重要的器官‚眼睛在人脸上的位置有以下特点 在眉毛与鼻子
的中间‚距眉毛的距离小于距鼻孔的距离 两眼之间大约是一只眼睛的长度
两眼对称于人脸对称轴。两眼间距受光照或表情的影响最小‚可用作几何特征或图
像尺寸的归一标准。瞳孔在图像中是最明显的特征‚如果知道了两个瞳孔的中心位
置‚则其它面部器官可 以依据结构比例关系的先验知识和灰度分布特性快速确定。
由先验知识可知‚ 中上半部分包含 了眼睛和眉毛信息‚并且左右基本对
称‚因此我们将图像分为上下两部分‚标定眼睛时‚只考虑上半部分图像 上半脸 。
由于眼睛和肤色的差异较大‚首先对 上半脸进行水平方向的投影‚从投影
中心位置分别向左右两侧搜索峰值‚基本就能确定眼睛在水平轴上的两个范围 和
。这里虽然有眉毛的影响‚但是 由于眉毛正好位于眼睛的上方‚因此不影响水平
区域的确定 ‚如 图 一 所示。
然后在 和 的上方区域的竖直方向投影‚得到第一个峰值附近 的区域 、 ‚
如图 一伪 所示 。然后在 与 及 与 确定的两个矩形区域 内‚对黑点进行区域
膨胀‚可以得到眼睛的大致轮廓‚然后将黑点的坐标平均值作为瞳孔的位置。

投影方 向

尸 、、、
、

尸
万
一 、
百

图 一 眼睛水平投影示意

图 一 显示 了人脸特征点的灰度图像在水平方向和垂直方向上的投影。从水平
投影可以看出‚从左 向右三个峰值分别对应了眉、眼和嘴在垂直方向上的位置区间‚
从垂直投影可以看出‚从左向右两个较大峰值分别对应眉和眼的在水平方 向上的位
置区间。这两个区间的交叉区域即为人眼区域。
 篡 硕士学位论 文
’

‚
砂。
、气。
。…水平投 影
图 一 人脸灰度信息投影
垂直投影

这里的粗定位方法综合考虑了前人方法的有缺点和算法的复杂性程度 ‚利用人
脸结构特点的先验知识‚用一种基于二值化图像的方法进行眼睛范围的粗定位‚再
用基于 变换 的圆检测方法对眼睛进行精确定位。
变换检测瞳孔
变换可应用于检测图像空间的解析 曲线‚解析曲线的参数表示的一般形
式是

‚
式 中 是解析 曲线上的点 二维矢量 ‚ 是参数空间中的点 矢量 。对于半径为

‚圆心为 ‚
几 的圆‚上式可写为

一 ‚ 必一气 ‚ ‚

此时‚点二〔
、‚
司尸‚
“ 〔
。‚‚
〕尹‚它的参数空间由
二维增加到了三维。
与点到曲线的变换类似‚图像空间的圆对应着参数空间 ‚ ‚ ‚这等价于约束
了产生一族圆的点 ‚
几 的轨迹。点‚‚ 沿着图像空间这一族圆移动时‚对每一
个圆边界上的点‚
相应参数空间的参数变化形成一个直立圆锥轨迹。
与直线的
变换一样‚对参数空间适当量化‚得到一个三维的累加器阵列‚阵列中的每一个立
方小格对应 ‚ ‚ 的参数离散值。
对图像空间所存在的圆边界进行形状检测时‚先计算图像每点强度的梯度信息‚
 篡 默糕
然后根据适当的阂值求出边缘‚再计算与边缘 ‚
几‚ 立方小格的累加器加 。瞳
孔半径的取值范围是 ‚
月‚ 像素‚即 盯 ‚ ‚改变 值再重复上述过程‚
当对全部边缘点‚‚ 变换完成后‚对三维阵列的所有累加器的值进行检验‚其峰
值小格的坐标就对应着图像空间中瞳孔圆形边界的圆心 ‚
气‚ 。
瞳孔边界精确搜索
考虑围绕在瞳孔的圆形边界点‚可以修正两个假设的瞳孔中心。如果一个圆内

的平均灰度值小雨圆外的平均灰度值‚则它的边缘点 ‚ 被接受为一个可能的瞳

孔边界点 否则将它忽略。当可以接受时‚边缘点根据 设为 ‚
偏 ‚
扬 铀 ‚

、
、
、
‚ ·子
‚
儿 艺 ‘
‚ ‘
· 艺 ‚ ·
‚ ‚‚ 一‚ ‚一
召
一
一

少 一‚
加一

式中 ‚力是图像灰度‚‚‚
‚ 和 ‚
’动 是圆内、圆外的点。

瓜‚ 一 夕‚ 一 ·
‚
‚’‚ ‚
’
式中 是圆中心到点 ‚
’ 的方向。式 和 中参数如图 一所示

图 一 瞳孔模型示意图

瞳孔位置最终 由具有最大比率 的圆确定‚ 是可接受的瞳孔边缘像素与可变半

乙‚
‚
‚。
圣业禅。
、单‚
式中气 和 、是圆形环域‚分别为 个象素和 个象素‚两个圆环中心坐标的范围
由假设坐标加上或减去 个象素。这样就确定了以圆中心点和圆半径的瞳孔区域。
 ⑧ 硕士 学位论 文
‚

由于 变换的结果可能会确定多个圆心‚所 以需要进一步排除伪瞳孔圆心‚
即判断圆心 ‚
气‚ 是否满足 ‚
气。 气 。 门 ‚舍去所以不满足这一
俩‚
条件的圆心‚剩下的就是瞳孔圆心。

嘴部特征定位
嘴部尤其嘴巴是人脸表情识别时一个主要的特征 ‚人脸表情的变化很大程度
都反映在嘴 巴的变化上。但是受光照的影响‚下嘴唇沿与下巴处的灰度跳变不明显‚
在原始灰度 图上几乎不能确定出下嘴唇的位置。因为人脸 图像经过二值化后‚水平
灰度投影会在人的嘴和眼睛处产生两个突变‚形成两个灰度值的波谷。再加上人脸
器官分布的几何先验知识‚可以确定出嘴 巴区域的大致范围人。 。人 ‚与人脸图
像中垂线的交点定为 戈 ‚
‚珠 ‚ ‚在水平和垂直方向各向外移动阂值巩 、践
大小的距离‚定出嘴 巴检测区的左、右、上、下的坐标 鲡 、玩 、骊 、 各点所
对应的灰度值为 ‚
力

场 凡 ‚一巩 巧
。
氏口‚
嵘二‚
骊 礁二‚一践
对于定出了左右上下边界的嘴巴搜索区‚从上 向下求得该区域得垂直投影图
为加

腼跳 艺
为拟
‚
少
和水平投影 图
戈材

。
切 二艺
加
‚
夕
经过二值化后的图像‚认为在特征区域的像素为黑 值为 ‚在脸颊的像素为白
值为 ‚通过嘴巴的大致搜索区域蠕 、的垂直和水平投影‚就可以得到精确的嘴
的最左边 、最右边、最上边、最下边 的位置 戈枷 树、义从 、少从 、 从而

得到新的更精确的嘴部搜索区域人 。经过上述高、宽范围的确定‚进一步缩
小了搜索区。唇中的定位就可以认为是坐标点对从翎万碱 ‚
巧俪腼。
功 ‚双肠腼 ‚

呱恻
腼功的值分别是
万肠恤 工枷树

珠酬初。
‚ 、
 篡
上述方法能准确的检测出人脸热区。但是在表情脸图像中‚由于表情的影响‚
面部的特征部位都产生了 “ 变形”‚有必要将这些变形归一化到同一个标准上。具
体如下 假设表情脸图像中双眼的中心分别为写‚耳且写‚耳 的中心为凡 ‚同时
假设嘴的中心为呱 ‚那么归一化的目的是使所有表情图像的凡呱 为常数。
综上所述‚我们定义了如下归一化算法。

算法 表情特征归一化算法
步骤 卜 输入人脸图像 ‚到 ‘ ‚分辨率为 。

步骤 对 。的二· 区域内灰度做垂直投影 在投影轴呢。呱和

呢。’ 区域搜索极值‚得到左右眼睛的‘
坐标习·凡”
步骤‚对 。
做水平投影‚在投影轴 ‘
和 。。
区域搜索极值‚得到
、叽
眼睛和嘴的 坐标乓’
步骤 变换进行瞳孔精确定位 凡‚
凡 和 凡‚
凡
步骤 计算嘴中心坐标 城 ‚
凡 ‚ 其中 凡 凡

步骤 计算归一化系数、·乓一
凡 ‚‘为常数
步骤 图像归一化 ’ ‚。’ 。

人脸表情热区的特征提取

在上一节的基础上‚我们得到了人脸表情的热点区域 眼、眉和嘴部 。本节利

用算法 对上述热区提取独立主成份分量 ‚为表情分类提供数据源 。

表情识别算法

本文提出的 分类算法是表情识别的核心。它的基本思想是对人脸热区
特区 分量‚并由此构造 弱分类器对特征分量进行组织和分类。
算法是通过循环来完成‚在每一次循环中‚选择一个若分类器‚弱分类器的唯一要
求就是它们的分类准确率要大于 。如果有 个独立分量 ‚
凡‚…‚
‘ ‚对第
幅训练图像而言‚相应的有 个投影系数 君 八‚ ‚
…‚寿 ‚输入矢量就是获得
的投影系数君和相应的编号戈。在本文中‚每一独立分量都有可能构成一个弱分类
器‚首先通过它们欧式距离的识别效果做一个简单的测试来找到那些真正能够构成
 篡 硕 士 学位论 文
’

弱分类器 的独立分量
对于 类的 幅 训 练 图像 问题 来 说 ‚在 第 个独立 分量上有 个投 影

几 ‚
‚‚ ‚
…‚ ‚
…‚吼 ‚类均值为 ‚ ‚ ‚
…‚ 其中吼 是第 类的样本

的数 目‚故有艺级 。
如果

氢‚。‚
‚飞 刁
那么认为这个独立分量凡能够在第 上构成分类器。其中
‚ 犷 几‚‚
八‚
‚
’一‚ 口

一旦选择 了 个独立 分量并都组成 相应 的弱分类器 ‚全埃 了使用连续 的多类

算法‚弱分类器应该用一个特征 ‚一个闽值氏来配置

‚‘
‘
、‚
矛伏
几 犷 氏
力 、 ‚
‚了、夕
尤 一
一

使用 中表示样本空间和 甲表示标注空间‚那么一个简单的多类多标注问题可以用数
据对来表示 ‚ ‚其中 。。‚ 。甲 ‚定义如下
「
之 ’ ‘ 、
卜‚ 犷 必
则 分类算法可定义如下。

算法 表情分类器划练算法
输入
初 始 样 本 ’。‚
凡 二‚二‚ ‚
…‚ 和 样 本 的 类 别 标 注

‚‚
…‚ ‚其中 是类别的数 目
执行算法
给定循环的次数
初始化

一 鱿 ‚ 、 丁二‚ 二 ‚
秋值 …‚ ‚ ‚
…‚人
八

训练
 纂
循环 ‚
…‚ ‚

在 只 分布 条件 下 ‚从弱分类器 中选 择 一个弱分类 器

乓。 甲峥 ‚‚‚‚‚使乓 艺只‘
二
‚琪 人戈‚一凡绝对值最大
选择乓 气 ‚ 使冰 笋 ‚
气 乓

让。‚ 上丘
乓

按照只 ‚
‚ ‚
二几‚
洋 更新分布‚其中 二 分别代表 样本分类正确

或错误‚且 戏 ·丁
生
一乓

几 ‚
‚
归一化权重‚让它满足一定的分布 只‚‚
艺只·
‚
‚‚
输出

‚ 艺‚
乓龙‚

上述过程中‚久是第 轮训练后产生的弱分类器气‚‚ 的性能评价因子‚由

人戈‚ 作用于样本集产生的分类错误的样本权重之和乓来决定‚代是乓的减函数‚

乓越小‚则 ‚
越大‚八戈 ‚ 的重要性越大。这里需要注意的是‚当分类错误乓之
时‚算法会删除本轮生成的弱分类器‚并且算法中止。因为此时‚在训练步骤 中
的样本权重更新过程中‚“ 困难” 样本的权重变小‚“ 容易” 样本权重增加‚权重更
新机制 失效 。当乓 时‚即训练集样本都分类正确 ‚此时所有样本权重为零 ‚样
本 权 重 不 再有意义 。最 终 的强分类 器 ‚ 由所 有 的弱 分 类 器

气 弋 ‚‚
八戈‚‚ …‚乓 ‚ 通过加权求和得到。
通过上述算法‚根据输入初始样本 。‚
凡 的不 同‚可 以得到多个强分类器

从 ‚ ‚将这些强分类器组成 级联弱分类器‚如图 一 所示。

 篡 硕 士 学位论 文
’

强分类器 强分类器 强分类器

‚‚
‚气 丛‚ ‚

‚‚ 甄‚
一

从‚‚
氏 散砂
砂
氏 动 ‚机 ‚
受
接

图 一 级联分类器 江

其中‚级联分类器层数为 ‚凡 表示各层强分类器 不 ‚
…‚ 为各级弱
分类器个数 凡‚
‚ ‚ 。拭 ‚ 表示第 层强分类器的第 个弱分类器‚ 。
‚‚为
其对应的权值 ‚
…‚不 。本文选取 二 ‚
不 。
根据弱分类器 ‚我们设计了如下表情分类算法。

算法 表情分类算法
初始化
设置检测窗口大小 ‚读取分类器
分类
设置当前检测窗 口破 ‚
夕 朋刀 ‚
夕 ‚若所 ‚
夕 超出图像范围‚
进入
布刀 ‚
对环 力 提取 特征并排序得 ‚
凡‚…‚
‘

若 被氏 ‚则不 欢‚
接受且不 凡‚ ‚进入 ‚否则进入
若 ‚进入

返回不‚算法结束
检测失败‚算法结束。

其中 ‚为每次检测的窗口大小‚每次移动窗口时‚先依次向右移动 像素‚到达
图像最右侧时‚窗口下移 像素‚再从左侧重新开始向右移动。
本文提出的 算法充分考虑了 和 两种算法的优点‚一个
 篡
硕士 学位论 文
’

能够产生可能的优秀特征 一个能够从一些 良荞不齐的特征中挑选出那些真正具有

优秀的判别分析性能的特征。
总的来说‚本算法主要具有如下几个特点 通过重复运行两种不同表达方式
的 算法‚可以以较高的概率得到那些真正的、性能优异的独立分量‚这对后续
的识别阶段影响巨大。 采用 来选择独立分量‚其 目标就是组合独立分
量。提高判别分析性能。 利用了 中的弱分类器原理‚算法执行效率更
高。 不需要大量的独立分量‚计算时间合适。 相比传统的 算法而言‚
本文所要挑选的特征是 特征‚所以特征空间的维数在不损失大量信息的基础上
得到了大大地减少‚所以执行效率更高‚识别结果更准确。

实验及分析

本文采用 人脸表情数据库对算法进行测试 。 日本女性人脸表情

数据库‚共 人‚共计 副图像‚图像分辨率为 ‚其中训练图像集共
张‚测试集为全部图像。
图 一 为采用 算法人脸检测结果。为了准确定位表情特征 主要是
眼睛 ‚我们提取圆形区域 内的人脸灰度值 ‚得到人脸序列 ‚如图 一
所示 。对 』
作归一化处理 进行二值化及中值滤波处理 ‚并设置人脸分辨率
为 、 本文取 。然后采用投影与 变换相结合的方法进行人眼定
位 ‚实验结果如图 一 所示。

公
骨幼
图 一 。
。 算法人脸检测结果
 篡 硕士 学位论 文
‘

如叩
月 卜‚‚ 目匕 口 白目 佃 臼目七 曰目 口 匕日 日 ‘ ‚ 巨归 目臼匕口 加 白 卜目 曰 目白 州 白闷

川
门
目
侧
恤
仙
月
扮
孤
二一
黑 ︸
一
引
司
翻 门
县
二 ‚ ‚翻 ‚闷

中值滤波后 变换圆心标定 结合投影标定眼睛和嘴

图 一 变换眼睛和嘴定位结果

完成表情特征定位与归一化后‚我们对 数据库的 张图像进行 了表情

分类。在实验室‚我们为每个不同的面孔指定了本征脸。本征脸代表了中性情感是
的表情 ‚是判断其它类型表情的参照系‚提高了表情分类的准确性。图 一 显示了
对 四类表情的分类结果。

图 一 表情分类结果

对于 人脸表情数据库中 图像‚采用本文方法识别人脸表情具
 ⑧ 石
贞士 学位论 文
‘
正’ ‘ ’
’于

有较快的速度‚每张图像平均耗时 左右‚使视频实时处理成为可能。同时算法
对简单表情的分类准确率 如表 一所示 也基本能满足实际应用的需要。

表 一 表情识别率比较

兴奋 高兴
兴 平静
静 沮丧
丧 生气
气

一
一

表 一对 和 两种算法的表情识别率进行 了比较 ‚结果显示

算法的识别正确率明显高于 算法。
同时本文将 算法的结果与 、 特征及支持向量机方法的表情
识别结果进行 了计较 ‚结果如图 一 所示。

图 一 四种算法在 表情库中的识别结果

从实验结果可以得出如下结论
较 有明显的优势‚主要原因在于 充分利用 了
在特征提取上的有效性和 算法分类在特征分类上的优 良特性‚
并且该算法有效降低了传统 特征的维度‚提高了计算效率
 蠢 硕 士 学位论 文
’

基于 特征的表情识别对于兴奋、高兴的识别率较高‚但对沮丧、
厌恶的识别率不及 算法
支持向量机方法对五种表情的识别都很高‚主要原因在于文献【 在实
验中训练样本与测试样本空间重合‚ 张样本库有 张参与训练‚在实际应
用中是不满足这种条件的。

情感交互模型

目前‚已有国内外研究机构对人工心理、情感机器人等展开研究‚他们的研究
目标在于构建一个带有情感的智能终端‚从而使机器具有类似于人的情感 ’
“‚
’‚ 。
本文从另一个角度‚即在理解人类情感基础上‚对帮助人类情绪控制和情感变换提
供辅助性措施 ‚这对于激发学习者的学习积极性 以及调整学习状态具有很大的帮助
作用 。
本节 的主要任务为构造学 习者情感补偿与激励模型
一 ‚它包括 设计人工情感空间及情感状态转移
规则。 定义情感激励规则。 定义情感淡化规则。 提出 算法实现远程
虚拟教学中学习者情感的 自动干预和调节。

构造情感空间

心理学家在对表情的研究中提 出了维量分析法‚并将人类的情感划分成高兴、
惊奇、恐惧、悲伤、厌恶和愤怒六大类‚人类所有的情感都是在 以上六种情感的基
础上 ‚经过复杂的融合之后产生的 ‚‚’。基于维量思想 ‚本节主要解决了三个 问
题 选择情感语义词、构造人工情感空间、建立情感状态转移机制。

选择情感语义词
在心理学家冯特 从 的情绪三维学说的基础上‚考虑到远程虚拟教学中
学习者可能出现的情感状态‚
我们建立了具有四个分量的情感空间‚
如图 一 所示。
 ⑧ 硕 士 学位论 文
’

夕执 涌
谰珊
’’
区厂 口 口卢晚纂
翼
蘸

夕尸门 髓膨
〔

环 目’
义’…
犷酬

图 一 情绪三维模型

由图 一 可知‚三对情感元素将情感空间分为 个子空间。为了使问题简化‚
同时考虑 了远程虚拟教学环境中学生情感的分布状况‚本文 个子空间合并为 个
清绪空间‚分别是 兴奋、高兴、沮丧和生气。其中兴奋和高兴被视为正向情感‚
即能对学生的学习起到促进或提高学习兴趣和效率的情绪状态‚沮丧和生气被视为
负向情感‚即对学生的学习起到抑制或降低学习效率的情绪状态。三维坐标系的圆
点为中性情绪‚它对学生的学习既没有促进作用也没有抑制作用 。

构造情感空间
设清感状态空间集合数 ‚‚
…‚ ‚ 表示基本情感状态数‚本文使
用五中基本情感状态。用随机变量 表示情感状态。设 碑为 二凡 取第 种情感状
态 的概率‚且满足

艺碑 ‚‘碑‘‘ ‚‚
…‚
这样‚情感状态的概率空间模型可表示成

“ 凡 …‘
戈少 人凡 … 」

认为‚一个人的情绪状态不能被直接观察‚但某一状态的特征能够被
观测得到‚通过特征来找处可能的情感状态‚于是她提出了一个包含三个情绪状态
的 模型。在其工作的基础上‚本文将其模型从三个情绪状态扩充到五个情绪
状态‚它们之间的转换关系如图 一 所示。
 ⑧

图 一 五情绪状态的马尔可夫模型

由图 一 可 以看 出‚情绪状态间的转换在不同的外部激励策略下对应不同的概
率值马‚每个凡对应于 节中的凡矩阵中的元素次 ‚‚其中 为激励类型编号。
比如从 “ 平静 ” 到 “ 高兴” 在受到 “ 正 向” 激励 比受到 “ 负向” 激励时的转移概率
要大得多。在建立情感空间时‚我们仅考虑 了不同激励策略对情绪的影响‚没有考
虑同一激励策略对不同对象的情绪影响差异‚即情绪的个性化问题‚这也将是本文
所基于课题有待深入研究的方 向之一。

建立情感转移机制
情感状态确定后‚必须定义状态之间的转换规则‚即在一定条件下‚从源情绪
状态变换到 目标状态的转移概率问题。另外还要定义在 已知源状态和 目标状态的情
况下‚如何选择外部最优激励措施的问题 。本文利用 模型来解决上述问题。
模型
下面对每一种情绪状态来确定 的参数‚ 可以通过 以下参数来描述
‚

① 元素 它表示模型中的状态个数。
② 元素 表示处每一个状态可观察到的不 同符 号数 。各个符号表示为

‚‚
…‚ 。
③ 状态转移概率分布 ·马‚ 其中‚凡 ‚‚ ‚尽〕夕‚“ ‚
描述各种表情之间的转移概率‚状态转移概率分布由经验值预先设定。

④状态 中可见符号的概率分布” ·乞 ‚其中‚气 【

尸在‘
时刻出现
符号为 ‚ ‚ ‘ ‘ ‚‘ ‘ ‚描述了一种表情状态中‚一种器官各个运
 篡
动状态的概率分布。初始状态分布二 气‚其中‚气 ‚‚
“ ‘。
的三个基本 问题
问题 评估 问题

给定观察序列 ‚‚
…‚ 和模型兄 ‚‚
二‚ 计算 幻。即给定模
型和输出观察序列‚如何计算从模型生成观察序列的概率。可 以把它看作是评估一
个模型和给定观察输出序列的匹配程度‚由此可以用来在一系列候选对象中选取最
佳 的匹配 。
问题 解码 问题

给定观察序列 二 ‚ ‚
…‚ 和模型兄 ‚‚
二‚求在某种有意义的情况下
最优 的相关状态序列 二 ‚‚
…‚ 该问题可 以理解为对输出观察的最佳“解
释”‚它试图揭示模型的隐藏部分‚比如说查找“正确”的状态序列‚在应用中‚通常
都使用一个优化策略来最大可能的解决这个 问题。
问题 学习问题

如何调整模型参数兄 扭‚‚
科‚对于一个给定的观察序列口 ‚‚
…‚ ‚
使得 幻 最大。它试图优化模型的参数来最佳的描述一个给定的观察序列是如
何得来的【 ‚ 』
。
对于评估问题‚
可利用前向一
后向算法 一 来解决。定义
馨 前向变量‚
‚ ‚‚
一‚ ‚
叮‚又兄
通过下面公式递推计算
初始化 ‚ 凡瓦 ‚‘ ‘

”‚
递 ’一
‚客 …
二、·
、
‚‚才
·
丁一‚‚
·“
终止 归幻 艺 二

黔后向变量‚
戏 ‚ 】
吼二尽 幻
初始化 几 ‚‘ ‘

递推 戏 艺凡乓 十
珑十’‚
‚ ‘丁一‚
‚ …
丁一‚ 兰 三
 篡 硕 士 学位 论 文
’

终止
“ 艺戏‘
对于解码问题‚可 以利用 算法实现。由于本文没有用到解码问题‚故该
算法过程在此不作描述。
对于学习问题‚可以利用 幻一 估计算法解决。该算法是一种迭代算法‚
初始时刻 由用户给出各参数的经验值‚通过不断迭代‚使各参数逐渐趋 向更为合理
的值 。算法可简单描述如下
初始化

二 当 二 时处于尽的期望值‚ 兄 ‘‚ ‚
迭代计算
令么 ‚
力表示 时状态为尽以及 时状态为 的概率‚
易 ‚
吼‚ ‚ 兄 ‚马 八‚
或 ‚
艺艺 ‘
兄
凡气 十戏‚
传

其中‚兀 艺么 ‚
二
力表示‘
时刻处于状态尽的概率‚ ‚
刀为前向、后向变量。
重估公式

终止条件 幻一 凡 引‚其中 是预先设定的闭值。

情感激励

关于情感产生的激励信号‚我们着重考虑意识刺激。人们的意识形势虽然多种
多样‚但是人类也像其它动物一样‚接受得最多的还是“正向”和“负向”这两种意识
刺激信号‚“正向”信号是指能刺激脑的愉快中枢的信号 “负 向”信号是指能刺激脑
的不愉快中枢的信号。正因为如此‚我们得情感交互系统主要就是针对这两种感知
 篡 硕 士 学位论 文
’

信号作出反应。这两种刺激信号来源于实际教学过程中的“教学行为”‚即采用何种
情绪激励策略来影响学生的情绪‚以达到预期的教学和学习效果。
为了帮助学习者在学习过程中始终处于 良好的心理状态‚提高学习兴趣和学习
效率‚本文在远程虚拟教学系统的基础上‚针对学习者当前的情绪状态‚以教学性
交互为例‚提出了四种情绪激励策略‚称为情绪激励因子‚定义如下
石 澎功笋习截嘟
几 详绷分绍寡础知许
几 著加学习截穿
几 娜理基础知识分级
本文仅抽象的描述情绪激励因子‚在实际应用 中‚可以根据课程的具体情况将
激励因子具体化 ‚例如 几可以是“对该问题的深入学习” ‚也可以是“增加难度较大的

习题或思考题”等等 。
在应用 模型时‚必须明确在各种情绪激励因子作用条件下学习者的情感
状态转移概率 。在实际应用中可以利用前向一
后向算法 一 出过
来计算‚为了简便起见‚本文采用经验值概率取代这一过程。上述四种情绪激励因
子作用下情感状态转移概率定义如下

、 ‚

鸿
一

、
几 ‘
、

凡 人
一 一
一

其中凡 ‚
’ 尸‚ ‚ ‚ 又‚ 口幻 ‚‘‚‘ ‚对应于图 一 中状态转移概
率气‚人 与激励因子人对应。

情感淡化

在外界刺激消失情况下‚心情会随着时间的流逝逐渐淡化‚其情感强度逐渐减
弱。假定理想情感状态为 ‚当前时间 对应的心情状态为 ‚则当前情感状态
 篡 硕士 学位论 文
’

变化率正比于当前时刻的心情状态和理想心情状态的差值 。其情感淡化过程可以描
述如下

刀 一 ‚』
其中刀为情感淡化因子‚反应了情感淡化的快慢。

情感交互算法

针对学习者在学习过程中可能出现的情绪状态 ‚本文提 出了 算法 ‚实现

对学习者学习过程中的情感监测和情感激励。
定义情绪域 王边 玩 为学习者的学习情绪的一维表示‚计算如
下
凡 汀·
其中 一‚‚‚ 为情绪降维系数。在情绪轴上‚设学习者的最佳学习情绪为
一‚

气 ‚‚‚
‚一‚
一‚‚
‚ ‚则情绪接受域振 【
编 一二气 』
‚ 。 。当学
习者当前的情绪状态 凡 。侃 时‚系统才会采取情绪激励策略‚否则继续维持
现状。降维后的情绪表示如图 一 所示

图 一 情绪轴

在上述工作的基础上 ‚我们设计 了远程虚拟教学环境 中学习者与教学平台间的

教学性情感交互算法‚算法流程如图 一 所示。
 ⑥ ‚
用 ‚
初始化情绪状态 凡

动 。侃

对 进行情感淡化
化
‚
评估‚ 执行 一 算法
法

叮 必侃 按照重估结果计算下一个
个
可 能出现的情感的概率 ‚

计算如天 与 曰的距离
离
几 ‚如果众 乓 ‚则
人

输出激励因子类型人
人

图 一 算法流程图

情感交互算法具体描述如下。

算法 情感交互算法
步骤 根据 节的表情分类结果 ‚‚初始化 汀‚‚几 二。 ‚利用公式

计算尤‚的情绪域‚如果 凡 。侃 ‚则进入步骤‚ 否则 ‚进入

步骤
步骤 对激励因子 ‚执行下述操作
初始化二 凡‚
凡 ‚
风 风

执行 一 算法‚得到激励因子 作用下最可能出现的情感状态
 篡 硕士 学位论 文
’

计算情绪域如低 ‚并评估如低 到最佳状态点 翻的距离几

若几 ‚
‚则人 七

若 ‚进入步骤 ‚否则进入步骤
步骤 返回人

‘
步骤 对‚ 进行情感淡化评估
、
‚‚ ‚
一一 、‚‚ 、 ‚
一 ’一 “
’ 一 共今‘
‚ 刀。

上述 算法对各种激励因子作用下可能出现的情绪状态进行预测‚最后选取

一种对学习者学习最有利的激励措施来刺激学习者情绪 。但在算法实现过程中‚公
式 中的 ‚ ‚
戏 在递归过程中‚由于所有量均小于 ‚因此 ‚ 随着 的增
加 和戏 随着 的减小 都迅速趋向于零‚面临着数据下溢的问题。为了解决这种
下溢问题‚我们采取对 ‚
刀采取增加比例因子的方法‚再对有关算法进行修改‚以
削去比例因子的影响。同时‚由于上述计算要涉及很多概率相乘‚而这些概率的数
值又非常小‚直接计算会产生溢出问题‚为了避免这个 问题‚通常的做法是上述各
项都取其对数形式‚则各项相乘转化为相加‚最大化符号不变。这大大减少了算法
的计算复杂度 。

实验与分析

本节提出的 算法‚我们在 八 环境下对其进行 了仿真实验。仿真

目的在于验证本节提出算法能够基本符合人类情感变化规律‚即在外界刺激信号
作用下‚人类情感状态发生转移‚并且随着外界刺激的消失‚人类的情感、心情
状态应该逐渐趋于平静状态。

定义“感嫡
则在状 态 风二 ‚‚‚‚ 下接受刺 激
补’玄
式、凡后情绪突变以及情绪随着时间而淡化的过程如图 一 所示。在某时刻依次
接受鸿‚凡‚凡和人激励情绪波动如图 一 所示。
⑧
硕士 学 位论 文
’ ’ 『‚ 了

、
‚
、
七

旦‚
‚
‘即 ‚
‚
‚
‘匕 呷 旦
甲吧
山
一
艺
芒
改

‚ 匕
一
下

图 一 平静状态下分别接受正向激励鸿和负向激励凡刺激后情绪变化 刀二

八
︺
‚
仁

·
止二 二 二 三丁 二二
入
一
一
一
一 一
木
一
︺
‘
一
甘
曰
八

山
刹

山
应
艺 。
尸‚一一‚甲一一甲‚一 ‚甲一甲
甘
一

平 水
‚红
一

上
艺
八
土 上
‚
一 一
一
一
一

一 一内
一

一 八 一 ︺

图 一 连续激励条件下情感变换曲线 刀

从实验结果可以看出‚在初始情感为平静状态下‚通过不同性质的激励‚可
以有效的改变情感状态。情感状态改变的程度与激励因子鸿‚凡‚凡和 人有关‚
 ⑧ 硕 士 学位 论 文
’

情感区域平静的快慢与情感淡化因子有关‚这个结果与情绪心理学的理论、生活
常识与经验都是相一致的。

本章小结

人脸表情识别是一个具有挑战性的课题‚如何快速、准确地识别人脸表情‚现
在还处于研究阶段‚各种算法还在摸索‚不十分成熟。本章首先根据人脸生物特征
对表情特征进行粗定位‚结合 变换圆检测‚实现了表情特征 自动标定和归一
化‚
并将 与 分类技术相结合‚
提出了一种人脸表情分类算法 ‚
它对识别特征变化较小的五类表情较为有效。然后建立 人工情感空间‚构造
了五种情感状态间的转换关系‚模拟了四类情绪激励因子 。最后结合 一
学习算法 ‚提 出了一种情感交互算法‚并在 中对该算法进行了验证‚验证结
果表明该算法是有效的。
 篡 硕 士 学位论 文
’

第四章 虚拟教学中的 系统实现

根据第二章关于情感计算相关理论与技术的论述和第三章关于人脸表情识别技
术的相关研究‚本文设计 了一个基于表情的情感交互模型
。 却 ‚简称为 ‚该模型以情感计算为理
论基础‚以人脸面部表情识别为核心技术 ‚通过捕捉和识别学习者的表情‚判断和
理解其情绪状态‚然后根据学习者特定的情绪状态给出相应的情感鼓励或情感补偿
策略‚从而帮助学习者一定程度上补偿远程学习中情感上的缺失问题 。在本章中‚
就 目前所搭建的系统软硬件平台‚整体框架及各个子系统的功能、用法给出介绍和
描述 。

系统环境及开发工具

计算机 奔腾 ‚内存
开发工具 一 集成开发环境

操作系统

系统结构及应用

系统结构

总体框架结构如图 一所示 。

数据采集

涟亚歹‘
‚
‚‚情感交互模块

人脸检测模块 情感理解模块

月
特征提取与分类模块片一
图 一 总体框架结构

该模型由五大模块组成‚分别是 数据采集模块、人脸检测模块、特征提取与
分类模块、情感理解模块和情感交互模块。
 ⑥
数据采集模块 在数据采集模块中‚包含一个缓冲图像库‚摄像机拍摄的信号‚
经过该模块送入缓冲图像库 ‚以便作为下一步人脸检测和定位的输入信号。
人脸检测模块 主要是从缓冲图像库中取出一幅图像‚对该图像进行检测‚并
定位人脸的关键特征部位。它的输出信号是进行表情特征提取所需要的‚因此‚检
测和定位的结果与准确性程度非常重要。
特征提取与分类模块 特征提取模块的作用是‚在人脸检测和定位信号的基础
上‚精确地提取人脸表情数据‚并根据预定义的参数模型‚对人脸表情进行识别‚
比如 高兴的表情、愤怒的表情 。该模块是 的核心 。
情感理解模块 该模块根据识别分类模块的输出结果即识别分类出的人脸表情‚
依据情感计算理论中表情信号与情绪情感在某种程度上的相关性‚进行计算‚并理
解出主体的情感状态。实际上就是机器情感 自动理解问题。
情感交互模块 该模块针对计算机 自动理解出的学习者的情感状态‚自动搜索
并产生一种与学习者当前情感状态相对应的调节方案‚这些方案中包含很多情感调
节策略‚例如情感鼓励的策略、情感补偿的策略等等 。因为它实现 了机器情感的自
动生成‚并作用于学习者‚所以该模块是 实现的最终 目标。
在实际应用中‚个模块 由外部实体依次调用执行。本文称这个外部实体为智能
助理 。

的应用

根据 以上的论述‚ 能够实现对简单表情的识别功能‚并能产生相应的
清绪情感的调节策略‚帮助学习者补偿学习中缺失的情感‚具有促进人机交互的
功能‚因此适合应用于现代虚拟教育中‚其应用原理 比较简单‚如图 一所示。
篡

图 一 应用模型

工作方式 的工作方式可 以有两种‚一种是前台式的‚程序运行时‚

界面显示在最前端‚需要用户手动操作 ‚完成预定的工作流程 另一种是后台式 嵌
入式 的‚类似于一个 或线程‚程序运行时‚界面可 以不显示在屏幕前端‚
也不需要用户操作 ‚只需要用户为 设定一个 自动运行的时间间隔 ‚
比如‚设定 石 为 ‚那么每隔 分钟‚ 就会 自动运行一次‚完成数
据采集、检测定位、表情数据提取和表情识别、情感理解和情感调节等工作过程。
前 台式的优点是即时运行 ‚马上能得到我们需要的结果 ‚但是 由于需要用户 自己
操作 ‚获取的表情状态的 自然性和有效性相对差一些 后台嵌入式的优点是 自动
运行 ‚不需要用户的主动参与‚这在教学过程 中是很方便的‚也是比较现实的‚
因为学习者在学习‚不可能参与 自身情感信号的获取和识别‚与前台式相 比‚后
台嵌入式获取的表情状态的自然性和有效性会更好 ‚因此‚实际上主要使用后台
嵌入的工作方式。

交互实现

在整个 工 系统中‚我们根据学习者不同的情绪状态‚给予不同的提示和
教学方案、教学环境。系统运行过程中的情感采集与交互 由智能 助理来实
现。 助理充当了学习过程中监督者的角色‚并拥有 向 申请改变教学方案
纂 硕士 学 位论 文
’

和教学环境的权力。

工作机制

智能 助理的情绪处理过程分成两个情绪模块 。第一个模块会根据外界输
入判断情绪的类型及强度 而第二个模块则会依据不同强度的情绪来产生对应的
行为反应。它的情绪反应决定于三个因素 情绪的类型、情绪的强度以及外界的
环境。这样智能 助理会动态地针对学习者的各项学习行为产生不同的情绪‚
而不同的情绪将会影响情绪化智能 助理对学习者的学习辅助策略。系统中
智能 助理对于学习者的学习辅助策略‚是依据相应的规则和行为产生的。
下面给出 助理的情绪处理流程图‚如图 一 所示。

学习者

图 一 情绪处理机制
 澎 硕 士 学 位论 文
’ ’’

助理运行在 客户端‚默认情况以后台方式运行 。它是学习者与教

学系统进行情感交互的接 口。

交互实例

在教学过程中‚首先由学生完成登录。第一次登录的学习者要进行信息注册‚
其中最重要的就是采集该学员的中性表情人脸 也可以在学习过程中进行修改 ‚作
为以后表情分析的原始资料。登录成功后‚系统读取该学员的相关信息‚并执行
助理程序对学习过程进行监督。

信息采集

学习者第一登录学习系统时‚需要采集其中性表情时的人脸图像。这样做的目
的是为了提高表情的识别率‚并为后续的建立个性化情感空间及交互策略的研究提
供信息支持。中性表情图像采集界面如图 一 所示。

加 加加朋

分析月祖 翻庵

厂
图 一 学习者中性表情图像采集界面

其中‘母‘ 、 初哟下和 环子‚

为表情特征归一化系数。
纂 硕 士 学位论 文
丁’

情感交互过程

学习者进入系统后 ‚ 助理会地 自动侦测学习者情绪并且在适当时候给学

习者以提示。

正向情绪状态下的交互

当 侦测到学习者的表情为高兴或为兴奋时‚认为学习者正处于积极的学
习状态 ‚可 以继续当前的教学方案或者增加教学难度。此时的交互处理如 图 一
所示。其中左侧为高兴状态处理过程‚右侧为兴奋状态处理过程。

侧幽翔 川 曰目 峨 川 绷口曰门

… 一‘ …
高兴 表情图像获取 今兴奋 表情图像获取

’ …
幽俘

高兴 表情识别结果 今兴奋 表情识别结果

 纂 硕士 学位论 文
’

高兴 情感评估与交互策略生成 ’ 兴奋 情感评估与交互策略生成
目三二刃当 翻口侧翻助砚甲 免
纵 厂之 囚 臼匹二扣巴 嘴 矛袋公炸履作蕊卜
月翻曰的曰 。劝 月目口扭
翔 目抽 翻目。别 目 的

一竺丝到 旦丝 」鱼些口 」丝里」』 丝丝」兰些到

刃州的卜口旧倪脚
洪二翻即 旧暇

﹄
︸
︵
一掣 一一
一
一。
。
姗
州
翻
用
一
暇
丝

翻 栩门 口

一
高兴 用户确认执行交互 今兴奋 用户确认执行交互
图 一 正向情绪状态的交互过程

图 一 中‚ 和’ 分别显示了高兴和兴奋状态下从摄像头获取的带有人脸信息
的图像 。在实际应用中‚一台电脑终端前一般只有一个学习着 ‚所 以本系统只考虑

一个人脸的情况‚以提高处理速度 。同时本文的方法也很容易扩展到多人脸处理。
和 ‚分别显示了人脸表情识别结果。 和 ’分别显示了不同情感状态的评估结
果以及 自动生成的交互策略建议。 和 今为用户确认进行交互界面。

负向情感状态下的交互

当 七侦测到学习者的表情为伤心或为沮丧时‚认为学习者正处于不利的学
习状态‚需要改变当前的教学方案或者减小教学难度。此时的交互处理如图 一
所示。其中左侧为沮丧状态处理过程‚右侧为生气状态处理过程。
 篡
硕 士 学 位论 文
’

朝口翻困团 口 以 ‘ 川
肠 匆翻旧旧目‚才 日朋臼胡 翻

人自圈即目拍 识侧

飞
写

侧 出 晰 州臼曰曰

… 序
巨一
口创娜

沮丧 表情 图像获取 ’ 生气 表情图像获取

沮丧 表情识别结果 今生气 表情识别结果

沮丧 情感评估与交互策略生成 今生气 情感评估与交互策略生成

 圆 硕 士 学 位论 文
’ ‘ 乙

到 口旧 翻 ‚才 日目 的 日 到 旧 旧目 矛 日月 留扭

︵
鱼丝些』 」些竺 」旦些』
一

鲜
月 日 卜 日份侧

︵
一
誉
哪

侧以目 胡 日曰 川翻

…
丝生里塑竺竺竺
些」些
立竺二 …
一
沮丧 交互确认 今生气 交互确认
图 一 负向情感状态的交互过程

图 一 中‚ 和 今分别显示了沮丧和生气状态下从摄像头获取的带有人脸信息
的图像。 和 今分别显示了人脸表情识别结果。 和 ‘分别显示 了不同情感状
态的评估结果 以及 自动生成的交互策略建议。 和 ‚为用户确认进行交互界面 。

平静状态下的交互

当 侦测到学习者的表情较为平静时‚认为学习者正处于学习状态的拐点‚
需要适 当的改变教学环境。此时的交互处理如图 一 所示。

日侧月 口口

… 一

表情图像获取 表情识别结果
③
硕 士 学 位论 文
‘ ’

川 朋口二 之‚ 哎 二多长汀 泛
侧 旧日 留侧曰加目比

决 侧日 目呻曰

区 口口盯 考到
︵
一
兹
晕
翻翻 份 脚

亡 【」

﹄
丧偏帆志 平价

得雷 鳖 工‚
侧 用月 日目 目冷 翻 曰目

一
情感评估与交互策略生成 交互确认
图 一 中性情感状态的交互过程

图 一 中‚ 显示了平静状态下获取的人脸图像。 显示了人脸表情识别结
果。 显示了平静状态的情感评估结果以及交互建议。 为用户确认进行交互界面。

本章小节

本章介绍了 的运行环境、开发工具、系统的整体结构及 的
显示界面和不同情感状态下系统的 自动生成的交互策略建议。
 篡 。二
第五章 总结与展望

随着计算机技术的迅速发展和网络的普及 ‚现代化服务业尤其是创新型服务业
已成为经济增长的重要动力和现代化的重要标志。国家十一五规划中更是专章论述
了服务业的发展‚并提出运用现代信息技术和科技的发展改造服务业‚提高服务业
水平。现代远程教育作为创新型服务业中具有代表性的一类服务业态‚得到越来越
多人的关注。远程虚拟教学作为现代远程教育的重要组成部分‚充分利用现代信息
技术所提供的、具有全新沟通机制与丰富资源的学习环境‚赋予了现代远程教育服
务新的内涵。然而当前的各类远程教育系统缺乏教师与学生的情感互动‚教师无法
及时了解学生的反应‚无法针对学生的学习情况实施因材施教的个性化教学方案‚
也没有充分考虑教学环节中教和学双方的情绪状态对教学的影响。此外人工心理和
情感计算研究很重要的一个课题就是在学习和教育上的应用‚基于上述背景‚结合
表情识别技术、人工心理相关理论‚本文提出构建智能化的情感交互系统。
本文进行的人机情感交互的研究是人工心理、人工智能和情感计算等理论的交
叉。研究的最终 目标是在远程虚拟教学环境中初步建立学习者与教学环境间的情感
交互模型‚即以情感计算为理论基础‚以人脸面部表情识别为核心技术‚借助人工
心理相关理论与技术‚捕捉和理解学习者的情绪状态‚并给出相应情感激励策略‚
从而在一定程度上实现学习者与远程虚拟教学环境的情感交流‚为解决现代远程虚
拟教学中的情感缺失问题做出了有益的尝试。

本文主要工作

本文以 “ 构建远程虚拟和谐人机交互 ” 课题为基础‚主要工作体现在 以下几个

方面

介绍了虚拟教学现状和情感计算相关理论。
本文绪论部分对虚拟教学的研究意义、国内外研究现状 以及虚拟教学过程中的
情感缺失问题作了全面介绍和分析‚并对远程虚拟教学中情感交互的概念、种类和
交互方式作了详细介绍。本文第二部分对情感计算的概念、目前主要的研究成果及
关键技术作了介绍。阐述了表情计算在情感计算领域的重要地位。
研究了基于投影法的人脸特征精确定位。
首先‚我们采用 提供的目标检测算法进行人脸检测‚然后利用人脸器
官的灰度信息进行水平和垂直投影‚对眼睛和嘴巴进行粗定位‚最后通过 变
 纂 硕 士学位论 文
’

换实现对眼睛瞳孔和嘴中心进行精确定位。
建立 了 情感转移模型。
分析了独立主分量分析方法在表情识别上的优点与不足‚结合 分类算
法对传统 进行 了改进‚提出了 表情识别算法。该算法利用 在特
征特区方面的优 良特性‚充分获取人脸表情特征‚然后通过 分类算法构造
有效的弱分类器‚达到对人脸表情快速有效识别的 目标 。
构造了用于模拟学习者的人工心理空间。
人工情感空间是人工心理研究的重要内容‚是人机情感交互的中枢环节。本文
选择了五种情感语义词‚对 教授的 模型进行 了扩展‚建立了一个五元
人工心理空间模型‚并设计了情感转移算法。
实现 了情感交互系统 。
模拟真实学习环境建立情感激励因子‚并考虑情感强度与时间推移的关心建立
情感淡化机制‚根据用户当前情绪状态初始化人工心理模型‚评估情感水平‚从而
提出相应的维持或改变用户情绪状态的激励方式。

创新之处

本文主要创新之处如下

改进 了 表情识别算法 。
针对传统 在提取表情特征时独立分量过多带来的分类 问题‚结合
算法 ‚提出了 算法。该算法通过对人脸表情热点区域提取 特征‚可
以以到较高的概率得到那些真正的、性能优异的独立分量 利用 中弱分类
器‚不需要大量的独立分量‚算法执行效率更高。
针对远程虚拟教育的情感缺失问题提出了 情感交互算法。
为了缓解和解决 目前远程虚拟教学中的情感缺失 问题 ‚提 出了一种基于表情识
别的教学型情感交互算法 。它以人脸表情识别为基础‚借助人工心理知识‚
充分考虑外部激励和情绪衰减因素‚实现对学习者情感的补偿与激励。
设计了远程虚拟教学平台下的情感交互系统 。
从远程虚拟教学实际需要出发‚以 情感交互算法为核心‚实现
了学习者情感的自动监测和主动提出教学型交互措施‚从而达到在一定程度上调节
学习者情绪的 目的‚使学习者尽可能处于最佳的学习状态‚提高学习效率。
纂 硕 士 学位 论 文
’

工作展望

本文对人机情感交互的方法和技术做了一些探索性的工作‚但 由于情绪表现出
的无限纷繁以及它与行为之间的复杂联系‚人们对它的机理研究还远未成熟‚使得
目前在构造情感模型和人机情感交互系统的研究中还有很多问题有待进一步解决。
今后的研究方 向如下
人工心理方面‚
进一步完善基于人工心理的情感模型‚实现复杂情感的表示‚
并建立个性化 清感空间‚解决心理个体差异问题 。
交互设计方面 ‚进一步研究激励与情绪变换的关系‚使得人机情感交互更加
真实 自然和有效。
情感识别方面‚引入多种情绪识别途径‚如语音、脑红外侦测等。另外个性
化表情理解也有待进一步研究。
 篡 默默
参考文献

【 黄海峰‚
孙燕丽 创新型服务业在中国经济转型中的作用 科技 现代服务
业‚ ‚ 一

而 ‚

』 ‚ ‚ 扔
刀
一 耐 【
抑

『叩 血 伍 吹 饰
‚ ‚ 一

〕黄鑫 基于 技术的虚拟教学应用研究 华中师范大学‚

挥如伟 虚拟现实的教学应用及简易虚拟学习环境设计【 南京师范大
学‚
孙宏彬‚
王业明 一 远程虚拟教学平台的研究与实现 现代远程教
育研究‚ ‚ 一
【 孟 国军 基于 的虚拟实验室框架的研究【 电子科技大学‚
月 ‚ ‚
一
【 王有智‚
欧阳仑 心理学基础一 原理与应用四 北京 首都经济贸易大学出版
社‚
川 卢家媚 感教学心理学四 上海教育出版社‚
吴江霖 心理学概论【 广东高等教育出版社‚ 一
唐孝威 应用心理学 ‚ 一
肠 ‚ 田叮 』
』 ‚ ‚ 加
垃

【 解迎刚 基于人工心理的智能化 一 系统研究 北京科技大 学‚

王玉洁 基于人工心理的情感建模及人工情感交互技术研究【 北京科技大
学‚
 纂 硕 士 学位论 文
’

王志 良著 人工心里 机械工业 出版社‚

【 ‚ 认吸‚ 田五
刀 血 〔』
吐 ‚ ‚ 一

加 一 ‚形 ‚ 刀
七刀
【 从 ‚
』孟昭兰 情绪心理学【
明 北京 北京大学出版社‚
【 ‚ ‚
【 ‚
刘安民 色彩 ·情感 ·包装
罗秋明‚ 包装工程‚ 一
‚ ‚
月 加 ‚ ‚
一

‚ ‚ ‚ ‚ 勿 一
‚ ‚
一

杨 国亮 人工心理相关技术研究一面部表情识别与情感建模〔 北京科技大
学‚
‚
加 ‚ ‚ 一
何 良华 人脸表情识别中若干关键技术研究 东南大学‚
‚ 酗 一
刀 加 ‚ ‚ 一
尹克重 基于 的人脸识别算法研究 ‚
重庆大学‚
』 肠 ‚ 研 一

【』 ‚· ‚ ‚

月 叭
‚ ‚ 一
 硕士 学位论 文
‚

一 一

【
刀 ‚ ‚ 一
劫 ‚ ‚叭 八刀

‚ ‚ ‚
』八刀 ‚ ‚叭 哪

』 ‚ ‚ 一
‚ ‚

加 【
月 正
‚

’ 一
灿 一

‚ ‚ 一

【』 ‚ 岌‚ ‚ 自 ‚
加
‚ ‚ ‚ 一
‚ 一
刀 好 【
‚ ‚
‚ ”
』 一 ‚ ‚ ‚
一

‚ ‚ 加
‚
‚

、恤 ‚ 众 ‚ 肋匈‚ 刀·
‚ ‚ 一
娜 刀
‚ ‚ ‚ 一
‚ ‚ ‚ ‚
口 呱
‚ ‚ 一

均 ‚
 硕 士 学位论 文
’

‚ ‚ 一
余棉水‚
黎 绍发 基 于 光 流 的动 态 人 脸 表 情 识 别 微 电子 学 与 计 算
机‚ ‚ ‚
‚长永 加

权 加 ‚ 一
张家树‚
陈辉‚李德芳‚罗小宾‚
夏小东 人脸表情 自动识别技术研究发展 西
南交通大学学报‚ ‚
【 ‚
理 一

‚ 一
一

』 ‚ ‚ 一
尹 ‚ 一 知
位 ‚ ‚ 一
而 ‚ 硕 ‚

一 』 ‚
一

‚ 一
从 一 ‚
川 ‚ ‚

‚
力
‚

朱桂英‚
张瑞林 基于 变 换 的 圆检 测 方 法 阴 计 算 机 工 程 与 设
计‚ ‚ 一
‚ ‚ ‚ ‚ ‚ 娜
‚ ‚ 一
李文 人脸表情识别研究 陕西师范大学‚
加
薛为 民 基于计算机视觉 的情感虚拟人交互技术研究〔 北京科技大
学‚
谷学静 基于人工心理的 情感建模方法及虚拟人相关技术研究 北
⑧ 硕 士 学位 论 文
‚

京科技大学‚
【 魏哲华 基于人工心理理论的情感机器人的情感计算研究 北京科技大
学‚
【 ‚ ‚

』 ‚ 一
【 砚 而 知
‚ ‚
一
茅晓泉‚
胡光锐 基于最大互信息的离散隐马尔可夫模型训练方法 上海
交通大学学报‚ ‚ 一 一
 篡 硕 士 学位论 文
’

攻读硕士学位期间发表的论文

‚ ‚
的 ‚
检索
』 ‚ ‚ 如 ‚ ‚

‚ 检索
‚ ‚ 脚 七妓 铭

‚ 检索
‚ ‚
一 恤 认 ‚

‚ 检索
‚ ‚ ‚几。 叭 刀
‚

【 ‚ ‚
一 ‚

‚ 检索
‚几。 ‚ 班
一 ‚

习 伍 甩 ‚ 检索
【 梅江林‚
何彬‚何文雅‚魏开平 虚拟楼盘展示中基于数据手套 的交互研究‚全 国
计算机新科技与计算机教育论文集‚
‚ ‚ ‚
‚
‚ 已录用 ‚ 检索
 澎 硕 士 学位 论 文
’

致 谢

首先诚挚地感谢我尊敬的导师魏开平副教授。几年来魏老师一直努力为我创造

一个充分展示 自己个性与能力的平台‚对我生活上给予悉心关怀‚学业上进行耐心
指导‚科研条件上给予全力支持。魏老师广博的科学知识‚精深的学术思想‚严谨
的治学精神‚宽大包容的胸襟‚高标准严要求的工作作风‚永远是我学习的榜样‚
必将使我受益终身
衷心感谢沈显君老师多年来对我学习方法、论文写作诸方面无微不至的指导和
无私 的帮助 ‚使我能够克服所面临的种种困难 ‚跨过科研道路上的一个又一个挫折 。
沈老师精深的学术思想、广博的知识、严谨的科学精神让我佩服有加。
真诚感谢何婷婷教授。她对我的学习、生活诸方面的关心、支持和帮助以及对
我更快成长地殷切期望‚使我倍受激励‚并将终身难忘。感谢王林平副教授在我论
文创作期间的关心和帮助 感谢郑世汪教授对我工作上的指导和帮助 以及学习、科
研上的关心和支持 。
感谢实验室中与我朝夕相处多年的同窗张涛‚与他的学术交流和讨论是我很多
研究工作的思路来源 感谢同窗梅江林在 系统设计上给我的指导和帮助
感谢同窗何文雅、王芳、陈玮、李文凤等‚和他们一起生活、学习的经历将是我美
好 的回忆 。
感谢我的父母等所有亲人对我追求学业、从事科研工作的理解和支持‚他们的
关爱和支持是我前进的动力。

何彬于华中师范大学
年 月