机器人交互技术

第1章 绪论
u1.1 机器人交互的概念
u1.2 机器人交互研究内容
u1.3 人机交互的发展历史
u1.4 机器人交互分类
u1.5 人机交互的应用
 机器人交互技术
1.1 机器人交互的概念
Ø机器人交互( Human Robot Interaction, HRI)
Human robot interaction is the study of interactions
between humans and robots. It is often referred as HRI
by researchers. Human robot interaction is a
multidisciplinary field with contributions from
human–computer interaction, artificial intelligence,
robotics, natural language understanding, design, and
social sciences.(From Wikipedia)
研究人与机器人之间交互的技术，是一门涉及人与
计算机交互、人工智能、机器人、自然语言理解、
设计以及社会科学的多学科交叉技术。
 机器人交互技术
1.1 机器人交互的概念
Ø机器人交互( Human Robot Interaction, HRI)
Human robot interaction is the study of interactions
between humans and robots. It is often referred as HRI
by researchers. Human robot interaction is a
multidisciplinary field with contributions from
human–computer interaction, artificial intelligence,
robotics, natural language understanding, design, and
social sciences.(From Wikipedia)
研究人与机器人之间交互的技术，是一门涉及人与
计算机交互、人工智能、机器人、自然语言理解、
设计以及社会科学的多学科交叉技术。
 机器人交互技术
1.1 机器人交互的概念
人工智能

HCI 自然语言
处理
HRI

机器人学 社会科学
 机器人交互技术
1.1 机器人交互的概念
Ø人机交互（Human Computer Interaction，HCI）
u广义：关于设计、实现和评价供人们使用的交互
式计算机系统，并围绕这些方面的主要现象进行
研究的科学。
u狭义：研究人与计算机之间的信息交换，主要包
括人到计算机和计算机到人的信息交换两部分。
u理论基础：认知心理学、人机工程学。
 机器人交互技术
1.1 机器人交互的概念
u认知心理学：研究人的高级心理过程，主要是认知过程，
如注意、知觉、表象、记忆、思维和言语等。关心的是作
为人类行为基础的心理机制，其核心是输入和输出之间发
生的内部心理过程。
u人机工程学：提供人体尺寸、重量、体表面积、比重、重
心以及人体各部分在活动时的相互关系和可及范围等人体
结构特征参数；还提供人体各部分的出力范围、以及动作
习惯等人体机能特征参数。
分析人的视觉、听觉、触觉以及肤觉等感觉器官的机能特
性；分析人在各种劳动时的生理变化、能量消耗、疲劳机理
以及人对各种劳动负荷的适应能力；探讨人在工作中影响心
理状态的因素以及心理因素对工作效率的影响等。
 机器人交互技术
1.1 机器人交互的概念
Ø人机交互（Human Machine Interaction，HMI）
u关于设计、评价和实现供人们使用的交互式机器
系统，且围绕这些方面的主要现象进行研究的科
学。

HMI HRI HCI

 机器人交互技术
1.2 机器人交互研究内容
a) 感知和认知基础
u人作为人与机器人交互的重要部分，主要通过感知
与外界交流，进行信息的接收和发送，并认知机器
人及环境。感知和认知是机器人交互的基础。
u主要介绍人的感知模型、认知过程与交互设计原则、
认知概念模型的几种表示方法以及分布式认知模型
等感知和认知基础知识。
 机器人交互技术
1.2 机器人交互研究内容
b) 机器人交互框架
u机器人交互模型有助于了解人机系统的结构问题和
人与系统交互的动态过程，可以帮助我们了解在交
互过程中究竟发生了什么。
u主要介绍人机交互的Norman“执行—评估”循环模
型，以用户为中心的HRI，以及多模式HRI等。
 机器人交互技术
1.2 机器人交互研究内容
c) 机器人三维图形交互
u通过建立一个精确且逼真的机器人模型以及机器人
工作环境，实现对机器人运动进行模拟仿真，逼真
反映机器人的运动过程。广泛应用在机器人的任务
离线模拟与验证、实时在线操作和控制、实时在线
状态监控等方面。
u主要介绍虚拟图形建模、装配、仿真、碰撞检测以
及机器人交互实例。
 机器人交互技术
1.2 机器人交互研究内容
d) 基于鼠标/键盘/手柄的机器人交互
u键盘、鼠标、空间鼠标以及手柄等常用的计算机输
入设备，可以用来实现对机器人，尤其是能模仿人
手臂某些功能的机械臂交互控制，实现抓取、搬运
物体或操作工具等作业任务。
u主要介绍利用键盘、鼠标、空间鼠标以及力反馈手
柄对机械臂进行交互控制，并结合一个四自由度机
械臂，进行机器人交互设计和实现。
 机器人交互技术
1.2 机器人交互研究内容
e) 基于数据手套的机器人灵巧手交互
u数据手套能够实时测量人的手指弯曲角度，为操作
者提供了一种通用、直接的人机交互方式，特别适
用于需要多自由度手进行复杂操作的人机交互系统。
u主要内容是针对HIT/DLR II机器人灵巧手，介绍如
何利用数据手套实现对15自由度机器人灵巧手的自
然交互控制。
 机器人交互技术
1.2 机器人交互研究内容
f)人机物理交互安全
u机器人交互分为物理人机交互和认知人机交互。
u人机物理交互旨在保证人类和机器人本身安全。人
机协作与共融是近年来机器人研究及应用的一个重
要研究热点和趋势，人机物理交互安全是其必须攻
克的核心技术。
u从交互伤害分析、交互伤害评估、交互安全策略等
方面介绍物理性人机交互领域的研究工作。
 机器人交互技术
1.2 机器人交互研究内容
g) 手势视觉识别
u手势识别交互技术在听力缺陷人群辅助系统，手语
识别系统，军事导航系统，远程医疗系统等应用领
域有着潜在的应用价值。
u主要介绍手势的表述、数据集、图像处理特征、静
态及动态手势识别等。
 机器人交互技术
1.2 机器人交互研究内容
h) 肢体动作识别
u研究基于人体动作的人机交互可以让机器人像人一
样识别人体动作的含义，从而使人与机器人间的交
互更加自然便捷，在视频监控，视频检索，游戏娱
乐，人-机器人交互以及自动驾驶领域都存在潜在
应用价值。
u主要介绍人体动作表示、数据集、动作识别、机器
人交互实验等。
 机器人交互技术
1.2 机器人交互研究内容
i) 人脸表情识别
u在人机智能化交互过程中，机器人能够获取并正确
理解人脸表情代表的情感信息，对其进行操作从而
理解人的生活需求，不仅促进人工智能的发展，更
有利于机器人技术应用的推广和发展。
u主要介绍人脸表情表示、数据集、表情识别及机器
人交互应用等。
 机器人交互技术
1.3 人机交互的发展历史
• 人机交互的发展过程，也是人适应计算机到计算
机不断地适应人的发展过程。它经历了几个阶段：

命令行 图形用户界面 自然和谐的交互

 机器人交互技术
1.3 人机交互的发展历史
– 阶段1: 命令行界面交互阶段
u在图形用户界面得到普及之前使用最为广泛的
用户界面，它通常不支持鼠标，用户通过键盘
输入指令，计算机接收到指令后，予以执行。
也有人称之为字符用户界面（CUI）。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段1: 命令行界面交互阶段
u缺点：命令行界面（CLI）没有图形用户界面
（GUI）那么方便用户操作。因为，命令行界面
的软件通常需要用户记忆操作的命令。
u优点：由于其本身的特点，命令行界面要较图
形用户界面节约计算机系统的资源。
在熟记命令的前提下，使用命令行界面往往要
较使用图形用户界面的操作速度要快。
所以，图形用户界面的操作系统中，都保留
着可选的命令行界面。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段1: 命令行界面交互阶段
u计算机语言经历了由最初的机器语言，而后是
汇编语言，直至高级语言的发展过程。这个过
程也可以看作早期的人机交互的一个发展过程。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段1: 命令行界面交互阶段
u机器语言：完全用0和1代码写的程序。

u汇编语言：用助记符代替0和1的代码。

u高级语言：将许多相关的机器指令合成为单条
指令并且去掉了与具体操作有关但与完成工作。
无关的细节。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段2: 图形用户界面（GUI）交互阶段
u采用图形方式显示的计算机操作用户界面。
u一种人与计算机通信的界面显示格式，允许用
户使用鼠标等输入设备操纵屏幕上的图标或菜
单选项，以选择命令、调用文件、启动程序或
执行其它一些日常任务。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段2: 图形用户界面（GUI）交互阶段
u与通过键盘输入文本或字符命令来完成例行任务
的字符界面相比，图形用户界面有许多优点。
uGUI由窗口、下拉菜单、对话框及其相应控制机
制构成，在各种新式应用程序中是标准化的，即
相同操作总是以同样方式来完成，用户看到和操
作的都是图形对象，应用的是计算机图形学技术。
u图形用户界面的出现，使人机交互方式发生了巨
大变化。GUI 的主要特点是桌面隐喻、WIMP技术
(Window/Icon/Menu/Pointer)、直接操纵和“所
见即所得”。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段2: 图形用户界面（GUI）交互阶段
u与命令行界面相比，图形用户界面的人机交互
自然性和效率都有较大的提高。图形用户界面
很大程度上依赖于菜单选择和交互小组件。
u图形用户界面给有经验的用户造成不方便，他
们有时倾向使用命令键而不是选择菜单，且在
输入信息时用户只能使用手这一种输入通道。
u图形用户界面需要占用较多的屏幕空间，并且
难以表达和支持非空间性的抽象信息的交互。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段3: 自然和谐的人机交互阶段
u随着虚拟现实、移动计算、无处不在计算等技
术的飞速发展，自然和谐的人机交互方式得到
了一定的发展。基于语音、手写体、姿势、视
线跟踪、表情等输入手段的多通道交互是其主
要特点，其目的是使人能以声音、动作、表情
等自然方式进行交互操作。
 机器人交互技术
1.3 人机交互的发展历史
– 阶段3: 自然和谐的人机交互阶段
虚拟环境中的
语音交互设备 交互设备
触觉交互设备
视觉交互设备

笔式交互设备
 机器人交互技术
1.3 人机交互的发展历史
– 阶段3:自然和谐的人机交互阶段
u多通道交互：视觉、触觉、语音、生物特征、
表情等；
u情感计算：情感机器人、情感鼠标；
u虚拟现实：头盔、手套、眼镜等；
u智能用户界面：人工智能；
u自然语言理解：人机对话等。
 机器人交互技术
1.4 机器人交互分类
1.4.1 按空间尺度分类
u远程交互：通常被称为远程操作或监控，人和
机器人分布在不同局部空间甚至时间轴上，例如
火星漫游者与地球监控人员之间的交互。
u近距离交互：人和机器人局部时空并存，如服
务机器人在某一房间内与人的互动。
 机器人交互技术
1.4 机器人交互分类
1.4.2 按交互中机器人扮演的角色进行分类
u工具，人类将机器人视为执行任务的工具。机器人
从完全的被远程操作的对象到只需要在任务级别进
行监控的自主系统，系统模型存在显著不同。
u功能延伸，机器人作为人身体一部分，人接受它作
为身体的一个组成部分，具备一定的生物功能，如
基于EMGs或脑电信号的机电假手和假肢。
u资源支撑，人不仅控制机器人，可以利用机器人上
获得的即时环境等信息资源。
 机器人交互技术
1.4 机器人交互分类
1.4.2 按交互中机器人扮演的角色进行分类
u伙伴，在作业分工上起到协助作用，在与幼儿教育娱乐
等互动应用中，在一定程度上起到娱乐伙伴作用。
u指导，在人机交互中机器人发挥知识传授及领导作用。
u人的化身，相比于前一种应用，人可能将机器人作为其
本体的另一个投射实例，以便与另一个人进行远程沟通。
机器人则成为社交载体，为虚拟互动提供一种人的社会
存在感。
 机器人交互技术
1.4 机器人交互分类
智能
应用场景 远程/近距离 角色 实例 传导信息
等级

控制信号，状态信号，视觉
远程 工具 远程搜救 低/中
信号等
灾难搜救
支撑坍塌建筑的不稳定
近距离 工具 控制信号，状态信号 低/中
结构

远程 工具 手术机器人 控制信号，状态信号 低/中

肌电信号，控制信号，状态
医疗卫生 近距离 功能延伸 假手/假肢 低/中
信号

视觉表情，肢体动作等视觉
近距离 指导 自闭症儿童辅助康复 中/高
信号，语音信号等
 机器人交互技术
1.4 机器人交互分类
智能
应用场景 远程/近距离 角色 实例 传导信息
等级

远程 工具 无人机 控制信号，状态信号 低/中

军事政治
工具/ 排爆反恐，战斗支撑机
近距离 控制信号等 低/中
资源支撑 器人

近距离 指导 博物馆导游机器人 环境信号，视觉信号，语音信号等 中/高

娱乐教育
近距离 伙伴 教育娱乐机器人 环境数据，视觉信号，语音信号等 中/高

工具/
极端环境 远程 火星车，月球车 环境数据，视觉信号，语音信号等 中/高
资源支撑
 机器人交互技术
1.4 机器人交互分类
应用场景 远程/近距离 角色 实例 传导信息 智能等级

近距离 工具 扫地机器人 控制信号，状态信号等 低/中

家庭环境

近距离 伙伴 助老陪护机器人 环境数据，视觉信号，语音信号等 中/高

远程 工具 工业机器人 控制信号，状态信号 低
工业环境
近距离 伙伴 辅助搬运机器人 控制信号，状态信号 低

商业环境 远程 人的化身 未来公共场合 环境数据，视觉信号，语音信号等 高

 机器人交互技术
1.5 人机交互的应用
• 工业机器人与人交互

u触摸屏有上下文敏感浮动窗口，操作更直观
u通过单独的运行键直接控制多轴，无需来回
切换
u使用6D鼠标进行高效编程，并且触摸屏上有
基于人机工程学设计的键盘
u可直接在KUKA smartPAD上储存和读取配置
u热插拔功能
u工作期间，高清超大防反射显示屏保护眼睛
KUKA Smart PAD
 机器人交互技术
1.5 人机交互的应用
Ø陪伴机器人与人交互
u Pepper：是一款人形机器人，由日本软
银集团和法国Aldebaran Robotics研发，
高120cm，重28kg，2015年上市，
20DOF (头2+臂5+手1+腿3)。机器人配备
了语音识别技术、呈现优美姿态的关节
技术，以及分析表情和声调的情绪识别
技术，可与人类进行交流。
 机器人交互技术
1.5 人机交互的应用
Ø陪伴机器人与人交互

依靠客户信息收集及人脸识别比对功能，
智能导诊、康复训练治疗、辅助
让老顾客享受到额外优惠、接受下单指
病患数据、处理医疗报告
令，并回答关于咖啡的各种问题
 机器人交互技术
1.5 人机交互的应用
Ø情感机器人与人交互
u日本机器人专家石黑浩研发的情
感机器人，有着与人相近的面容、
肌肤、体态和声音。
u可以模仿人的动作、表情，甚至
在说话、唱歌、表演的时候都可
以自由表达喜怒哀乐各种情绪。
u相比家居类服务机器人不同，情
感机器人与大众心目中的“机器
人”形象更为接近，也更加容易
情感机器人
与科幻影片中的机器人相联系。
 机器人交互技术
1.5 人机交互的应用
Ø特种机器人与人交互
u 战场机器人
 机器人交互技术
1.5 人机交互的应用
Ø医疗机器人与人交互
u 脑电控制：人类在进行各项生理活动时都在放
电。心脏跳动时会产生1～2毫伏的电压，眼睛
开闭会产生5～6毫伏的电压，而思考问题时大
脑会产生0.2～1毫伏的电压。
 机器人交互技术
1.5 人机交互的应用
Ø空间机器人与人交互
u Robonaut Tele-Ops With Station Crew Members
 机器人交互技术
1.5 人机交互的应用
Ø 其他：制造业
标志雪铁龙公司利用3DVIA Virtools 技术作为工
业仿真系统的整合平台，用于汽车设计的监视、
虚拟装配与协同项目的检测等。
u主动式立体CAVE洞穴式显示
系统
u被动式单通道立体投影系统
Barco CAD Wall
u德国ART光学跟踪系统
uHaption 6D 35-45
uINCA力反馈系统
 机器人交互技术
1.5 人机交互的应用
Ø 其他：教育科研
美国伊利诺伊大学芝加哥分校电子可视化实验室
EVL和交互计算环境实验室合作的叙事式沉浸建
设者及协同环境(Narrative Immersive
Constructionist/ Collaborative Environments)，简称
NICE项目。
虚拟花园：
u 专为6至10岁孩子设计，进入CAVE虚拟
现实环境中，戴着特制眼镜，手中拿
着一个特制的小棒用于交互操作；
u 每一个孩子都有一个角色，来自不同
地方的孩子可以在这个虚拟的花园中
打招呼、交谈、互相学习。
 机器人交互技术
1.5 人机交互的应用
Ø 其他：教育科研
科视的全沉浸式Christie TotalVIEW™ CAVE，用
于在威斯康星州Pier的Discovery World展览，称
为“人机交互式虚拟教育”（HIVE）。系统运用了
3D投影显示技术——Mirage系列投影机，实现了
沉浸式3D环境，使参观者能够获得关于生活环境
的“近似真实”体验。
u HIVE在三面墙上和地面上采用了高科技投影，营造了一个独特的
完全沉浸式视觉环境。带有运动追踪技术的一副主动式3D眼镜能
够带来梦幻之旅，投影的图像随着人们的运动而改变视角。
u 共有将近30种体验可供参观者选择。参观者将发现他们在水面上
空俯瞰，身处葡萄牙的一座小镇，或者在太阳系尽情翱翔等。
 机器人交互技术
1.5 人机交互的应用
Ø其他：军事
u军事战略战术演练和培训领域是刺激交互技术发
展的源动力，从早期飞机驾驶员培训到今天军事
战略和战术演习仿真等。使用计算机仿真技术不
仅降低成本而且可方便地改变环境和条件。
uF-35是第一种在座舱里取消了平视显示器(HUD)的
量产战斗机，飞行员将在其头盔综合显示器(HMD)
面罩上的虚拟平显上读取所有数据。
 机器人交互技术
1.5 人机交互的应用
Ø其他：生活
指纹识别和人脸表情识别技术广泛应用于人们日
常生活的通信过程或者安全保护。
 机器人交互技术
1.5 人机交互的应用
Ø 其他：生活
u苹果iPhone采用多种交互技术，提供智能商务终端，
如掌上电脑、智能手机、PDA、智能固话终端等。
u通过捷通嵌入式手写识别eJHWR技术，将在手写设
备上书写时产生的有序轨迹信息转化为汉字内码；
u通过捷通华声嵌入式语音合成eJTTS技术，利用计算
机将任意组合的文本文件转化为声音文件，并通过
声卡、电话语音卡等多媒体设备将声音输出，提供
短信语音播报等功能。
 机器人交互技术
1.5 人机交互的应用
Ø 其他：文化娱乐
u在北京08奥运会开幕式采用的高亮度数字投影
设备和十一全运会开幕式投影系统采用的“大
碗幕” 展示了现代投影技术的巨大创造力。
 机器人交互技术
1.4 人机交互的应用
Ø 其他：文化娱乐
在影视制作领域，动作捕捉设备已经得到了广泛
应用。“加勒比海盗3”制作过程中，运动捕捉
实验室场景和最终合成的影片效果。
 机器人交互技术
1.5 人机交互的应用
Ø 其他：体育
u英国2010年推出三维立体电视节目，播放了英
式橄榄球和足球比赛画面，通过两台摄像机拍
摄，观众通过特制的三维立体眼镜，给观众身
临其境的感觉，球员的一举一动仿佛就在身边。
u中外电视品牌已生产3D电视，普遍认为，未来
的电视机都要有3D功能。裸眼3D具有重要前景。
 机器人交互技术
1.5 人机交互的应用
Ø 其他：体育
运动捕捉系统在体育训练中帮助教练员从不同的视
角观察和监控运动员的技术动作，大量获取某类技
术动作的运动参数及生理生化指标等数据，并统计
出其运动规律，为科学训练提供标准规范技术指导。

Vicon运动捕捉设备 曲棍球训练系统