4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

验证提升用户信任的自动驾驶HMI设计的VR平
台
原文：A Virtual Reality-based Platform to Validate HMI Design for Increasing User's Trust in Autonomous
Vehicle

出版：September 2020， Computer-Aided Design and Applications 18(3):502-518

关键词：VR仿真平台，HMI评估，多模态选择

本文按照两种不同的逻辑，介绍两种全自动车辆HMI设计的潜在框架，并最终在VR场景中实现，用于初步
配置、可视化实现和用户评估准备。

自动驾驶车辆的硬件
自动驾驶汽车的能力决定了其设计运行域（ODD）。ODD包括但不限于环境、地理和时间的限制。对于全
自动车辆，影响ODD的因素较多：其摄像头和传感器应收集大量数据，使用高计算能力来融合这些数据以
做出决策。
使用来自传感器的数据，和AI或人类预先定义的地图数据，不断探索周围环境以构建地图并将汽车自身定位
到其中的过程称为Simultaneous Localization and Mapping（SLAM）。SLAM过程依赖于一系列传感器
（不限于）：
Ultrasonic sensors 超声波传感器
RADAR 雷达
LIDAR 激光雷达
Mechanical scanning
Microelectromechanical mirrors MEMS （ ）
Flash LIDARS
Phased-Array LIDARS
Metameterials
车辆制造商的常见解决方案是将不同类型的传感器组合起来，以满足更多的需求。图1展示了传感器组合的
典型解决方案，从中我们可以直观地了解自动驾驶车辆在SLAM过程中如何感知周围的物体和情况。

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 1/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

图1：自动驾驶车辆的典型传感器

构建信任
图2信任曲线显示了客观系统可靠性和驾驶员信任（主观信任）之间的关系。当驾驶员信任度高于系统可靠
性时，误用会导致“过度信任”，并可能导致危险甚至事故，例如导言部分提到的特斯拉事件。而当驾驶员的
信任度低于系统可靠性时，就会出现不信任和废弃的情况。理想的信任水平是保持驾驶员信任和自治系统的
可信度平衡。

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 2/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

图2：信任曲线-客观系统可靠性和主观信任之间的关系

构建交互模式
除了信任，设计过程中还需要考虑其它重要因素，包括：提供对车辆状态和能力的必要了解、提供适当程度
的注意力和干预、人类用户的舒适感、减少认知负荷和压力等。不同的交互模式会产生不同的认知负荷和压
力水平。
本文尝试系统化地考虑全自动驾驶车辆HMI设计中的交互模式，沉淀通用的设计方法。构建过程中，主要考
虑了两个方面：人车沟通内容在驾驶任务中的功能；人车沟通内容对用户的重要性。
一.按任务层级
尽管在全自动车辆中，驾驶任务要求由驾驶自动化系统完成，但在驾驶任务中，按照其任务层级组织展示沟
通信息将更符合用户习惯，尤其是在技术普及的初始阶段。一个完整的驾驶任务循环由三个层级的任务组成
[34]：

•战略层：选择路线和目的地；

•战术层：事件、目标规避或跟车的计划和执行；

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 3/12
 4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

操作层：基本车辆控制，包括横向车辆运动控制和纵向车辆控制。
•

结合参考资料，驾驶任务中的沟通内容分为四类：纵向运动信息、外部事件、系统事件和紧急情况，如下表
1所示。

Functions Longitudinal External events System events Emergency

movement

Communicati Car starting the Car Approaching Sensors in bad Car

on rideCar stopping the road works
conditions emergency

contents ride Car switching to the Sensors in good braking

Car accelerating other line (for conditions Car

surpassing emergency
Car decelerating Uncertainty
roadworks) braking
Car preparing Level
Car Overtaking event(after)
toaccelerate ofdetected
another car objects Car
Car preparing emergency
Car Approaching Bad sensor
todecelerate lane
apedestrian ranges due to
Car stops at traffic cross(without switching(with
weather
light(traffic light red) pedestrian) enough
conditions
timefor
Car starts at traffic Car Approaching Change communicatin
light(traffic light green) apedestrian ofitinerary for g itto the
Car Approaching cross(with traffic or road user)
acrossroad with traffic pedestrian) conditions
lights green(do not Car Approaching
slow down)
apedestrian
每种类型的沟通内容都可以显示在一个或多个位置，以便使用户和汽车的信息感知总体一致。比如，在自动
Car exiting/entering crosswith
驾驶中，所有的纵向运动的沟通信息可以使用视觉通道（即使用文本符号等显示在前挡风上），而属于外部
thecity(or other area) undecided
事件的信息应该在GUIChange
中展示，以便更直观地理解。因为纵向运动属于操作层，由系统自动完成；而外部事
of speed pedestrian
件属于战术层，对人类用户的意图要求要求更高。
limit(range) Car switching lane

二、按重要程度 Car entering

thehighway

Road/Terrainconditi
ons change
组织沟通信息的另一个方式是，根据信息对人类用户的重要程度，从意图变化的角度。
Car exiting the
Animal or
图3是自动驾驶过程中潜在设计元素的示意图，分为五个级别，从高重要性到低重要性：紧急反应、意图、
highway
objectdetected on
意图改变的原因、意图改变的潜在原因，以及增加信心的方法。
theroad

Road
conditionchanging
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 4/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

ahead

图3：车辆HMI设计中的不同重要层级的元素
根据重要性级别进行的分类也可以相应使用不同的方式在不同的位置显示。
在同一模态中展示属于同一重要级别的沟通信息将有助于用户感知自动驾驶车辆的行为并理解情况。

评估案例
自动驾驶车辆HMI设计VR场景的开发由三部分组成（图4）：
•车辆模型：具有交互功能的自动驾驶车辆模型；

•操作场景：自动车辆模型运行的虚拟现实环境，以及触发HMI设计中相关功能所需的事件；

•互动模式：根据前一部分提到的两种方法，建立沟通信息和交互模式之间的对应关系。

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 5/12
 4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

图4：研究中的原型组件
该原型的核心是设计自动驾驶车辆HMI中交互模式的创新方法，如图4中的蓝色线框所示。
车辆原型

图5：基于Smart vision EQ fortwo的自动驾驶汽车模型

HMI 界面

图6：设计的原型、触摸屏和AI bar的布局
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 6/12
 4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

主沟通区域位于车辆前方，在车辆前进方向。
视觉交互的两种显示方式：
① AI bar的屏幕，以文本形式提供信息，描述车辆状态和动作
② 触摸屏，分为3个区域：2个用户屏幕，根据用户账号显示用户偏好信息；中间导航屏幕，显示汽车运行
的可视化环境，并在右侧通过GUI图标突出重要元素。环境的三维可视化有助于提高用户的信任度，用户可
以直观地感知SLAM过程。
听觉互动：
内置Kara的VPA，通过预先设置的关键词与用户对话。

与HMI的交互

图7：在战术层面与车辆交互：左，按下导航屏幕的按钮启动车辆；右，车辆启动，导航屏
硬件：使用HTC vive pro头戴式显示屏、具有6自由度（自由度）和全尺寸房间跟踪功能的visor，以及用于
手和手指跟踪的Leap Motion sensor
用户可以沉浸在模拟场景中，并通过手部运动和语音与汽车互动。

运行场景

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 7/12
 4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

图8：AirSim场景中的街景
操作场景开发：Unity 3D
场景模拟器：MIT AirSim https://microsoft.github.io/AirSim/

图9：场景中事件的三维可视化：a，行人过马路；b，接近施工区域
图9（a）中，车辆前方穿过道路的行人以其精确位置投射在导航屏幕上，不仅向用户显示了传感器捕捉到
的信息，还显示了令人信服的自动驾驶能力，从而提高了用户的可靠感。
图9（b）中，当接近道路上的施工区域时变道，AI栏中会用文本描述，事件原因，并通过三维可视化显示在
导航屏幕中。

交互模式选择
出了两种组织方式下的29个事件及其相应的交互解决方案，详细说明了信息类型、使用的方式或位置，以
及交互模式类型。
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 8/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

Content Organized by Function Organized by Importance

Informat Technolog Modality Informati Technology/ Modality

ionType y/Location onType Location

01. Kara System Navigation Visual,A Cause of Navigation Visual

welcome events screen + AI uditory intention screen + AI
procedure Voice + AI change Bar
Bar

02. System Navigation Visual,A Cause of Navigation Visual

Message"You events screen + AI uditory intention screen + AI
will arriveat ..." Voice + AI change Bar
Bar

03. Car starts In road Navigation Visual Intention Navigation Visual,A

with the moveme screen + AI screen + AI uditory
buttonon the nt Bar Voice + AI
screen Bar

04. Car turns In road Navigation Visual Intention Navigation Visual,A

right moveme screen + AI screen + AI uditory
nt Bar Voice + AI
Bar

05. Car slowing External Navigation Visual Cause of Navigation Visual

down and events screen intention screen + AI
stopping for change Bar
traffic light
+pedestrian
crossing

06. Car Emergen Navigation Visual,A Emergen Navigation Visual,A

emergency line cy screen + AI uditory cy screen + AI uditory
switching Voice + AI Reaction Voice + AI
+emergency Bar Bar
break

07. Carturning In road Navigation Visual Intention Navigation Visual,A

Left moveme screen + AI screen + AI uditory
nt Bar Voice + AI
Bar

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 9/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

08. Pedestrian External Navigation Visual Potential Navigation Visual

Crossing events screen + AI Cause of screen
without Bar Intention
Pedestrian change

09. Car In road Navigation Visual Intention Navigation Visual,A

accelerating moveme screen + AI screen + AI uditory
nt Bar Voice + AI
Bar

10. Car In road Navigation Visual Intention Navigation Visual,A

decelerating moveme screen + AI screen + AI uditory
nt Bar Voice + AI
Bar

11. Pedestrian External Navigation Visual Potential Navigation Visual

crossing with events screen Cause of screen
undecided Intention
pedestrian change

12. Car turning In road Navigation Visual Intention Navigation Visual,A

Right moveme screen + AI screen + AI uditory
nt Bar Voice + AI
Bar

13. Car External Navigation Visual Potential Navigation Visual

approaching the events screen Cause of screen
road works Intention
change

14. Car External Navigation Visual Potential Navigation Visual

switching left events screen Cause of screen
lane Intention
change

15. Car passing External Navigation Visual Potential Navigation Visual

the road events screen Cause of screen
construction Intention
site change

16. Car return to In road Navigation Visual Intention Navigation Visual,A

the right lane moveme screen + AI screen + AI uditory
nt Bar 

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 10/12
 4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

Voice + AI

从上表可以看出，一些信息在两种分类中的交互模式相同，有一些不同。 Bar
比如，按任务层级组织的欢迎属于系统事件，相应地，其将使用
17. Car enterand In road Navigation Visual bar+Kara语音
AIPotential +导航屏幕进行组合展示。
Navigation Visual
但按重要程度划分，其属于意图改变原因，交互模式只是视觉，在
exit the moveme screen + AI AI bar+of导航屏幕中使用文本展示。
Cause screen
roundabout nt Bar Intention
change

18. Car exiting In road Navigation Visual Cause of Navigation Visual

the city moveme screen + AI intention screen + AI
nt Bar change Bar

19. Car External Navigation Visual / /

approaching events screen
hairpin turn
图9 欢迎场景的两种组合展示方式
20. Car enter In road Navigation Visual Potential Navigation Visual
and exit the moveme screen + AI Cause of screen

个人总结
roundabout nt Bar Intention
change

总结来看，作者的对于多模态选用的思路如下：
21. Car entering In road Navigation Visual Cause of Navigation Visual
按驾驶层级进行信息分类的多模态选用原则
the highway moveme screen + AI intention screen + AI
nt Bar change Bar

22. Car turn Left

Functions In road Navigation Visual
Technology/Location Intention Navigation
Modality Visual,A
moveme screen + AI screen + AI uditory
Longitudinal movement
nt BarNavigation screen + AI Bar Voice +Visual
AI
（In Road Events） Bar

23. Car events

External In road Navigation Visual
Navigation screen / / Visual
speedupon the moveme screen + AI
System events Navigation screen + AI Voice + AI Bar Visual,Auditory
highway nt Bar
Emergency
24. Carovertake External
未涉及
Navigation Visual Cause of
未涉及
Navigation Visual
anothercar events screen intention screen + AI

按重要程度分类的多模态选用原则
change Bar

25. Remaining System Navigation Visual,A / /

time notification events screen + AI uditory
Importants Technology/Location
Voice + AI Modality

Emergency Reaction Bar Navigation screen + AI Voice + AI Bar Visual,Auditory

26. Car In road Navigation Visual Intention Navigation Visual,A

Intention Navigation screen + AI Voice + AI Bar Visual,Auditory
https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 11/12
4/11/22, 12:48 PM 验证提升用户信任的自动驾驶HMI设计的VR平台

decelerating moveme screen + AI screen + AI uditory

Cause of intention change Navigation screen + AI Bar Visual
nt Bar Voice + AI
Potential Cause of Intention Navigation screen Bar Visual
change
27. Car turn In road Navigation Visual Intention Navigation Visual,A
Nice
Rightto have confident
moveme 未涉及
screen + AI 未涉及
screen + AI uditory
nt Bar Voice + AI
Bar

有冲突时哪种最好，并没有进行详细比较和验证，因此有进一步分析的空间。
28. Car enter a
External Navigation Visual Cause of Navigation Visual
dirt road events screen intention screen + AI
change Bar

https://ku.baidu-int.com/knowledge/HFVrC7hq1Q/pKzJfZczuc/YjNZoHSy0i/AaccpwPJMKXbgV 12/12