学校代码 10699

分 类 号
密 级
学 号 2015100071

题目 智能汽车座舱人机交互认知机制
与评价方法研究

作者 王亚辉

工业设计
学科、专业
余隋怀
指 导 教 师
2019 年 11 月
申请学位日期
 西 北 工 业 大 学

博 士 学 位 论 文
（学位研究生）

题目：智能汽车座舱人机交互认知机制
与评价方法研究

作 者： 王亚辉
学科专业： 工业设计
指导教师： 余隋怀

2019 年 11 月
Cognitive Mechanism and Evaluation Method
of Human-machine Interaction in Intelligent
Vehicle Cockpit

By
Wang Ya-hui

Under the Supervision of Professor

Yu Sui-huai

A Dissertation Submitted to
Northwestern Polytechnical University

In partial fulfillment of the requirement

For the degree of
Doctor of Industrial Design

Xi’an P. R. China
November 2019
 摘要

摘 要

随着人工智能、信息技术和物联网技术在交通领域的广泛应用和发展，汽车座舱布
局和人机交互界面信息的呈现方式逐渐向数字化、智能化和网联化方向转变。汽车人机
交互界面是人车交互的载体，不仅与汽车驾驶安全和系统构建紧密相关，又是座舱内用
户体验、用户感知和信息交互的重要媒介。高级驾驶辅助系统（ADAS）和车载信息系
统（IVIS）广泛进入到汽车系统后，汽车的本质属性正在从以乘用为目的的交通工具属
性逐步演变为服务驱动的交互式乘用空间属性转变。伴随着物联网、智能化技术发展而
来的智能汽车的出现，使驾驶员与车辆的“沟通方式”以及信息呈现的方式越来越多样，
汽车驾驶人机交互（HMI）相关研究也成为人因学、人机交互、心理学、用户体验和服
务设计研究的交叉领域。
基于这种转变，该研究从智能汽车座舱中的人机交互视角入手，从人因学和认知学
角度出发，重点通过智能汽车人机交互行为分析、视觉认知和中控人机交互界面脑认知
机制方面的研究，解决智能汽车座舱布局和数字交互界面的认知量化及设计评价问题，
从而为座舱人机交互设计提供底层的人因学和认知行为学理论支撑。论文的主要内容如
下：
1) 构建智能汽车人机交互认知量化研究体系
阐述人机交互界面布局中的视觉认知理论和人机交互界面布局中的眼动量化研究
方法，挖掘智能汽车座舱信息布局中潜在的视觉认知量化模型；论述了脑认知机制的一
般实验流程和脑电量化研究方法，提出了人机交互任务的复杂度测量方法，最终构建了
智能汽车人机交互认知量化研究方法体系。
2) 构建智能汽车座舱情境认知模型及提出人机交互行为分析方法
通过真实场景的驾驶实验，分析了目标用户在人车交互过程中的情境认知过程和人
机交互行为模式，最终构建了智能汽车情境认知模型，并基于该模型提出智能汽车座舱
人机交互行为分析方法。
3) 智能汽车座舱人机交互视觉认知机制研究
分析了智能汽车座舱人机交互布局视知觉信息编码方式，进一步界定了智能汽车座
舱人机交互视觉认知信息，研究了智能汽车座舱视觉认知信息编码的一般规律；通过真
实场景的驾驶实验，分析智能汽车不同座舱信息布局下被试驾驶员的眼动搜索及视觉认
知机制，比较其绩效度量指标，挖掘智能汽车座舱关键设计特征对用户视觉认知的影响，
寻找智能汽车座舱设计存在的问题和影响用户体验的关键要素，为评价智能汽车座舱布
局设计的客观性和合理性提供参考。
4) 智能汽车座舱中控人机交互界面脑认知机制研究
介绍了智能汽车座舱人机交互脑认知实验的基本范式，将智能汽车中控数字界面与
 摘要

驾驶员脑机制相结合，对智能汽车座舱人机交互数字界面认知实验进行了详细阐述，通
过数据分析研究各元素之间的关联性，研究用户在与数字界面交互中脑认知机制，为汽
车座舱人机交互界面设计与评价提供数据参考。
5) 智能汽车座舱人机交互设计评价方法提出
基于三、四、五章的研究，分析智能汽车座舱人机交互行为、视觉认知评价指标和
脑认知评价指标，提出了基于人机交互行为—视觉认知的智能汽车座舱布局评价方法，
以及基于视觉和脑认知的智能汽车座舱中控交互界面设计评价方法，通过不同数学模型
和算法，实现对智能汽车座舱人机交互布局和中控界面的设计评价，并通过实例进行验
证。
通过上述研究工作，在分析国内外汽车人机交互认知和评价的理论及研究现状基础
上，融合了认知心理学、行为学、信息科学和人因学的相关理论，系统地提出了智能汽
车座舱人机交互认知机制和评价方法，为解决智能化、数字化、网联化下，智能汽车座
舱人机交互布局和数字界面设计与体验设计评价提供理论参考和方法指导。

关键词：智能汽车，人机交互，情境认知模型，认知机制，评价方法
 Abstract

Abstract
With the wide application and development of artificial intelligence (AI), information
technology and Internet of Things (IoT) technology in the field of transportation, the
information presentation mode of automobile cockpit layout and human-computer interface has
gradually changed to the direction of digitalization, intellectualization and networking. Human-
computer interface, which is the carrier of human-vehicle interaction, is not only closely related
to vehicle driving safety and system construction, but also an important medium for user
experience, user perception and information interaction in the cockpit. After the Advanced
driving assistance system (ADAS) and In-vehicle Information System (IVIS) entering into the
driving space, the essential attributes of automotive are gradually evolving from transportation-
only to service-driven and network-linked information interactive space. With the advent of
intelligent vehicle developed by IoT and AI technologies, the “communication way” and
information presentation methods between drivers and vehicles are becoming more and more
diverse. Automotive human-machine interaction (HMI) has also become a cross-cutting field
for human factors, human-computer interaction, psychology, user experience and service design
research.

Based on this transformation, this dissertation starts from the perspective of human-computer
interaction, human factors and cognition issues of intelligent vehicle cockpit, and focuses on
the behavior analysis of human-computer interaction, cognition of visual information and brain
cognitive mechanism of HMI for the purpose of revealing the cognitive performance and design
evaluation details of layout, and digital interactive interface in intelligent car cockpit. This
dissertation provides the underlying theoretical support of human factors and cognitive
behavior for human-computer interface design of car cockpit. The main contents of the
dissertation are as follows:

1) Constructing a cognitive and quantitative research system of HMI of intelligent vehicle

cockpit

This dissertation expounds the visual cognition theory and the eye movement quantification
research method of human-machine interface layout, and excavates the potential quantitative
model of visual cognition in the information layout of intelligent vehicle cockpit. This
dissertation discusses the general experimental process of brain cognition mechanism and the
quantitative research method of electroencephalograph (EEG). Then the dissertation proposes
a complexity measurement method of HMI task. Finally, a quantitative research system of HMI
cognition for intelligent vehicles is constructed.

2) Constructing a situational cognitive model of intelligent cockpit and putting forward a

analysis method of HMI behavior
 Abstract

Through the driving experiment of real scene, the situational cognition process and human-
computer interaction behavior mode of the target user in the process of human-vehicle
interaction are analyzed. Then the situational cognitive model of the intelligent vehicle is
constructed. Based on this model, the behavior analysis method of HMI in the intelligent
cockpit is proposed.

3) Studying on the visual cognitive mechanism of HMI information in intelligent vehicle

cockpit.

This dissertation analyzes the encoding way of visual perception information of intelligent
cockpit layout, and further defines the visual perception information of HMI of intelligent
vehicle and studies the general encoding rules of it. By comparing the performance metrics of
dynamic search and visual cognition, the influence on users' visual cognition of key design
features in intelligent cockpit is excavated, the problems existing in the design of intelligent
cockpit and the key factors affecting users' experience are excavated. The research provides a
reference for evaluating the rationality and rationality of intelligent cockpit layout design.

4) Studying on the brain cognitive mechanism of HMI in intelligent vehicle cockpit.

Combining the intelligent vehicle central control digital interface design with the driver brain
mechanism, this dissertation introduces and elaborates the basic paradigm of brain cognition
experiment in intelligent cockpit. Through data analysis, the relationship between different
components is studied, and the cognitive performance and brain cognitive mechanism of user-
vehicle interaction are studied. The research provides a reference for the design of human
machine interface in intelligent vehicle cockpit.

5) Proposing evaluation methods for HMI design of intelligent vehicle cockpit.

Based on the research of the third, fourth and fifth chapters, the intelligent cockpit HMI
behavior, visual cognitive performance evaluation indices and brain cognitive evaluation
indices are analyzed. A HMI evaluation method of intelligent cockpit layout based on user
behavior and visual cognition and a design evaluation method of cockpit central control
interface based on visual cognition and brain cognition are proposed respectively. The design
evaluation method of HMI layout and the central control interface of the intelligent vehicle
cockpit are realized through different mathematical model and algorithms and verified through
two case studies.

Based on the above research works and the analysis of the theory and research status of HMI
cognition and evaluation of intelligent vehicle, this dissertation integrates the relevant theories
of cognitive psychology, behavior science, information science and human factors, and then
systematically puts forward the cognitive mechanism and evaluation method of HMI in the
 Abstract

cockpit of intelligent vehicle. This dissertation provides theoretical and methodological

guidance and reference for solving the predicament of human-computer interaction layout and
imbalance of digital interface design and user cognition under the trend of intelligence,
digitalization and IoT of intelligent vehicle cockpit.

Key words：Intelligent vehicle; Human-machine interaction; Situational cognitive model;

Cognitive mechanism; Evaluation method
 目录

目录
第 1 章 绪论 ............................................................. 1

1.1 研究背景 ................................................................................................................. 1

1.1.1 智能汽车与自动驾驶 .................................................................................. 1

1.1.2 智能汽车座舱人机交互 .............................................................................. 3

1.1.3 驾驶认知与人机交互认知 .......................................................................... 5

1.1.4 智能汽车人机交互认知与设计 .................................................................. 6

1.2 研究现状 ................................................................................................................. 6

1.2.1 驾驶行为与情境感知理论 .......................................................................... 6

1.2.2 认知方法及理论 .......................................................................................... 8

1.2.3 汽车人机交互 .............................................................................................. 9

1.3 研究基础与研究主要问题 ................................................................................... 10

1.3.1 研究基础 .................................................................................................... 10

1.3.2 研究的主要问题 ........................................................................................ 10

1.4 研究内容与组织结构 ........................................................................................... 11

1.4.1 研究内容 .................................................................................................... 11

1.4.2 论文组织结构 ............................................................................................ 12

第 2 章 人机交互认知量化研究方法与体系构建............................... 15

2.1 智能汽车座舱人机交互认知负荷机制 ............................................................... 15

2.1.1 认知负荷理论 ............................................................................................ 15

2.1.2 智能汽车座舱人机交互认知负荷机制 .................................................... 16

2.1.3 智能汽车认知负荷量化研究方法 ............................................................ 17

2.2 智能汽车座舱视觉认知模型 ............................................................................... 18

2.2.1 视觉关注机制理论 .................................................................................... 18

2.2.2 智能汽车座舱视觉认知要素 .................................................................... 19

 目录

2.2.3 智能汽车座舱视觉认知模型 .................................................................... 20

2.2.4 智能汽车座舱视觉认知量化指标 ............................................................ 20

2.3 智能汽车座舱脑认知量化指标与流程 ............................................................... 22

2.3.1 脑电信号诱发机制 .................................................................................... 22

2.3.2 智能汽车座舱界面脑认知量化指标 ........................................................ 22

2.3.3 脑电信号量化实验流程 ............................................................................ 23

2.4 智能汽车座舱人机交互任务复杂度分析方法 ................................................... 24

2.4.1 人机交互任务复杂度 ................................................................................ 24

2.4.2 智能汽车座舱人机交互任务复杂度表征要素 ........................................ 24

2.4.3 智能汽车座舱人机交互任务复杂度表征维度 ........................................ 25

2.5 智能汽车座舱人机交互设计评价指标及方法 ................................................... 26

2.6 智能汽车座舱人机交互认知与评价研究体系 ................................................... 27

2.7 本章小结 ............................................................................................................... 29

第 3 章 智能汽车座舱人机交互行为分析方法 ................................ 31

3.1 智能汽车座舱情境认知机制实验研究 ............................................................... 31

3.1.1 情境认知实验目的 .................................................................................... 31

3.1.2 实验方案设计 ............................................................................................ 32

3.1.3 实验方法及流程 ........................................................................................ 32

3.1.4 实验结果分析 ............................................................................................ 34

3.2 智能汽车座舱人机交互任务复杂度分析方法 ................................................... 44

3.2.1 人机交互任务复杂度量化指标确定 ........................................................ 44

3.2.2 基于熵的智能汽车座舱人机交互任务复杂度量化方法 ........................ 45

3.2.3 智能汽车座舱人机交互任务复杂度实例分析 ........................................ 47

3.3 智能汽车座舱情境认知模型与人机交互行为分析方法 ................................... 50

 目录

3.3.1 智能汽车座舱人机交互情境认知系统存在的问题 ................................ 50

3.3.2 智能汽车座舱人机交互情境认知模型 .................................................... 51

3.3.3 智能汽车座舱情境认知影响要素 ............................................................ 52

3.3.4 基于情境认知模型的人机交互行为分析方法 ........................................ 53

3.4 本章小结 ............................................................................................................... 55

第 4 章 智能汽车座舱人机交互视觉认知机制 ................................ 57

4.1 智能汽车座舱人机交互视觉信息要素 ............................................................... 57

4.1.1 智能汽车座舱人机交互视觉认知信息界定 ............................................ 57

4.1.2 智能汽车座舱人机交互视觉信息流转模式 ............................................ 58

4.1.3 智能汽车座舱人机交互视觉组成要素 .................................................... 59

4.2 智能汽车座舱布局视觉认知机制 ....................................................................... 60

4.2.1 智能汽车座舱布局视觉认知实验目的 .................................................... 60

4.2.2 智能汽车座舱布局视觉认知实验方法 .................................................... 61

4.2.3 智能汽车座舱布局视觉认知实验数据分析 ............................................ 63

4.3 智能汽车座舱中控数字界面视觉认知机制 ....................................................... 68

4.3.1 中控数字界面视觉认知实验目的 ............................................................ 68

4.3.2 中控数字界面视觉认知实验方法 ............................................................ 69

4.3.3 智能汽车座舱中控界面视觉认知实验数据分析 .................................... 71

4.4 本章小结 ............................................................................................................... 79

第 5 章 智能汽车座舱人机交互界面脑认知机制............................... 81

5.1 人机交互界面认知的脑电指标及实验范式 ....................................................... 81

5.1.1 事件相关电位成分选择与应用 ................................................................ 81

5.1.2 人机交互界面认知的脑电指标选择 ........................................................ 81

5.1.3 实验范式选择 ............................................................................................ 82

5.2 中控数字界面图标信息密度脑认知机制 ........................................................... 82

 目录

5.2.1 中控界面图标信息密度实验目的 ............................................................ 82

5.2.2 中控数字界面图标信息密度实验流程 .................................................... 82

5.2.3 中控数字界面图标信息密度认知实验数据分析 .................................... 85

5.3 中控数字界面色彩脑认知机制 ........................................................................... 91

5.3.1 中控界面色彩实验目的 ............................................................................ 91

5.3.2 中控数字界面色彩脑认知实验流程 ........................................................ 92

5.3.3 中控数字界面色彩认知实验数据分析 .................................................... 93

5.4 中控数字界面布局脑认知机制 ........................................................................... 97

5.4.1 中控界面布局实验目的 ............................................................................ 97

5.4.2 中控数字界面布局脑认知实验流程 ........................................................ 97

5.4.3 中控数字界面布局认知实验数据分析 .................................................... 98

5.5 本章小结 ............................................................................................................. 102

第 6 章 智能汽车座舱人机交互体验设计评价方法 ............................ 105

6.1 智能汽车座舱布局人机交互评价方法 ............................................................. 105

6.1.1 智能汽车座舱布局人机交互评价指标 .................................................. 105

6.1.2 智能汽车座舱人机交互布局评价方法 .................................................. 105

6.1.3 智能汽车座舱布局设计评价案例应用 .................................................. 109

6.2 智能汽车座舱中控人机交互界面设计评价方法 ............................................. 110

6.2.1 贝叶斯网络中控 HMI 设计评价流程 .................................................... 111

6.2.2 中控 HMI 决策树设计评价模型构建 .................................................... 112

6.2.3 基于贝叶斯网络的中控 HMI 设计评价方法 ........................................ 113

6.2.4 智能汽车中控交互界面设计评价案例验证 .......................................... 115

6.3 结果讨论及应用价值 ......................................................................................... 117

6.3.1 结果讨论 .................................................................................................. 117

 目录

6.3.2 应用价值 .................................................................................................. 118

6.4 本章小结 ............................................................................................................. 119

第 7 章 总结与展望 ..................................................... 121

7.1 论文的主要研究工作与结论 ............................................................................. 121

7.1.1 主要研究工作与成果 .............................................................................. 121

7.1.2 结论 .......................................................................................................... 122

7.2 主要创新点 ......................................................................................................... 122

7.3 研究展望 ............................................................................................................. 123

参考文献 .............................................................. 125
致 谢 ................................................................ 135
攻读博士学位期间发表的学术论文和参加科研情况 ........................... 137

1. 攻读博士学位期间发表的学术论文 ................................................................... 137

2.攻读博士学位期间参加的主要科研项目 ............................................................. 137

 1 绪论

第1章 绪论

1.1 研究背景

1.1.1 智能汽车与自动驾驶
从卡尔.本茨的第一辆三轮汽车到目前的自动驾驶汽车，汽车的发展给整个人类社会
带来巨大便利，同时也导致诸如环境污染、交通事故等许多社会问题[1]。随着道路交通
环境组成的日趋复杂，智能交通系统承担着更重要的角色，信息成分的异构性、信息来
源的多源性和信息结构的层次性，大大增加了汽车驾驶员对路况及周围环境的准确感知
和决策分析的难度，从而提高了驾驶员出现误操作和交通事故的概率[2]。在汽车在正常
驾驶的过程中的整个人-车-环境系统，需要驾驶员从当前的驾驶内外环境中提取各种有
效信息，通过驾驶员大脑判断和决策后后向汽车系统发出指令，从而完成特定的驾驶行
为，参见图 1-1，驾驶行为、操纵环节和驾驶认知三个环节中的任何一个环节出现失误，
都会导致交通事故的发生，道路交通事故统计结果也表明，事故成因与驾驶人认知有着
强相关性，当驾驶行为和驾驶认知达到一致的情况下，会最大限度的降低交通事故发生
率[3]。

多源性 异构性 层次性

感知、分析和判断
驾 驾
驶 感觉器官 接收器官 驶
行 任务集聚 协调反应 认
为 知
操纵环节

图 1-1 驾驶行为感知与认知流程

集自动控制、人工智能、机器视觉、情境感知、认知计算等众多技术于一体，自动
驾驶给汽车行业带来具有跨时代意义的技术革命[4]。2014 年 Google 联合斯坦福人工智
能实验室推出自己自动驾驶汽车，英国第一辆无人驾驶汽车 Lutz Pathfinder 于 2015 年 2
月亮相，法国、德国、日本也相继完成了本国的自动驾驶汽车产业布局。通用汽车联合
卡耐基梅隆大学也正在合作开发自动驾驶车，国外传统汽车厂商如沃尔沃、宝马、奔驰、
福特、丰田、本田等以及比亚迪、上汽、北汽和广汽等国内汽车厂商也都研发了个人品

1
 西北工业大学博士学位论文

牌的自动驾驶汽车或系统，百度、华为、阿里巴巴等互联网公司也开始涉足自动驾驶和
智能网联技术的研发，试图在未来智能网联汽车商业版图上提前布局[5]。自动驾驶本质
上是模拟和代替人对汽车和周围环境的感知和认知特性，从而网络导航、人工干预和自
主驾驶决策，这使得自动驾驶对复杂情境下汽车驾驶交互的人因工效和认知机制研究提
出了更高的要求。
发改委在 2018 年 1 月初起草《智能汽车创新发展战略》征求意见稿，其中把智能
汽车定义为搭载先进技术、具有部分或完全自动驾驶功能，向智能移动空间转变的新一
代汽车。然而智能汽车并不代表自动化程度已经实现完全自动驾驶，目前对自动驾驶技
术分级有 NHTSA（美国高速公路管理局）和 SAE（汽车工程协会）两个权威机构，具
体自动驾驶等级及定义对应关系可参见图 1-2。

图 1-2 两种国际自动驾驶分级定义

目前，L3 级及以上的自动驾驶技术并不成熟，Uber 无人车、特斯拉 Model S（自动

驾驶模式下）和谷歌公司的自动驾驶汽车已经发生多次严重车祸，导致主机厂和民众对
自动驾驶汽车的信任度大大降低，谷歌分析师认为 L3 级及以上的自动驾驶汽车在短时
间内不可能快速落地，而 L5 级别完全无人驾驶更需要技术的积累和基础设施的配合才
能普及。目前阶段国内的智能网联汽车发展迅速，市场上涌现了一批自动级别在 L1-L2
之间的互联网智能汽车品牌，如蔚来、小鹏、拜腾等，国内主机厂也在智能网联汽车上
进行了很多尝试，如唐 2 代和荣威 MARVEL X 等均已量产落地，但自动驾驶级别都在

2
 1 绪论

L2 以内，在技术完全成熟前，能够量产的智能汽车的自动化等级基本都在 L3 以内。
由图 1-2 和图 1-3 可以看出，L1-L2 级别的自动驾驶汽车，仍需驾驶员的干预才能
保障驾驶安全，驾驶员仍然是出行的主体和控制者，其行为安全与否对于整个系统的状
态有密切关系，而 L3 级别以上自动驾驶汽车，车内驾驶员在往乘客的角色转变，出行
更依赖智能自动化系统，L1-L2 自动驾驶级别的智能汽车处在传统汽车到无人驾驶汽车
中间状态，人机交互复杂且涉及的人因学问题繁多，以往很多理论不能直接应用，更值
得深入研究。

图 1-3 三类智能汽车座舱对比

对于 L1-L2 自动驾驶级别的智能汽车而言，人与汽车的交互较传统汽车变得更加多
元化，而普通用户从传统汽车跨越到 L1-L2 自动级别的智能汽车过程中，并不能很好的
适应这种变化，如何从设计底层认知层面支持或者贴合智能汽车人机交互的行为规律，
从根本上降低和预防道路交通事故的发生，从而保障车内人员的安全是本文的研究重点。
如图 1-3 所示，本文的研究载体为自动驾驶级别在 L1 及 L2 级的智能汽车，此类智能汽
车座舱内部的传统硬件呈现数字化、智能化和网联网趋势，中控数字交互界面是主要的
信息载体，更多的人机交互行为会依靠中控屏和语音交互等方式完成。

1.1.2 智能汽车座舱人机交互
随着人工智能、物联网、车载技术在汽车领域的发展，汽车人机交互界面、内外饰
设计、人车交互方式逐渐向数字化和智能化和网联化方向转变。高级驾驶辅助系统
（ADAS）和车载信息系统（IVIS）广泛进入到汽车系统后，汽车的本质属性正在从单

3
 西北工业大学博士学位论文

纯乘用为目的的交通工具属性逐步演变为服务驱动的网联信息交互式乘用空间属性转
变[6]，与此同时，智能汽车的出现，使驾驶员与车辆的“沟通方式”以及信息呈现方式
越来越多样化，作为 “软件"和“硬件”交互的载体，智能汽车座舱内部的中控、仪表
盘和方向盘等物理部件正逐渐被各种各样的数字界面所替代，为汽车数字化体验的多样
性提供更多可能[5]，智能汽车座舱人机交互相关研究也正在成为人因学、人机交互、心
理学、设计学等交叉领域的研究热点。
基于这种转变，智能汽车座舱不再受到传统物理按键和显示屏物理性能的约束，
所以围绕着未来智能汽车座舱应当设计一种什么样的“沟通语言”和“沟通语境”或
者“沟通方式”，并且需要注意什么问题，便成了当下传统汽车厂商前瞻未来的主要
方向[7]。汽车内部空间是家和工作场所之外的第三空间，而在智能驾驶和自动驾驶时代
来临之时，多样化的用户需求会给汽车内部空间的设计带来更多的可能性[8]，智能汽车
将会成为一个数据融合、以乘客为中心的移动的智能载体，在这个第三空间中，汽车
座舱已经摆脱了功能至上的设计趋势，更有趣、更有情感、更人性化的车内交互设计
将会直接影响车内用户体验[9]，这种趋势可参见图 1-4。

交
智能系统 网络技术 信息技术 通 心
领 汽 理 信
域 车 与 息
造 设 获
型 造 取
计 型
设 学
( 与
计 硬 分
内部空间 人机界面 操作步骤 交互过程 件 享
汽
)

人 设
车 机
显示和控制界面 计
交 车
互 联
汽 设 网
车 交
计 互
人
汽车内饰及界面交互设计 机 式
工 多 空
程 通 间
学 用 人 道
户 机 交
体 交 互
汽 验 互
内室造型设计 车
(

信息模型构建 操作交互过程 软
主
体 件
)

人 服 设 娱
用 因 务 计 乐
驾驶感 户 学 设
安全感 体验感 计
体
验

图 1-4 智能汽车座舱人机交互设计趋势

另一方面，新的交互技术诸如语音交互、手势交互和眼动交互等，也大大丰富了汽
车的驾驶体验[10]，汽车人机交互(Human Machine Interaction, HMI)相关研究也成为了交

4
 1 绪论

互领域研究的热点[11]。汽车 HMI 强调交互中人的主导地位，即使在无人驾驶状态下，

人在复杂情境下的决策干预也要在汽车自主操控层面之上[12,13]。此外，汽车人机交互研
究领域不断外延，呈现出跨领域交叉学科的特征，汽车驾驶过程的人机交互关注驾驶人
的认知、判断、反应和人机协调能力，而汽车驾驶人机交互系统各要素间的关系、系统
和人的关系、物理实体和感知信息的关系比以往的情况都要复杂，汽车能否提供符合人
认知规律及特性的交互界面以及操控装置，对安全驾驶起着关键性作用。
智能汽车数字化座舱是用户体验的载体[14]，表现力和内容更为丰富的大型全液晶仪
表盘、全面进入触控时代的中控设备、先进的车载信息娱乐系统、ADAS 高级驾驶辅助
系统、集成 HUD（head up display）或增强型现实系统、流媒体中央后视镜、车联网模
块、SRV 环视等组成了一套完整体系，为驾驶员及乘客在座舱内营造全新的用户体验。
其背后是人工智能、物联网、车辆传感器等技术的融合[15]。未来智能汽车座舱在人工智
能、自动控制和物联网的技术支持下，将融入更多的智能控制、人机交互、互联与车内
社交等先进技术，成为情感化交流空间。本文的研究载体为 L1 及 L2 级别的、包含中控
数字交互界面和先进娱乐系统的智能汽车座舱。
1.1.3 驾驶认知与人机交互认知
视觉信息是大脑接收外界信息的重要组成部分，从视网膜开始向大脑传递，最终产
生感觉和认知[16]。研究发现易发生事故的驾驶员往往具有心理和认知上的共性，而驾驶
员在敏感或放大的情感支配下更易发生交通事故[17]。认知科学研究智能系统中人类认知
过程和大脑的内在机制，是涉及心理学、哲学认识论、信息学、语义学、行为学和计算
机科学的一门新兴交叉学科[18]。认知科学的外延性逐渐扩大，依据不同的研究问题、研
究领域延伸出不同的研究方向，如人工智能信息学方向、复杂性科学方向、神经生理学
等，从认知学角度研究驾驶员的人车交互认知机制是新的研究热点。
认知建模已经广泛应用于人类行为学研究，但认知科学在人机交互行为，尤其是智
汽车人机交互行为建模研究才刚刚开始，目前研究人员已经开发出相对完善的理论模型
和实验研究方法研究不同行为的独立机制，给智能汽车座舱中人机交互任务与交互行为
下的认知模型提供更多的理论参考。随着车载信息娱乐系统的普及，认知负荷、驾驶安
全和人车交互认知成为平衡驾驶主行为和座舱人机交互次级行为的关键点。
从软硬件交互层面看，信息娱乐系统使用户的交互任务流更加复杂，直接导致驾驶
过程中人车交互认知负荷过载，这对驾驶员应对突发情况和情境感知的能力和处理多交
互任务、应对多种复杂情境的能力提出了更高的要求[19]；从用户体验角度来看，用户在
驾驶过程中，除驾驶本身需要大脑对环境的认知外，座舱内部的人机交互任务会导致用
户注意力的分散，而用户在分心的状态下很容易产生误操作，从而降低驾驶过程中的人
机交互用户体验。

5
 西北工业大学博士学位论文

复杂的人机交互任务必然影响用户认知，从而直接影响对智能汽车的使用体验，人
车交互需要平衡驾驶主任务、座舱内部人机交互任务和用户需求，因此智能汽车座舱交
互系统的建立需要满足驾驶人员基本的认知习惯和认知规律，这样才能满足驾驶安全的
同时，提供多样化的用户体验。
1.1.4 智能汽车人机交互认知与设计
从设计角度来看，智能汽车人机交互认知机制的研究对汽车座舱人机交互系统优化
具有极其重要的意义。只有研究底层的人机交互行为下的认知机制和人因学规律，才能
不断发现智能汽车信息系统和内外饰设计中存在的不足并提出改进措施，从根源上减少
用户的失误，提高用户体验。智能汽车座舱设计是一个复杂的过程，包括市场调研、用
户需求分析、产品设计、可用性测试及交付销售等阶段，目前智能汽车逐渐进入消费者
市场，而从传统汽车过渡到智能汽车的过程中，以往面向传统汽车的底层需求分析方法、
人因学基础理论、设计原则和评估方法很多并不能直接应用到智能汽车的设计实践中来，
一套适合智能汽车人机交互认知机制的人因学理论与方法的提出，有助于智能汽车座舱
设计的快速迭代与评估，让上层的设计有理有据，有法可依
目前，特斯拉、本田、奥迪、通用汽车、现代等国外公司以及中国新型的互联网车
企如蔚来、小鹏、威马等企业都成立了专门的汽车 HMI 实验室或研究中心，国外的哈
佛大学汽车实验室和 UC Berkeley 的 Deep-drive 研究团队都在系统的探索智能汽车座舱
人机交互、认知机制与设计的关联。我国传统汽车工业起步较晚，缺少基础研究的支撑
和理论积累，很多时候不能系统考虑汽车座舱人因学和认知机制对设计的影响。然而随
着自主品牌发展的必然要求和智能汽车快速迭代的需求，简单的将各种部件进行拼凑的
时代已经过去，在智能汽车这股潮流和趋势中，科研人员和设计师需要从底层人机交互
行为背后的认知角度研究人车关系、人车交互行为规律和认知机制，积累科学的设计研
究方法，辅助智能汽车的信息系统和内外饰设计，才能在国际竞争下占据一席之地。

1.2 研究现状

1.2.1 驾驶行为与情境感知理论
1）驾驶行为国内外研究现状

驾驶行为在汽车发明以来很长时间内成为科研人员的研究热点，主要涉及驾驶行为
规律、驾驶任务相关的认知状态、驾驶行为与驾驶安全关系等方面的研究。2001 年 Truls
Vaa[20]比较分析了驾驶行为的理论模型，提出认知和情感是驾驶任务预测、规避和评估
的危险的重要指标；Salvucci[21]等人开展了认知体系结构的驾驶员行为研究工作，取得
了相关进展；UC Berkeley 在 2002 年 l 月，成立驾驶行为研究课题小组[22]，研究范围涉
及提高路口安全的应用技术、以及驾驶行为建模、驾驶数据平台搭建等等；南达科塔大

6
 1 绪论

[23]
学的驾驶行为研究实验室 也开展了驾驶和驾驶相关活动的心理负荷的定性和定量评
估技术相关研究；麻省理工的人-车辆实验室[24]隶属于麻省理工天体物理学与空天研究
所，研究了驾驶员的心理、人机交互行为和认知的限制，试图通过系统设计使人一车交
互系统的效率和安全性达到最优状态。汽车驾驶行为研究涉及工程心理学、认知心理学、
人机交互到生理统计学，呈现更加多元的趋势。
近年来，随着智能汽车的发展和普及，驾驶行为相关的研究开始以智能汽车为载体
进行研究。夏威夷大学 Lcon James 教授从社会心理学领域探索认知、情绪、以及生理感
知对智能汽车驾驶的影响[25]；Olivier Georgeon 等人采集了驾驶环境中的数据，建立了驾
驶情境感知的心理学模型，最终设计相关软件，模拟了智能汽车的用户驾驶行为[26]；
Dario Salvucci 博士[27]开发了基于认知体系的驾驶行为计算模型，并把该模型应用到更
广泛的人机交互及认知科学领域。
国内的驾驶行为研究起步较晚，浙江大学刘雁飞等人发表多篇论文，通过对驾驶员
驾驶中的情境感知与决策执行过程的分析，利用软件模拟了驾驶行为多任务并行处理流
程[28]；梁燕飞等人研究汽车辅助驾驶技术中人、车、环境驾驶系统的知识表达和驾驶知
识的融合方法，对驾驶员行为特性进行了分类[29]；李洪强和程国柱等人针对不良汽车驾
驶行为和突发驾驶行为进行了相关研究[30]，清华大学的人因工程实验室张伟教授团队运
用驾驶仿真和一系列人因学的研究方法[31]，对我国驾驶人群进行多方位研究，包括宏观
道路安全问题研究、驾驶员态度/行为/能力/特性研究、驾驶员能力提升训练及态度干预
措施研究，也取得了系列成果。
2）情境感知国内外研究现状

汽车驾驶行为本身的研究离不开情境感知理论。情境感知（Context Awareness）源
于所谓普适计算（ubiquitous computing）的研究，最早由 Schilit 于 1994 年提出[32]，旨
在自适应地对普适环境中的情境参数进行感知、获取、处理和反馈操作，从而实现一种
人与计算机、环境的自然交互。Christiansen 等人认为情境包含交互过程中使用的所有
“材料”，可以是实体也可以是信息、知识等非物质[33]；Schmidt[34]将情境定义为由自
身、活动、和环境所组成的三维结构；Dey[35]等学者认为情境感知为表征一个实体特征
的任何信息，其中的情境因素归纳位置、身份、时间与活动四大类；Carter 等人开发了
支持远程用户测试、用研、日志数据收集和采样等情境感知应用的远程测试工具[36]；
Endsley[37]提出的情境认知模型、将人的情境认知过程分为感知(perception)、理解和预
测三个阶段。
国内的许多学者也进行了很多相关研究，顾君忠[38]从以人为本的角度出发，将情境
分为用户、时间、物理、计算和社会情境五部分；天津大学于洁潇[39]将感知情境融入到
辅助移动定位技术中；韩立、刘正捷等将情境感知于数据采集建立远程用户体验数据采
集与处理方法[40]。

7
 西北工业大学博士学位论文

情境感知早期的研究多集中在探测用户的位置，Kang, Dong-Oh 等人运用情境感知

技术实时监测用户的身体信息并进行综合诊断或推理[41]；IBM 公司的“智慧地球”的项
目，通过工业传感器获取情境信息，通过技术实现资源优化利用[42]；MIT 和 Apple 公司
推出的 Apple watch 可穿戴设备和华为手机的情境感知功能及谷歌的 Tango 项目，都通
过情境感知数据的采集向用户提供更精准、更贴心的服务[43]。
从汽车人机交互层面来说，汽车是情境感知的载体和重要组成部分。曾乐结合智能
汽车信息推送特点，提出了基于情境感知的人机交互界面设计模型[44]；罗威对智能汽车
的关键情境信息进行建模[45]；谭浩等人从驾驶行为、用户体验等角度开展了相关研究[46]；
张茫茫基于用户研究和人机交互设计方法提出汽车多通道交互模型[47]。
本文的研究更多关注驾驶过程中，人与智能汽车的人机交互任务、交互行为及设计
底层的认知机制，通过结合前人驾驶行为学和情境感知理论的相关研究成果，设计实验
获取并分析智能汽车座舱中用户驾驶状态下人车交互的行为和认知模式，提出相关方法
模型，为底层设计优化和评价提供数据和理论方法支撑。
1.2.2 认知方法及理论
认知活动是非常复杂的脑活动过程，它与大脑的高级机能直接相关。脑电波 [48]
（Electroencephalogram，EEG）使用电生理指标，来记录大脑活动时的电位变化。从 20
世纪 40 年代起，EEG 开始进入临床应用，大量的研究通过对 EEG 的分析，研究人的认
知、思维、学习、记忆、情感等大脑的高级中枢活动。20 世纪 70 年代，Sutton 等人[49]
提出了事件相关电位(Event-related potential, ERP)的概念，用头皮表面采集的脑诱发电位，
来反映认知过程中大脑活动时的电位变化，进一步证明事件相关电位与认知过程有密切
关系。
用户的认知特征是影响用户需求的内因，了解哪些认知因素影响用户需求，是挖掘
用户隐性需求的基础。作为可用性测试中的客观测试方法，眼动追踪及脑电技术以其先
进的生理实验手段，可针对大脑视觉认知信息加工过程中的视觉变化和脑区变化进行追
踪记录，从而直观地分析与视觉认知活动直接相关的规律[50]。
脑电技术则主要是通过相关电位的频率、潜伏期和波幅等指标来来研究认知信息，
眼动追踪技术则主要通过提取的视线轨迹、注视视觉、瞳孔变化等眼动数据，研究人处
理信息时的认知过程。Pierre Levy[51]基于 ERP 方法对通信系统进行了再设计；重庆大学
的唐帮备等人联合利用眼动、脑电对汽车形态设计进行评估并与传统主观量表法实验结
果进行对比，从而验证了利用脑电、眼动等对形态认知评价的客观性[52]。
进入智能驾驶时代，人-车-环境的关系将发生根本性变化，但汽车驾驶行为与人车
交互仍然是系统的重要组成部分，智能汽车用户人机交互行为及认知特性将影响到整个
驾驶系统的运行和功能实现，更是影响驾驶安全和用户体验的关键因素。本文试图通过

8
 1 绪论

实验及观察访谈、问卷等主客观结合的方法研究智能汽车座舱用户人机交互过程中的认
知机制，并提出了智能汽车座舱多模态人机交互设计评价模型，为智能汽车人机交互及
认知计算提供实验数据支撑及理论储备。

1.2.3 汽车人机交互
人机交互(Human-Computer Interaction)是人与机器的信息传递和交换[53]。在人机交
互领域，狭义的人机交互界面也称用户界面（User Interface），是指人与产品进行交互
的方式和方法，即人与计算机相互传递信息的介质。Krum 等学者将人机交互相关设计
及研究方法引入汽车人机交互中来，并开拓了新的方向[54]；Albrecht Schmidt 等从行为
学 和 心 理 学 研 究 角 度 ， 进 一 步 研 究 了 汽 车 人 机 交 互 的 未 来 方 向 [55] ； 国 际 会 议
AutomotiveUI 作为汽车人机交互领域的顶级会议，每年会公开发表各个国家在汽车人机
交互、自动驾驶等汽车领域最新的研究成果。
目前汽车 HMI 设计研究主要关注汽车交互设计及服务系统搭建、汽车 HMI 设计流
程与方法、以及汽车 HMI 的评估与优化。国内吴刚和徐力对车载导航娱乐信息系统 HMI
设计进行了研究[56]；王福恒、覃京燕等对人车信息交互系统的体验和设计的包容性等方
面进行了研究[57]；此外，湖南大学曾庆抒、谭浩等车内软硬件 HMI 设计、评估与优化
进行了总结和研究[58]，当前的 HMI 设计存在诸多问题，底层的逻辑框架、设计准则、
评价标准体系并不完整，没有充分考虑到用户的认知模型和心智模型，导致汽车 HMI 设
计与移动端的 UI 设计区别不大，有很大的驾驶安全隐患。
汽车人机交互属于次级驾驶任务，可以理解为驾驶任务外其他交互任务的操作与执
行。Wierville[59]和国内的谭浩[58]等学者都对次级驾驶任务进行了分类和分析，来保证驾
驶不同任务的协调进行。目前车内功能及信息娱乐系统以视觉任务为主的交互任务越来
越多，这对驾驶人的学习能力和智能汽车座舱人机交互界面可用性设计提出了更高的要
求，以往物理控制方式的交互习惯正在转向界面和语音交互为主的方式实现。本文的研
究重点不是驾驶行为本身，而是驾驶过程中人与智能汽车座舱的交互行为及行为下的认
知机制研究，通过挖掘不同人车交互行为对智能汽车用户认知绩效、用户体验的影响，
提出相关模型和方法，为智能汽车设计实践提供理论基础。
通过对驾驶行为、情境感知、认知理论和汽车人机交互的研究现状分析可以发现，
国外在以上领域的研究时间较长，已经形成了较为完善的研究方法和体系，但研究的载
体和对象仍然以传统汽车下的驾驶行为为主，且多停留在驾驶安全层面，对传统汽车人
机交互设计具有一定的借鉴意义。
然而，随着智能网联汽车的快速发展，智能汽车中的交互方式更加多元化，传统的
物理按压结合触觉控制（触摸屏）、手势、语音、辅助显示等多模态交互成为主流趋势。
目前针对智能汽车驾驶行为以外的人机交互行为的研究，以及交互行为背后的认知机制

9
 西北工业大学博士学位论文

研究较少，且缺乏对智能汽车人机交互行为和座舱内饰布局、人机交互界面设计底层的
认知层面（情境认知、视觉认知和脑认知）的研究。同时，面向智能汽车人机交互行为
的定量化问题和座舱情境认知模型、视觉认知模型、脑认知量化模型的理论研究有待深
入。因此，本文从智能汽车用户交互行为、视觉和脑认知机制出发，针对人与智能汽车
的人机交互行为和座舱人机交互设计，进行了大量的基础理论模型方法研究和实验研究，
具有一定的理论意义和工程应用价值。

1.3 研究基础与研究主要问题

1.3.1 研究基础
智能汽车座舱的信息呈现的方式将会不受到传统物理按键和显示屏物理性能的约
束，呈现越来越多样化的趋势，在这种趋势和大的潮流背景下，当下传统厂商都在试图
通过更自然的人机交互方式去迎合消费者多样化的用户需求。汽车内部空间是家和工作
场所之外的第三空间，在这个第三空间中，如何摆脱功能至上的设计趋势，在保证驾驶
安全的情况下，向车内用户呈现更有趣、更有情感、更人性化的车内交互和界面设计，
已成为近年来汽车领域学术界的主要研究热点之一。
在西北工业大学与东莞永强汽车设计服务项目和某特种车辆设计服务课题的研究
基础上，本文进一步开展了针对智能汽车座舱人机交互的认知机制及优化设计研究。论
文研究的国际交流项目背景主要来自作者在 2017-2018 年，在加拿大滑铁卢大学先进人
机交互实验室的 6 个月的创新实验访学项目，期间参与了“智能驾驶人机交互与认知”
项目，该项目系滑铁卢大学研究团队的校企合作研究项目，主要的研究命题是智能汽车
中人机交互的认知及设计研究，重点关注人车关系的变化和趋势。研究目的是通过调研
和实验，研究智能驾驶汽车与普通汽车的认知差异和人车角色转换，探索人机交互认知
机制与人车信任关系模型。研究路线是以问卷和虚拟现实实验的手段探索人在智能汽车
里面的认知状态和情绪变化，通过生理数据和问卷调研研究无人驾驶认知问题，对本文
的实验研究有一定指导作用。

1.3.2 研究的主要问题
智能汽车座舱下的人机交互呈现多元化的趋势，在这种背景下，本文通过实验设计、
问卷调研和量表法，并结合文献综述，对智能汽车驾驶行为和人车交互行为进行了详细
地分析、阐述，并对智能汽车座舱人机交互布局和中控数字界面的视觉和脑认知机制进
行了研究；并结合当前车企的需求，提出了基于人机交互行为—视觉认知的智能汽车座
舱布局设计评价方法和基于视觉和脑认知机制的智能汽车座舱中控交互界面设计评价
方法，并对所提出的模型及方法进行了应用验证。本研究立足认知学、脑科学和智能汽

10
 1 绪论

车人机交互等理论前沿，解决了其中的部分关键问题。论文研究了以下几个方面的问题：
1) 智能汽车座舱人机交互认知量化研究体系
智能汽车座舱人机交互设计属于新兴问题，需要相关理论和模型作为设计活动和研
究支撑。论文第 2 章分别针对智能汽车认知负荷产生机制、视觉及脑认知量化模型、任
务复杂度模型及设计评价方法等问题进行了研究，搭建的面向智能汽车的认知量化体系，
在设计辅助层面和科研方法论层面，都属于支撑智能汽车座舱人机交互设计任务开展的
基础理论体系。
2) 智能汽车座舱情境认知模型与人机交互行为分析方法
智能汽车通过情境信息感知，从而调用相应人机交互通道与用户进行交互。智能汽
车情境认知模型主要围绕智能汽车座舱的用户模型、人机交互行为模式、情境及情境认
知流程、情境要素等关键问题进行了研究，而智能汽车座舱人机交互行为是基于不同用
户和人机交互任务情境、目标驱动的“有目的”的交互活动，需要相关分析方法作为理
论指导。论文第 3 章针对以上问题进行了研究。
3) 智能汽车座舱视觉认知规律和内源脑认知机制
用户与智能汽车的交互行为受底层的视觉和脑认知机制驱动。智能汽车不同布局和
数字界面的视觉认知特性及规律、以及智能汽车用户在人车交互过程中的认知工作记忆、
经验驱动的高级内源性认知特性，是影响智能汽车用户体验的底层人因学关键问题。如
何将认知机制与智能汽车座舱布局及数字界面进行匹配和细分，为人机交互设计提供更
具指导性的参考，进一步为布局和交互设计评估提供支撑是需要研究的关键问题。论文
第 4 章和第 5 章对这些问题通过实验进行了研究。
4) 智能汽车座舱人机交互设计评价方法
智能汽车内饰布局和人机交互界面设计属于新兴设计实践活动，而传统的评价方法
多为决策专家主观评价为主，很大程度上受主观性和决策偏见影响，如何最大限度的通
过量化研究方法对智能汽车座舱的人机交互设计进行评价，从而消除专家决策的主观偏
见是本文需要关注的问题，论文第 6 章针对以上问题，构建设计变量与底层的人机交互
行为、视觉和脑认知实验的数学模型，提出了智能汽车座舱布局和人机交互界面设计评
价方法，并通过实例分析验证了所提出方法的有效性。

1.4 研究内容与组织结构

1.4.1 研究内容
论文共分为七章，主要针对汽车座舱人机交互行为、视觉和脑认知机制、人机交互
设计与评价进行研究，研究内容与组织结构如下：

11
 西北工业大学博士学位论文

第一章：绪论。主要论述了汽车人机交互与认知的研究背景、概念及涉及的领域，
并分析了国内外智能汽车座舱交互与认知领域的研究现状，阐述了本论文的研究基础和
意义，以及研究内容与研究方法等。
第二章：搭建汽车人机交互认知量化研究体系。阐述了认知负荷产生的机理及量化
研究方法，构建了智能汽车座舱视觉认知模型；论述了脑认知机制的一般实验流程和脑
电量化指标，并分析了人机交互任务的复杂度特性，提出了智能汽车座舱人机交互任务
复杂度分析方法，最终构建了智能汽车座舱人机交互认知与评价研究体系。
第三章：提出基于情境感知模型的智能汽车座舱人机交互行为分析方法。研究人机
交互中的情境认知机制，构建智能汽车的用户角色模型、分析智能汽车座舱不同人机交
互任务的复杂度熵值，对智能汽车的人机交互行为进行定量和定性分析。
第四章：研究了智能汽车座舱人机交互视觉认知机制。通过智能汽车座舱人机交互
布局和中控数字界面的视觉认知机制的研究，揭示智能汽车用户视觉信息处理模式，并
通过眼动实验分析用户人机交互过程中的视觉认知规律。
第五章：研究了智能汽车座舱人机交互界面的脑认知机制。介绍智能汽车座舱人机
交互脑认知实验的基本实验范式，对智能汽车座舱人机交互数字界面认知 ERP 实验进
行了详细阐述，将智能汽车中控数字界面与驾驶员视觉与脑机制相结合，研究不同任务、
不同显示方式下驾驶员的认知特性与规律，分析了智能汽车座舱人机交互界面的认知机
理。
第六章：智能汽车座舱人机交互设计评价方法与实例。依据第三章、第四章和第五
章中用户的人机交互行为、视觉认知和脑认知的实验数据，构建数学算法模型，探究针
对智能汽车座舱布局和人机交互界面的设计评价方法，为智能汽车的设计优化提供人因
学和认知评价的理论参考，最后通过实例进行验证。
第七章：结论。汇总全文主要工作及创新点，得出研究结论，提出未来工作展望。

1.4.2 论文组织结构

依据上述研究内容，本文组织结构参见图 1-5。

12
 1 绪论

研究周期 1 研究周期 2 研究周期 3 研究周期 4 研究周期 5

认知负荷 人机交互情境 视知觉信息编 脑电指标及实 人机交互 研究

机理与量化 认知模型 码 验范式 评价指标 阶段

探索
人机交互 智能座舱布局
视觉认知机理 人机交互行为 布局视觉认知 图标信息密度 人机交互评价
与量化 实验设计 眼动实验 脑认知实验 假设

智能座舱中控
中控数字界面 实验
界面色彩脑认 界面评价方法
脑认知机理与 人机交互 视觉认知眼动
量化 实验执行 实验 知ERP实验
分析

人机交互行为 行为复杂度分 数字界面布局 数学模型构建

实验结果分析
复杂度分析 析 脑认知实验 结论

智能座舱人机 智能座舱
认知量化 智能座舱人机 智能座舱视觉
交互界面 人机交互设计
研究体系 交互行为 认知机制 论证
脑认知机制 评价方法

研究 人机交互行为
研究体系构建 设计实验建立支撑视知觉认知机制 评价方法提出
内容 分析

1-5 论文组织结构框架

13
西北工业大学博士学位论文

14
 2 人机交互认知量化研究方法与体系构建

第2章 人机交互认知量化研究方法与体系构建

本章主要分析了用户与智能汽车交互过程中认知负荷的产生机制，研究了智能汽车
座舱中用户的视觉认知流程及量表指标，进一步确定了脑认知量化指标及实验流程，并
从人机交互任务复杂度角度，研究了不同交互任务的复杂度表征维度，最后结合以上三
部分内容，系统性提出智能汽车座舱人机交互认知量化与评价研究体系，为第四、第五
和第六章的智能汽车座舱人机交互认知机制和设计评价，提供研究框架和实验设计参考。

2.1 智能汽车座舱人机交互认知负荷机制

2.1.1 认知负荷理论

1)认知负荷定义及内容

认知负荷指某一特定认知任务下，整个工作记忆系统对其进行加工和保持信息过程
中所承受的负荷总量[60]，认知负荷理论由澳大利亚学者 Sweller 等人上在世纪 80 年代提
出并形成成熟的理论体系[61]。认知负荷理论被提出来的很长一段时间内，认知负荷被看
作 是 内 在 认 知 负 荷 (Intrinsic Cognitive Load) 和 额 外 认 知 负 荷 (Extraneous Cognitive
Load)[60]共同起作用的结果，内在认知负荷理论认为当知识存在高度复杂的交互作用时，
会给工作记忆带来沉重的负担从而引起认知资源不足，这种不足很难通过教学设计或者
训练进行弥补，而额外认知负荷理论认为认知负荷受学习材料呈现方式影响，如果学习
材料呈现方式过于复杂或者不适合学习者加工，就会占用大量认知资源，从而减少工作
记忆的运作空间导致认知负荷增加。

内在认知负荷 成分交互作用 主观认知负荷 图式建构存储

额外认知负荷 材料呈现方式 元认知负荷 学习策略关注

图 2-1 认知负荷图式建构方式

1994 年 Sweller[61]等人提出了相关认知负荷的概念，认为主观认知负荷主要来源于
个体在学习过程中，将工作记忆能量投人更深层的图式建构和存储过程消耗的认知能量，
而元认知负荷是个体在学习过程中，将工作记忆能量投入到整个认知过程的其他关注
（如监控何决策）时产生的认知负荷；Fred 和 Sweller 等人[62]将认知负荷看作图式建构
和自动化的工具，认为相关认知负荷产生于学习者在学习某一个任务未用完所有的认知

15
 西北工业大学博士学位论文

资源时，把剩余的认知资源用到图式建构中导致的负荷，将图式建构与认知负荷联系了
起来，参见图 2-1。

2)认知负荷中的工作记忆

工作记忆是一种对信息进行暂时加工和贮存的记忆系统，被认为与认知负荷的产生
紧密相关。Baddeley[63]提出，工作记忆包括类似于注意的不受感觉形式影响的中枢执行
系统、以语音形式保持信息的语音系统、视觉和空间编码的视空图像处理器、长时记忆
信息的临时贮存系统，整个系统由中枢执行系统控制，主要涉及注意和抑制、不同任务
的注意控制、任务时间及空间分配等功能；Sweller[64]等人基于工作记忆提出假设，认为
当工作记忆处理从长时记忆返回的信息时，它的容量是没有明确限制的，其中长时记忆
重塑了工作记忆特性，长时记忆中存储着多种且复杂的认知图式，而工作记忆处理信息
的能力有限，工作记忆形成长时记忆的过程就是图式组织和存储的过程；知识和经验涉
及的图式在工作记忆中加工并纳入已有的认知结构，引导学习者使用固有经验解决新问
题，通过这种方式来减轻工作记忆的负荷[64]。从这个意义上说，新手较专家有更高的认
知负荷，当面对新的学习材料时因不熟悉材料，工作记忆中可以利用的信息是未经组织
的碎片图式，而不是经过组合和加工过的图式，因此更容易产生较高的认知负荷。
2.1.2 智能汽车座舱人机交互认知负荷机制

按照认知负荷和工作记忆理论，知识和经验往往以图式形式存储于个体的长时记忆
中，图式可以帮助由新刺激加工而成的新知识快速准确地进行归类，因此本文基于认知
负荷和工作记忆理论，提出智能汽车座舱布局和中控数字界面设计的认知机制。

外 座 数 关 材 个 信 内
负在 舱 字 联 料 体 息 负在
荷认 布 界 图 特 知 加 荷认
知 局 面 式 知
征 识 工

匹配度 吻合度

图 2-2 智能汽车座舱人机交互认知负荷机制

用户长时间驾驶和乘用传统汽车形成经验和工作记忆，在乘用智能汽车时以往的工
作记忆和经验不能很快的转移到人与智能汽车的交互中来，这是个体产生认知负荷的主
要原因。如图 2-2 所示，外在认知负荷主要来源于用户对智能汽车座舱布局和数字界面
认知认知图式的匹配度，智能汽车座舱布局和界面元素的组织和呈现方式如果与需要认
知的信息所对应的关联图式不匹配时，外在认知负荷便会产生，从传统汽车到智能汽车，

16
 2 人机交互认知量化研究方法与体系构建

更多的物理按键单元整合到中控界面中，座舱布局也趋于简单化，物理界面的文字和图
标、按键布局整合到中控界面中，人车的交互方式也发生了本质的变化，用户在人车交
互过程中不能找到匹配的经验和工作记忆，导致认知负荷增加；而个体的内在认知负荷，
主要由智能汽车座舱布局和数字界面认知材料的外在特性，与智能汽车用户固有的知识
和经验的吻合度决定，吻合度越高则内在认知负荷越低。

智能汽车座舱布局整体较简洁，中控数字界面承载着主要的人机交互任务，具有一
定的复杂性，智能汽车与传统汽车的不同在于将更多的数据和信息，通过界面中不同元
素与用户进行交互。如果用户在数字界面人机交互的经验较少，没有形成对应的知识和
经验网络，新用户在理解和认知智能汽车数字界面时，需要采用实时信息获取和加工机
制，在实时加工处理座舱中的具体信息过程时，用户会消耗大量视觉注意导致认知资源
匮乏，从而使内在认知负荷不断增加。本文的认知负荷机制研究关注智能汽车用户与座
舱内部软硬件交互过程中产生的认知负荷，在人与智能汽车交互过程中，造成驾驶人认
知负荷增加的原因可以归纳为以下几个方面：
1) 智能汽车整体布局各个功能单元产生无规则的视觉流，导致认知难度增大。
2) 智能汽车中控界面完成特定交互任务的信息层级过多，学习成本过高。
3) 智能汽车中控界面视觉层次结构混乱，复杂性过高。
4) 智能汽车中控界面完成单个任务可选项过多，且不符合用户交互习惯。

汽车座舱正在从单纯的驾驶乘坐功能向更复杂的社交、娱乐等多功能方向转变，车
辆信息和数据整合到汽车座舱系统并通过数字界面呈现，这对智能汽车座舱设计产生了
重大的影响。因为智能汽车的用户个体差异，很难确定单个用户的内在认知负荷，降低
整体的认知负荷需要设计师关注外在认知负荷对用户的影响。优化智能汽车布局和中控
数字界面要素的信息呈现方式，使智能汽车座舱整体设计遵循视觉搜索的原则和规律来
组织布局和数字界面元素，是降低外在认知负荷的重要手段，这要求设计师对用户在智
能汽车座舱视觉搜索路线和视觉认知机制有明确的认识，减少操作者被动和无用的认知
活动，帮助用户在短时间内建立信息间的联系，进而运用现有图式整合信息，并重新塑
造用户的认知记忆，从而降低智能汽车用户的内在和外在认知负荷。

2.1.3 智能汽车认知负荷量化研究方法

1994 年 Pass 和 Van Merrienboer 等人提出了认知负荷的模型[65]，国内外学者在认知

负荷测量方面开展了大量研究，并形成了主观测量法、生理和绩效三种主流测量方法。

主观测量法指依据学习者在学习过程中，所产生的主观体验来评价负荷，一般涉及
时间压力、任务难度和心理努力等指标。多种测评量表被开发并证实有效，如 Pass[66]等
人开发的认知负荷评定表，美国空军开发的多维脑力负荷评价量表（SWAT 量表），美

17
 西北工业大学博士学位论文

国国家航天局开发的任务负荷指数 TLX 评价量表[67]，以及 Velazquez 和 Tsang 开发的

WP 量表[68]。本文第 5 章中的脑认知实验中，采用 SWAT 量表作为智能汽车中控数字界
面认知负荷主观测量的方法之一。

绩效测量主要根据指定学习材料的难度和学习者的学习效果，衡量测试者的心里努
力程度[69]，即通过测量学习者完成特定任务的绩效来评定该任务给学习者带来的认知负
荷大小。在使用智能汽车座舱中控数字界面的过程中，用户需要对界面内容及信息进行
学习，如果中控界面呈现信息和内容的学习材料复杂性越高，用户使用学习效果则越差，
从而导致认知负荷越大。本文第 5 章涉及的绩效测量法包括认知匹配准确率（匹配准确
的次数与总次数之比）和认知反应时间（被试看到目标图标刺激物到按键作出辨认的时
间值）。

生理测量是指测量个体完成特定任务过程中伴随认知负荷而产生各种生理反应[70]，
比如脑电活动、皮肤电、心电变化眼动活动等。本文第 4 章和第 5 章主要通过眼动、脑
电等生理测量方法测量用户在智能汽车座舱或驾驶模拟器实验下被试的生理信息，并通
过统计或算法模型计算被试与智能汽车交互中的负荷及其他认知规律等。本文以脑电和
眼动数据生理测量为主，结合主观和绩效测量法，综合发挥各个方法的优势，开展智能
汽车座舱人机交互认知机制的研究。

2.2 智能汽车座舱视觉认知模型
在人与智能汽车的交互过程中，视觉信息交互占据了人与智能汽车交互的很大部分，
智能汽车与传统汽车座舱的区别在于布局中数字界面（娱乐系统、中控屏、数字仪表盘
等）的普及，用户视觉注意发生了很大的变化。

2.2.1 视觉关注机制理论
个体对周围事物主动选择性的心理活动被称为视觉关注机制（Visual Attention）[71]。
视觉关注可由两种模式[72]引起，第一种是外在客观信息驱动的自底向上（bottom-up）关
注模型，第二种是个体主观受外在命令或任务驱动的自顶而下（top-down）关注模型。
bottom-up 模型与视觉信息要素的显著性有关，单个视觉要素如果与周围区域的差异性
较大，如智能汽车座舱中独特的布局、数字界面中的特殊背景颜色和差异性的信息排布
密度等，该显著目标将会自动吸引更多的视觉关注，top-down 模型关注受主观意识和特
定的任务或命令支配，引导用户的视觉关注强行转移到任务相关视觉区域。
视觉关注机制衍生的时空接近性原理[73]认为，在大脑信息加工过程中，大脑会把视
觉对象之间的有时间和空间联系或接近性的元素看作整体对待，在整个认知过程中，基
于特定任务的时间、空间关系进行视觉信息元素关系，大脑会通过不断的刺激和学习将
视觉信息整合为整体单元，不同视觉元素通过记忆和学习形成具有可以认知判断的推理

18
 2 人机交互认知量化研究方法与体系构建

图式。智能汽车座舱布局设计和中控数字界面中的视觉元素也可以通过引导视觉感知有
次序地进行，人为地创造出引起大脑认知不同设计元素关联性的记忆或知识，从而减少
认知负荷，提高认知的效率。
2.2.2 智能汽车座舱视觉认知要素
智能汽车座舱布局中的主要要素包括车内外后视镜、中控显示屏、仪表盘、方向盘、
汽车空调排风口等其他主要区域，智能汽车座舱中各成分的视觉关注主要包括由智能汽
车座舱内部的几何元素、图形、文字等视觉元素的视觉关注，对仪表盘、方向盘及控件、
中控旋钮及交互界面、后视镜等车内对象的视觉关注，以及包含布局、操控组合、元素
组合关系的视觉关注。智能汽车座舱布局设计需要充分考虑位置方位、承载的信息、可
视化区域大小，在智能汽车驾驶的过程中的视觉注意，需要符合人机交互关联信息搜索
的视觉规律[74]，从而减少信息获取的时间，降低人机交互任务中的认知负荷。
智能汽车中控人机交互系统将 FM、空调、音乐、电话、导航等多种功能整合，用
户通过中控数字界面与智能汽车进行交互，从而完成特定的任务，中控数字界面承载信
息的方式、信息编码方式和数据信息呈现多通过界面视觉形式传达给用户，界面的色彩、
空间布局以及图标的信息密度会直接影响交互的准确性和高效性。
本文基于视觉关注机制理论，将智能汽车座舱人机交互布局及界面视觉关注要素分
为突出要素、整体性要素和关联性要素，各个要素包含的内容如表 2-1 所示。

表 2-1 智能汽车布局及界面视觉关注要素分类

要素类型 要素名称 要素解释

中控屏 占内饰空间比例较大，承载主要的交互行为，布局较突出

中控界面色彩 色彩对中控界面的感知刺激性较强，是视觉的突出要素

中控界面布局 布局对中控界面的感知刺激性较强，是视觉的突出要素
突出要素
中控屏信息密度 中控屏信息量影响中控屏的直观感受，是视觉的突出要素

仪表盘 汽车正前方关注要素，输出信息为主，布局较突出

方向盘 汽车操控关注要素，布局较突出

中控屏组合 是界面布局、图标、色彩等多个要素的组合

整体性要素 方向盘组合 是转向、蓝牙电话、音量调节按键等多个要素的组合

仪表盘组合 是仪表盘多个图标及控件的组合

关联性要素 布局关联要素 布局中多个控件构成一个集合发挥作用，各个控件互相关联

19
 西北工业大学博士学位论文

操控关联要素 完成具体操控任务需多个控件实现，承载操控任务控件相关联

元素关联要素 信息关联较强要素共同发挥作用，其中各个元素互相关联

视线关联要素 用户完成人车交互任务的视线组合控件也互相关联

智能汽车座舱中不同类型的视觉要素承载不同的信息，通过座舱布局中各个要素和
中控数字界面要素与用户产生交互作用，对智能汽车座舱视觉关注要素进行分类有助于
智能汽车用户视觉规律和交互行为模式更为全面的分析和理解，对第四章视觉信息编码
及视觉认知的研究有一定辅助作用。
2.2.3 智能汽车座舱视觉认知模型

智能汽车座舱中不同类型的视觉要素作为主要的视觉刺激呈献给用户，用户将视觉
刺激与已存储的各种经验和知识模板进行比较，并通过知识、经验匹配和知觉重塑的方
式对用户的原有视觉经验和图式进行改造，在这个过程中，人与智能汽车的交互通过短
时记忆和感觉记忆反馈到用户大脑，在不断选择和决策等过程中形成长时记忆，从而完
成新知识的积累，并形成新的视觉经验和图式信息。

视知觉是基于过去的知识经验，并经过现实刺激并进行重塑记忆的过程[75]，在智能
汽车逐渐占据市场主流的时候，传统汽车的知识经验需要转移并重塑到智能汽车上来，
而这其中需要多种视觉刺激组合，并选取最优的组合策略，才能最大限度完成新旧经验
的转移和形成，本文基于视觉关注机制理论，结合智能汽车人机交互现状，提出基于视
觉关注理论的智能汽车座舱视觉认知模型，参见图 2-3。由该模型可以看出，在传统汽
车到智能汽车的跨越过程中，智能汽车中的视觉符号信息对用户的认知重塑有重要影响，
对认知的影响也间接影响了用户的人机交互行为。
刺激与重塑

视觉
外部视觉信息 短时记忆
对象 直接视知觉

内部视觉对象
长时记忆 人机
知识经验 选择、决策记忆塑造
与 交互
重塑 知识经验
视觉 行为
对象
内部视觉对象
间接视知觉
用户行为 感觉记忆

刺激与重塑

图 2-3 智能汽车视觉认知模型

2.2.4 智能汽车座舱视觉认知量化指标
本文研究智能汽车座舱视觉认知主要借助实车与驾驶模拟器，用户佩戴眼动仪来采

20
 2 人机交互认知量化研究方法与体系构建

集关键的眼动数据。在中控数字界面的研究中，被试的视觉注意需要长时间停留在中控
屏上，因此主要被试在驾驶模拟器中完成实验，驾驶模拟器可提供安全的环境[76]，完成
潜在影响驾驶安全的相关研究[77]。在第三章智能汽车座舱布局视觉认知实验中，布局、
视觉场景、路线规划等因素不依赖驾驶模拟器，因此在真实智能汽车驾驶实验中完成，
通过眼动仪获取用户眼动数据，从而对视觉认知进行量化研究[78]。
由智能汽车座舱视觉认知模型可以看出，智能汽车座舱人机交互过程中的视觉特性，
由智能汽车座舱中的视觉元素刺激形成，最终反馈到用户的人与智能汽车的人机交互行
为中。用户的视觉认知规律可以通过一系列视觉特性表征指标来衡量，本文结合视觉认
知模型，选取注视点、注视时间、眨眼次数、眨眼频率、眨眼幅度、平均瞳孔直径、扫
视时间及次数等指标作为视觉衡量指标，几个关键指标涉及的信息如下：
1) 注视点
注视点反映的智能汽车驾驶过程中用户在某段时间关注特定视觉空间区域。本文实
验中注视点主要反映用户自发或主观关注到特定座舱布局或中控布局区域。注视点与驾
驶过程中人与智能汽车座舱中布局构件及界面交互所需处理的信息量大小有关，不同布
局区域的注视次数可用于表征特定区域的重要性程度，注视点集中度可作为视觉认知的
重要指标，与智能汽车的座舱布局和中控界面布局设计直接相关。
2) 注视时间
注视时间指用户注视时，视轴中心位置保持不变时持续的时间。本文实验注视持续
时间可以表征用户处理感知到信息时所花费的时间，可以反映人与智能汽车交互过程中
信息获取、加工和处理的难度。在智能汽车视觉认知实验中，注视持续时间越短，则表
示被试读取注视对象的时间较短，消耗更少的认知量。
3) 累积注视时间
累积注视时间指在用户驾驶智能汽车的某一视觉兴趣区域（AOI）内所有注视点注
视持续时间的总和，本文实验中常用于反映用户在人车交互过程中，对座舱某一特定的
区域或对象的感兴趣程度，可以衡量用户处理某一特定注视区域信息所耗费的时间。
4) 瞳孔直径
瞳孔直径大小及变化主要用于衡量用户驾驶智能汽车过程中人车交互的紧张程度。
瞳孔尺寸变化能够反映用户工作负荷的变化，认知负荷的增大后瞳孔直径的变化幅度会
变大。本文实验中瞳孔大小和变化幅度，可以衡量用户智能汽车座舱信息加工时认知负
荷大小和变化。
5) 眨眼
眨眼过程中多不会发生信息编码与加工，个体在处理较复杂的任务时，会将更多注
意分配给任务相关刺激。眨眼时间、频率、平均眨眼时间及眨眼幅度在认知负荷研究中

21
 西北工业大学博士学位论文

应用较多，本文实验中眨眼指标运用于认知负荷测量，在人车交互过程中，视觉任务所
需心理负荷较大时，大脑会将更多视觉注意分配给注视和扫视等眼睛活动，从而导致眨
眼频率降低。
6) 扫视
扫视指眼球由一个注视点快速移动到下一个注视点的过程。研究表明，认知负荷变
化与扫视频率变化成正比关系[78]，本文实验中扫视幅度是反映视觉搜索活动工作量的一
个指标，该指标可作为被试承受心理认知负荷的衡量指标。

2.3 智能汽车座舱脑认知量化指标与流程

2.3.1 脑电信号诱发机制
脑电信号是大脑活动的一种具体表现形式，对于研究脑生理变化及认知状态具有重
要作用[79]，脑电也被认为是研究脑认知机制的可靠且有效的指标之一。EEG 利用在头皮
上安放的电极将脑细胞的电活动引出后进行记录，即得出有一定波形、波幅、频率和位
相的图形、曲线，脑电数据包含了大量的生理信息，经常用于认知分析、情绪分析等脑
科学相关研究[48,80]。

不同的视觉要素、情绪和肢体动作都会直接影响脑电波变化[81]，一般采集到的脑电
信号频率分布在 0.5~100Hz 范围内不等[82]，除了大脑自发生成的脑电以外，通过内部和
外界刺激而产生的特定脑活动，可产生相应的脑电信号从而诱发出脑电信号[83]。目前通
过感觉诱发电位主要有以电脉冲刺激诱发体感觉诱发电位(SEP)、特定声音刺激诱发听
觉诱发电位(AEP)以及闪光或图形翻转刺激诱发视觉诱发电位(VEP)；此外 ERP 是人脑
对某一刺激信息进行认知加工时，在头皮记录到的电位变化，目前大多 ERP 主要有视觉
诱发 P300、SSVEP(steady-state visual-evoked potentials，稳态视觉诱发电位)等，诱发电
位的识别率和准确率高，且受个体主观因素影响较小，在科研上应用已经很成熟[82]。
2.3.2 智能汽车座舱界面脑认知量化指标
在智能汽车座舱人机交互界面脑认知实验中，基于事件相关电位的成分作为主要
的认知量化指标。ERP 脑电成分分为外源性成分和内源性成分[84]，外源性成分是受物
理刺激产生的早期脑电成分[85]，内源性成分与知觉或认知等心理因素过程相关，不受
物理刺激的影响等。
本文事件相关电位技术在智能汽车座舱人机交互界面的应用，主要体现在用户与智
能汽车数字界面进行交互的认知与评价过程。本文主要选取 P200、P300、N400、ERN
等作为脑认知量化指标，各个脑认知量化指标信息如下：
1) P200
P200 与视觉信息的早期识别有关，多用于在视觉捜索实验中，与特定任务相关的信

22
 2 人机交互认知量化研究方法与体系构建

息加工认知，在智能汽车脑认知实验研究中，P200 可以用来表征被试在数字界面中的任
务搜索与信息加工的认知负荷。
2) P300
P300 是目前研究最多的 ERP 成分，其峰值潜伏期在 300ms－600ms 左右，表征选
择认知和觉察反应，属于内源性成分，不受刺激物理特性的影响，与被试的精神状态和
注意力有关。在智能汽车座舱人机交互界面脑认知实验研究中，P300 成分可以用来表征
被试在人机交互实验中的认知和觉察反应以及个体注意力状态。
3) N400
N400 成分多与语义词汇匹配有关，当语义匹配不一致时候，就会出现该波形，内源
性成分为人类认知过程的脑神经认知提供了科学参考价值和依据[86]，在智能汽车脑认知
实验研究中，N400 成分可以用来衡量被试在人机交互实验中做决策或选择的准确度。
4) ERN
被试感受过程中发生错误，会导致焦虑并引发错误相关负波（error-related negativity，
ERN），错误相关负波是与犯错误行为伴随的特定的事件相关电位，在智能汽车脑认知
实验研究中，ERN 成分可以用来表征被试在智能汽车中控实验中的主观错误认知。
2.3.3 脑电信号量化实验流程

本文后续实验中的脑电信号量化研究经过数据采集、预处理、数据分割与数据分析
等几个步骤，涉及的脑认知量化数据分析工作主要通过 MATLAB 中的 EEGLAB 工具箱
[83]
和 R 统计工具进行分析。其中主要流程如下：
1) 数据采集与处理

智能汽车座舱人机交互界面认知实验，主要通过便携式脑电设备采集装置
EmotivEPOC+ research 版本作为脑电采集设备提取 EEG，将提取的数据导入 MATLAB
中的 EEGLAB 工具箱进行数字滤波、去伪迹和下采样等预处理操作[87]，目的是帮助消
除被试身体及周围环境对脑电的干扰，限定和缩小特征信号的分析范围，为下一步特征
提取做准备。
2) 数据分割

特征提取需要从 EEG 数据中提取出少量关键特征[88]，并通过特征分类对不同脑电

成分进行划分[89]。在智能汽车座舱人机交互界面脑认知实验研究中，主要是将被试在与
智能汽车中控屏交互过程中的脑电数据进行切割和叠加平均，并提取关键的 ERP 成分
进行后续分析。
3) 数据分析

23
 西北工业大学博士学位论文

EEG 信号时域分析[90]是一种医学中常用的分析方法，可直接从信号时域提取关键
特征进行分析[83]。智能汽车座舱人机交互界面脑认知实验研究中的 ERP 成分，主要通
过提取波形的波形特征，进行方差分析、相关分析、波形参数分析、波形识别等基础分
析方法来进行数据分析。

2.4 智能汽车座舱人机交互任务复杂度分析方法
座舱中智能系统与人、人与信息之间的关系变得越来越复杂，导致人机交互行为也
呈现多样化趋势，智能汽车座舱人机任务复杂度是人机交互行为和座舱用户体验好坏的
最直接反映，也是座舱布局设计评价的重要指标。

2.4.1 人机交互任务复杂度

任务复杂度是影响人机交互体验的重要因素，不同复杂度的任务其用户体验和用户
表现也不相同[91]。人机交互任务复杂度被定义为组成任务的元素数和元素之间的关系表
征方式，是任务和任务执行者之间交互关系的反映[92]。

Wood[93]认为任务所需要的动作、信息资源数量及部件复杂度等要素影响人家交互
的流畅性；Ham 等人认为人机交互任务复杂度是系统复杂度的外在表现，并构建了包括
功能、行为和结构的任务复杂度模型，主要协调任务的目标、认知信息处理和人机交互
任务表达[94]。Bystrom 和 Jarvelin 认为任务复杂度本身由任务执行者和任务本身的交互
关系所决定[95]，从资源消耗角度看，人机交互任务复杂度可以被看作在信息处理过程中
所需的脑力需求、认知负荷、以及短时记忆所消耗的能量，越复杂的交互任务，任务执
行者需要投入资源更多。
2.4.2 智能汽车座舱人机交互任务复杂度表征要素

传统汽车的人机交互行为远远少于智能汽车上发生的人机交互行为，人机交互任务
复杂度也不同。在智能汽车座舱的多种复杂的人机交互任务中，可以通过任务复杂度的
表征因子来描述座舱人机交互的任务复杂度。本文将座舱人机交互复杂度的表征因子概
括为交互任务本身逻辑结构的复杂程度、完成人机交互所需的动作数量、人机交互时管
理界面任务信息的复杂程度、人机交互输入因素的复杂度、人机交互所需要的知识等级
和认知量、人机交互布局及反馈复杂性等，具体内涵如下：
1) 交互任务本身逻辑结构的复杂程度
在数字化座舱的人机交互系统中，用户除了基本的驾驶任务以外，还包括单个交互
任务比如语音、导航、控制、调整、查询等其他任务的操作，逻辑结构本身的复杂度，
将直接影响驾驶员的认知绩效和座舱用户体验的流畅性。

2) 完成人机交互所需的动作数量

24
 2 人机交互认知量化研究方法与体系构建

在数字化座舱的人机交互系统中，驾驶员完成某一项特定的任务需要的动作数量，
也是表征人机交互任务复杂度的关键要素。

3) 人机交互时管理界面任务信息的复杂程度
智能数字化座舱中的界面大多为触控界面，用户与汽车交互的首次操作大多需要从
管理界面进入，管理界面的复杂程度会影响后续操作任务的进行。

4) 人机交互时输入因素的复杂度
在人车交互过程中，不同的输入方式如语音、手势、触控、物理控制等方式对用户
输入行为的精度和内容要求不同，输入因素的复杂度越高，用户完成某项任务需要花费
的时间越多。

5) 人机交互所需要的知识等级和认知量
数字化座舱的交互任务所涉及的很多操作都集成于触控界面中，大量的操作任务依
赖多样的图标、文本来传达其意义和内涵，较传统系统而言更加复杂，学习成本较高，
人机交互所蕴含的知识量更大，驾驶员的认知量要更高。

6) 人机交互布局和交互反馈复杂性
更实用、信息更丰富和直观的人机交互界面系统是智能汽车产业追寻的目标，然而
这会导致输入输出信息流变得越来越复杂，人机交互界面的布局和交互反馈的复杂性，
都会对整个交互的流畅程度和用户体验带来很大影响。
2.4.3 智能汽车座舱人机交互任务复杂度表征维度
智能汽车座舱的人机交互任务复杂度表征维度可以理解为复杂度的一种量度，是表
征人机交互任务复杂程度的外在体现。本文基于人机交互任务复杂度理论[96]，提出智能
汽车座舱人机交互的任务复杂度维度，表 2-2 为智能汽车座舱人机交互任务复杂度的表
征维度及具体定义。

表 2-2 人机交互任务复杂度的表征维度定义

复杂度维度 维度说明

大小 人与智能汽车交互任务的组成数量

种类 可分别的以及不相似任务组成数量的差异

歧义性 任务组成的不清晰、不完整的程度

相关性 任务组成之间的相互依赖、联系等相关关系

变异性 任务组成的不稳定性和特异性

不可靠性 不可控及不可信的任务

25
 西北工业大学博士学位论文

新颖性 创新和不寻常事件，或任务执行方式不寻常

不一致性 任务组成不一致、不兼容、不匹配

动作复杂性 在任务完成过程中人的行为包含的认知和体力需求

时间需求 由于时间压力导致的任务需求

智能汽车座舱的人机交互任务复杂度可以通过任务复杂度的表征因子的多个维度
来表达，其中智能汽车座舱人机交互中的任务组成数量、差异、任务组成完整程度和相
互关系、以及不稳定性、新颖性及一致性、认知需求和时间压力等要素都是智能汽车座
舱人机交互任务复杂度的表征因子。

2.5 智能汽车座舱人机交互设计评价指标及方法

常规的设计评价多基于专家经验的专家主观打分、或基于用户的问卷和访谈结果等
主观评价方法，很大程度上受主观性和决策偏见影响，本文主要通过量化方法结合算法
对智能汽车座舱的人机交互设计进行评价。
因为不同车型、不同品牌和不同用途的智能汽车定位不同，座舱人机交互布局差别
很大，其原因在于不同设计项目的多任务、多目标性，传统的智能汽车座舱布局人机交
互设计更多从美学、人机工程的角度进行评估，着眼于功能的可用性和设计美学汽车，
最终通过各种设计约束和不断迭代表达到智能汽车座舱的布局设计中。为了评价智能汽
车座舱布局的设计，本文提出了一种基于人机交互行为和视觉认知的评价方法，基于人
机交互行为复杂度、愉悦感、信任感的一级指标，涉及的二级评价指标包括人机交互复
杂度七个影响指标和眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平均瞳孔
直径等六个眼动指标，通过这些基础指标应用多目标粒子群算法对智能汽车座舱人机交
互布局进行多元评价，最后通过算法给出分数表征智能汽车的人机交互布局的设计优劣。
该方法优点是对影响用户体验的人机交互指标细分清晰且运算方便，很容易量化,评价
指标可参见表 2-3，具体评价方法会在第六章做详细阐述。
表 2-3 智能汽车座舱人机交互设计评价指标对应关系
评价 评价对
评价一级指标 评价二级指标
类型 象

智能汽车 任务逻辑复杂度、动作数量、管理界面复杂度、输入复杂
智能汽车座 人机交互复杂度熵
座舱人机 度… …
舱人机交互
交互布局 视觉愉悦度 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数… …
布局
评价方法 视觉信任感 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数… …

智能汽车 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
中控屏图标密度愉悦感
座舱交互 均瞳孔直径… …

26
 2 人机交互认知量化研究方法与体系构建

界面设计 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
中控屏图标密度信任感
评价方法 均瞳孔直径… …

眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
中控屏界面色彩愉悦感
均瞳孔直径… …
智能汽车座
眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
舱交互界面 中控屏界面色彩愉悦感
均瞳孔直径… …
视觉模态
眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
中控屏界面布局愉悦感
均瞳孔直径… …

眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
中控屏界面布局愉悦感
均瞳孔直径… …

界面信息密度的愉悦度 P300、P200 和 N400 波幅、潜伏期、数量等

界面信息密度依赖度 P300、P200 和 N400 波幅、潜伏期、数量等

界面色彩情绪 P300、P200 和 N400 波幅、潜伏期、数量等

智能汽车座
界面布局信任感 P300、P200 和 N400 波幅、潜伏期、数量等
舱交互界面
脑认知模态 界面布局交互努力度 P300、P200 和 N400 波幅、潜伏期、数量等

界面认知评价（认知负
荷、认知时间、决策时 P300、P200 和 N400 波幅、潜伏期、数量等
间与认知加工等）

人机交互界面的评价方法很多，来自企业和科研机构的评价方法基本包括基于专家
和用户的主观评价、基于生理数据的客观评价方法[97]。本文提出的智能汽车中控人机交
互界面设计评价方法主要依赖实验获取的脑电数据和眼动数据及与认知数据，建立设计
变量和设计评价的数学模型，最终通过数学算法实现智能汽车中控人机交互界面的设计
评价。智能汽车中控人机交互界面设计评价指标体系涉及视觉模态和脑认知模态的指标，
分别对应智能汽车座舱认知评价与可用性评价一级指标。认知评价与可用性评价的数据
对应关系会在第四、五章做详细阐述，涉及的具体评价指标可参见表 2-3。
本研究涉及的智能汽车座舱人机交互评价方法包括主、客观评价及基于算法模型的
评价方法，通过三种方法的结合对智能汽车座舱布局和人机交互数字界面进行评价，具
体评价方法将在第六章详细阐述。

2.6 智能汽车座舱人机交互认知与评价研究体系
通过总结归纳人机交互、情境感知、认知心理学中的认知负荷、视觉注意、人机交
互复杂度分析及相关评价方法，提出了基于人机交互行为、视觉和脑认知机制的智能汽
车座舱布局和人机交互界面认知与设计评价研究体系，如图 2-4 所示。

27
 西北工业大学博士学位论文

智能汽车座舱人机交互设计评价方法与实例验证

智能座舱布局人机交互评价 智能座舱中控交互界面设计评价
智能汽车座舱人机交互布局设计期望 中控交互界面设计评价结果
技术
应用层 智能座舱人机交互布局多目标评价算法 智能座舱中控人机交互界面设计评价算法

复杂度熵 愉悦度 信任度 实验数据 决策树模型 贝叶斯网络

智能座舱人机交互行为分析 智能座舱信息编码及视觉认知 智能座舱人机交互界面脑认知

行为复杂 视 脑 中控界面信息密度
实验设计 智能座舱布局 脑认知实验
度分析 觉 脑 电
关键 信 视觉认知眼动实验研究 电 实 中控数字界面
技术层 息 指 验
智能座舱中控数字界面 色彩脑认知实验
编 眼动实验研究 标 范
人机交互 情境认知 码 式 中控数字界面
行为分析 模型 信息布局脑知实验

基础
人机交互理论 情境感知理论 认知心理学理论 综合评价理论
理论方法

图 2-4 智能汽车座舱人机交互认知与评价研究体系

整个研究体系包括基础理论层、关键技术层和技术应用层，各层的逻辑支撑对应的
文章章节和主要内容如下：
1) 智能汽车座舱人机交互行为分析（见第 3 章）
首先通过问卷、访谈等方法进行用户角色模型构建，分析目标用户的群体特征、人
生理念、生活方式和情感诉求等；此外通过行为分析实验，研究用户驾驶智能汽车中的
情境认知过程，构建情境认知模型，总结和归纳出智能汽车用户在汽车座舱中的人机交
互行为流程及规律，并提出基于情境认知模型的人机交互行为分析方法。
2) 智能汽车座舱信息编码及视觉认知机制（见第 4 章）
首先分析了智能汽车座舱人机交互中的视觉信息编码方式，通过视觉认知眼动实验，
研究智能汽车座舱布局和中控显示屏的视觉认知特性和影响要素，从视觉模态的角度揭
示智能汽车用户的视觉特性及其变化规律。
3) 智能汽车座舱人机交互界面脑认知机制（见第 5 章）
首先介绍了智能汽车座舱人机交互脑认知实验的基本实验范式，对智能汽车座舱人
机交互数字界面认知 ERP 实验进行了详细阐述，并通过数据结果分析与讨论呈现了智
能汽车座舱人机交互界面信息密度、色彩、界面布局的脑认知机制。
4) 智能汽车座舱布局及人机交互界面设计评价方法及实例验证（见第 6 章）
首先依据第三章、第四章和第五章中用户的人机交互行为、座舱交互视觉认知和中
控数字界面脑认知机制的研究数据及结果，结合多目标粒子群算法和贝叶斯网络模型，

28
 2 人机交互认知量化研究方法与体系构建

提出针对智能汽车座舱布局和人机交互界面设计评价方法，并通过实例验证智能汽车座
舱人机交互布局和中控数字界面设计评价系统的准确性。

2.7 本章小结
本章主要阐述了智能汽车座舱人车交互中的认知负荷机制、视觉注意机制、脑认知
和人机交互任务复杂度的量化研究方法及智能汽车人机交互设计评价方法，对不同的研
究方法的适用性和实用性都进行了详细的归纳和总结，并提出了基于人机交互行为、脑
电及眼动实验及数学模型的认知量化研究方法体系，智能汽车座舱人机交互认知机制涉
及的相关实验方案设计、行为分析、认知研究也基于该研究体系来进行，本章节为第三、
四、五和六章提供基础理论方法和研究体系支撑。

29
西北工业大学博士学位论文

30
 3 智能汽车座舱人机交互行为分析方法

第3章 智能汽车座舱人机交互行为分析方法

研究智能汽车座舱情境认知与人机交互行为的主要目的是了解目标用户的行为模
式，本章通过实验研究和情境认知模型的构建，为智能汽车座舱布局和中控数字界面人
机交互设计和评价提供理论参考和实验依据。本章基于第 2 章的部分理论和方法，设计
实验研究智能汽车的用户角色模型，分析智能汽车座舱不同人机交互任务的复杂度，构
建人机交互中的情境认知模型，并基于该模型提出了智能汽车座舱人机交互行为分析方
法。

3.1 智能汽车座舱情境认知机制实验研究
为进一步分析智能汽车座舱情境认知的机制和规律，本文以智能汽车真实驾驶状态
下的人机交互活动为背景，通过实验法和访谈法等方法对智能汽车用户的用户角色模型、
人机交互行为模式、情境认知流程、触发与反馈特征等进行研究，为智能汽车座舱情境
认知模型构建提供实验依据和数据支撑。
3.1.1 情境认知实验目的

如图 3-1 所示，智能汽车座舱舱内环境主要包括全液晶仪表、以车载信息娱乐系统
为代表的中控平台、方向盘、抬头显示 HUD、流媒体后视镜和后座娱乐屏等，智能汽车
座舱具备支持语音识别、高清显示、主动安全报警、实时导航、在线信息娱乐、紧急救
援等功能，随着更多新功能加入，智能汽车座舱能提供服务会更加多样，导致人机交互
行为呈现多样化和复杂化趋势。情境认知实验目的是研究智能汽车座舱内用户使用导航、
音乐、电台等以车载信息娱乐系统为代表的中控人机交互界面、方向盘、仪表盘背后的
人机交互行为模式和情境认知机制。

图 3-1 智能汽车座舱软硬件配置示意图

31
 西北工业大学博士学位论文

3.1.2 实验方案设计

为了研究智能汽车目标用户的行为特征及人机交互模式，了解智能汽车用户真实驾
驶状态下的人机交互行为，本文开展了相关实验研究。整个实验主要包含两个部分：第
一部分主要招募特斯拉、蔚来、比亚迪品牌的智能汽车产品的用户，通过用户访谈、用
户画像等方法进行用户建模构建，分析目标用户的群体特征、生活方式等，同时通过深
度访谈法获得用户最真实明确的倾向和反馈，挖掘智能汽车目标用户的需求和产品痛点
等；第二部分通过实境观察数据的总结，分析人车交互相关的情境认知要素和人机交互
特征，确定用户驾驶智能汽车的情境认知过程，为智能汽车座舱情境认知模型提供实验
依据和数据支撑。
3.1.3 实验方法及流程

本文涉及到的实验方法主要包括用户角色模型构建、实境观察法和情境觉知综合评
估方法。用户角色模型指针对目标用户群体真实特征描述构建的综合原型，本文通过真
实用户的深度访谈对目标用户的智能汽车使用情境、目标、交互行为、操作方式等进行
总结归纳，并构建智能汽车用户角色模型，以辅助产品的决策和设计，用户角色模型基
于真实用户的访谈和观察等研究结果而建立。实境观察法指驾驶真实智能汽车情境下的
观察研究，观察智能汽车座舱中不同类型的用户、不同的时间段、完成不同交互任务时
的行为，分析其典型交互行为和具体操作，并发现其中可能涉及的情境因素。情境觉知
综合评估方法[98]（Situation Awareness Global Assessment Technique, SAGAT）要求智能汽
车用户在真实路况下，在某一时刻回答有关自己对智能汽车座舱的认知及评估方面的问
题。SAGAT 提供了一个较简单的心理与模型描述，涉及了有关情境认知的许多要素，使
用这种方法可以获得有关特定情境认知综合水平的大量数据。

招募车型为特斯拉 Model S、蔚来 ES8、比亚迪唐 2 代产品的真实用户 15 名。所有

实验对象要求驾龄在 3 年以上，并且将汽车作为其出行的主要交通工具。共有 16 名真
实用户参与了实验，其中男性 11 名，女性 5 名，因一名用户视频数据丢失，故数据作
废，共获得有效数据 15 个。

整个实验流程包含两个部分，第一部分为通过深度访谈等内容确定用户模型[99]，参
见图 3-2。将与智能汽车用户体验和人机交互相关的问题制作成通用脚本，方便后期数
据收集与整理，然后通过用户访谈、问卷等方法进行用户角色建模（用户画像）构建，
分析目标用户的群体特征、人生理念、生活方式和情感诉求等，同时通过深度访谈法获
得用户最真实明确的倾向和反馈，挖掘目标用户对智能汽车的需求和产品痛点等，这一
部分深度访谈时间为 30 分钟，目的是确定智能汽车用户的深层次特征，明确其在智能
汽车上的主要活动和交互任务。

32
 3 智能汽车座舱人机交互行为分析方法

模型排序 结果达成
模型优先级排序

特征分析与总结 特征总结与 特征提取

模型整合

用户访谈
问卷、焦点 行为模型分析 行为模型与 行为理解 智能汽车
小组等用户 用户特征 用户模型
研究方法

发现行为变量 行为变量与 行为变量理解

访谈主体对应

确定用户属性 对象理解
对象分组

图 3-2 智能汽车用户角色模型构建流程

如图 3-2 所示，本文智能汽车用户角色模型构建具体流程和操作步骤包括以下几个
步骤：

步骤 1：对用户进行访谈和观察并提出问题，在整个过程中收集并研究智能汽车用
户行为、环境、谈话内容等信息，以发现用户的行为、情境和目标；

步骤 2：确定用户属性，根据角色对访谈对象进行分组；

步骤 3：找出行为变量，把每种角色的显著行为列成几组行为变量，一般包括用户
的活动（行为及频率）、对智能汽车的态度、能力、动机、认知等几个方面，并将访谈
主体和行为变量对应起来；

步骤 4：找出重要的行为模型，挖掘不同用户特征中的显著行为模型；

步骤 5：总结各种特征，从用户模型的行为细节中综合/挖掘出用户的目标和其他特
性，将行为模式相同而仅仅是人口统计数据有差异的用户模型合并为一个，进行特征总
结与模型整合；

步骤 6：指定用户模型的类型，对用户模型进行优先级排序，确定主要、次要、补
充和负面用户模型；

步骤 7：进对用户特征及行为进行进一步描述，为最终用户模型选择恰当的照片，
最终完成智能汽车的用户角色模型。

第二部分主要通过实境观察法和情境觉知综合评估，进行无干预真实驾驶情境人机
交互实验和指定任务真实驾驶情境人机交互实验。通过在真实的智能汽车乘用体验场景
下完成人机交互任务，总结和分析智能汽车驾驶与乘坐相关的情境认知要素及人机交互
行为特征，确定用户驾驶智能汽车中的情境认知过程，记录和评估智能汽车座舱用户的
情境认知绩效，获取有关特定情境认知综合水平的大量数据，为智能汽车座舱情境认知

33
 西北工业大学博士学位论文

模型提供实验依据和数据支撑，实验场景可参见图 3-3。无干预真实驾驶情境人机交互
实验要求被试在真实场景下驾驶比亚迪唐 2 代智能汽车 30 分钟，期间测试主持人跟随
车辆并拍摄视频记录，测试主持人不发言；指定任务真实驾驶情境人机交互实验要求被
试在规范特定的驾驶路线下，驾驶比亚迪唐 2 代智能汽车 30 分钟，期间完成指定任务，
其中包括导航、接打手机、音乐选择与切换、电台选择与切换、车载 APP 交互、空调温
度调节、观测仪表盘、语音唤醒、中控屏交互、车上交谈等任务，每个任务完成以后测
试主持人会提出相关问题，并要求用户对各个任务完成的人机交互可用性打分来表征用
户体验的好坏（0-100 分，100 分为最高），拍摄视频记录，驾驶实验完成后通过视频回
放的方式，和驾驶员针对其人机交互行为进行访谈。

图 3-3 智能汽车实境观察法实验现场图

3.1.4 实验结果分析

1) 用户角色模型构建实验结果分析

用户角色模型包含多个组成部分，如身份、状态、目标、技能、任务、关系、需求、
期望、痛点等内容[100]。除了简单的问卷获取其人口学数据外，仍然需要从大量的访谈数
据中挖掘智能汽车用户的共性和差异性，寻找关键特征和行为变量等要素。

与智能汽车用户角色模型相关的情境因素包括个人特征（性别、年龄、成长环境、
家庭状况等）、生活形态（收入、社交、旅游、上网习惯、消费态度等）、学历（大专、
本科、研究生以上等）与职业（工人、工程师、创业者、管理人员、公务员等）；与用
户心理相关的信息获取情境因素包括个人爱好（看书、运动健身、KTV 等）、习惯（用
车习惯、生活习惯等）、情感（情感经历、情感态度等）与星座（对星座的态度、个人
星座等）；与用户价值观相关的情境因素包括对待自己（个性、自我等）、对待他人（包
容、适应、接受、群体意识等）、对待社会问题（关心、蔑视、无所谓等）与对待新兴
事物（接受、包容、切入等）；与智能汽车相关的消费情境因素包括消费偏好（品牌、
价格、品质、购买历史等）、设计偏好（品牌、功能、色彩、品质、价格等）与使用属
性（上班、旅游、代步、接孩子等）；与智能汽车相关的信息获取情境因素包括物理环

34
 3 智能汽车座舱人机交互行为分析方法

境（朋友购买、路上看到过等）和社会环境（朋友推荐、网络自媒体、时事新闻等）。

用户角色模型构建实验主要通过深度访谈的方式进行，前期将与智能汽车用户体验
和人机交互相关的问题结果整理后进行统计分析，在招募的目标用户中，男女比例为 2:1，
所招募用户中结婚的用户占 73%，此外购买智能汽车的目标用户的年龄分布呈现两个梯
队，25-35 岁的用户和 35 岁以上的用户比例较大，而且多为本科以上学历。目标用户的
家庭背景多为从商或工人背景，农村背景较少，而个人职业多为从商、个人创业或为都
市普通白领工作，基本都定居在一二线城市中。如图 3-4 所示，在调研的目标用户人群
中，年收入 10 万以上的人群占得比例较大，有一半以上的用户个人兴趣集中在健身、
看书、美食和游戏，而高雅音乐、KTV、高尔夫和极限运动、歌舞剧等活动的比例均低
于 20%；在常用软件的调研中，微信、微博、抖音和资讯新闻及视频类手机应用对目标
用户而言是常用应用，而陌陌、脉脉及腾讯 QQ 的使用频率均低于 50%；手机品牌调研
中，苹果、华为占较大比例，三星、锤子、OPPO、魅族和其他手机品牌使用较少。

（a）目标用户收入 （b）目标用户个人兴趣

（c）目标用户软件使用情况 （d）目标用户使用手机品牌

图 3-4 智能汽车用户软件及数码产品使用情况

为了进一步了解目标用户特征，通过询问更开放性的问题获得了用户对星座的态度、
情感经历和每年的旅游次数等信息，在调研的目标用户人群中，85%的用户并不对星座
迷信，只有少数用户对星座的态度比较正向；在感情经历（恋爱次数）调研中，93%的
用户感情经历在 4 次以内，63%的用户恋爱次数在 3-4 次，5 次以上恋爱经历的用户很
少，只占 7%；53%的目标用户每年的旅游次数在 3 次以上，而 93%的用户每年都有旅
游经历。

35
 西北工业大学博士学位论文

目标用户对智能汽车的态度和认知中，如图 3-5 所示，数据结果显示目前智能汽车

用户中，有 53%的用户所乘用的第一辆车选择了智能汽车，47%的用户是第二辆或第三
辆选择智能汽车；用户对智能汽车和未来自动驾驶汽车的态度中，87%的用户认为未来
智能汽车和自动驾驶汽车是大的趋势和方向，较少用户认为智能汽车并不看好；在信息
渠道来看，67%的目标用户通过汽车之家、懂车帝、新闻媒体等网络途径获取自己所选
购智能汽车的相关信息，朋友推荐和品牌 4S 店推广获得的信息相对有限；在智能汽车
的使用中，上下班和接送孩子是主要的使用场景，分别占 54%和 32%，旅游和办公的应
用场景相对不多。

（a）智能汽车态度 （b）智能汽车拥有量 （c）信息信息途径 （d）目标用户使用偏好

图 3-5 智能汽车目标用户购车情况统计

在用户决定选择智能汽车作为下一辆代步工具时，如图 3-6 所示，决定购买的因素

中用户体验、产品外观设计和创新性、科技感及人机交互的流畅性比汽车性能、价格、
和品牌更起到决定性作用，目标用户更注重驾驶体验和更新潮更富科技感的汽车；此外，
用户对汽车设计本身有独到的见解，汽车作为工具属性，用户仍然更看重功能的实用性，
在此基础上，设计感更强、更具个性的汽车对目标用户更有吸引力。值得注意的是，目
标用户对品牌的依赖性并没有很强，只有 10%的用户认为对品牌形成了一定依赖，而这
种依赖关系对消费者的购买意愿仍然不起决定性作用。

（a）智能汽车购买要素 （b）智能汽车用户对设计的认知

图 3-6 智能汽车目标用户购车情况统计

36
 3 智能汽车座舱人机交互行为分析方法

智能汽车用户角色模型的构建，有助于针对用户模型中表现的特征，充分从用户的
角度去思考智能汽车的设计，从而避免以设计师认知和经验为中心。由访谈的数据结果
来看，智能汽车目标用户作为访谈主体，可以从各种数据特征中找出其行为模型和行为
变量，通过访谈数据可以看出，智能汽车目标用户多为即将结婚或已经结婚的中高收入
人群，年龄多分布在 30 岁以上，且学历普遍较高，家庭背景多为从商或工人背景，有
一定经济基础，个人职业多为从商、创业或都市普通白领；目标用户的兴趣主要集中在
健身、看书、旅游和游戏中，最常用手机软件包括微信、微博、抖音和资讯新闻类及视
频类 app，苹果和华为是主要的手机品牌，目标用户普遍对智能汽车和高科技非常感兴
趣，认为自动驾驶汽车是未来的方向，设计和用户体验对汽车的购买决策影响很大。

除了量化结果以为，更加开放性的访谈结果显示目标用户还具有如下特点：个性不
激进，但有自己的处世哲学和价值观，且不轻易从众，对外界人或事物更具包容性，同
时对自我要求更高，用更温和的态度对待周围的一切；渴求回归到家庭，希望享受家庭
的温馨和甜蜜，但对婚姻持谨慎态度，且仍然坚信爱情，同时对父母和朋友保持感恩的
心态；更倾向于创新和技术驱动，且能提供良好用户体验的汽车品牌；已经在某一领域
有了很深的积累，希望所消费的汽车品牌能够使自己产生活力和动力，而不是更保守和
传统的汽车品牌；愿意为自己的兴趣付出金钱和时间，更倾向于通过不断学习提高自己，
愿意花费金钱和时间提升自我；对智能汽车的品牌依赖性较低；目标用户人群逻辑性较
强，接受新事物能力较高，非常清晰的知道自己的消费水平，无论是电子产品还是汽车，
品牌的依赖性较低，对国产品牌抱有希望；认同设计对产品的作用，相信设计的附加价
值，对技术和设计有自己的见解，认同苹果、谷歌、微软等公司的设计哲学。

通过问卷和深度访谈，结合智能汽车本身的属性，在此目标用户群中选取典型人物，
并综合其人物角色的关键特点和属性，构建典型人物的用户角色模型，如图 3-7 为根据
上述结果所确定的用户角色模型。

图 3-7 智能汽车用户角色模型（图片来源于网络）

37
 西北工业大学博士学位论文

智能汽车用户角色模型并不是一直不变的，根据智能汽车的发展和品牌需要，可以
在合适的时机之前对得到的模型进行新一轮的修正和改进。修正的过程和上述流程相同，
需要进行新一轮用户模型的迭代。智能汽车用户角色模型构建对智能汽车人机交互行为
分析和认知机制的研究起到关键性作用，对智能汽车座舱的设计受众有了更明确地定位，
有助于智能汽车的品牌推广和延伸。

2) 无干预真实驾驶情境人机交互实验结果分析

根据对智能汽车乘坐的实境观察发现，在整个实验过程中，被试都先后完成了导航、
多媒体播放、车载 APP 交互、空调温度调节、语音唤醒、中控屏交互等典型的任务操
作。从用户进入座舱的时刻起，整个驾乘活动由几个不同的行为阶段组成，包含导航路
径安排、空调温度调节、中控屏幕交互、多媒体交互、车载 APP 交互、语音交互、方向
盘交互、数字仪表盘交互等，其中导航路径安排和空调温度调节是用户进入车内首先要
进行的交互操作，而中控屏幕交互、多媒体交互、车载 APP 交互、语音交互、方向盘交
互、数字仪表盘交互等行为阶段可以交替和重复进行。

不同的人机交互行为中典型的宏观任务型操作对应不同的行为阶段，主要包括有计
划（路线规划、驾驶计划等）、寻找（寻找特定操作需要进行交互的界面、按钮等）、
查看(包括查看汽车的状态、外部环境、导航和仪表盘等)、等待（等待命令的执行和特
定任务的完成）、调换（更换路线、更换任务、更换交互方式等）、确认（明确操作任
务和下一步动作）等。

用户在进入汽车以后，会对路线进行规划、制定驾驶计划等，这一行为阶段中用户
没有过多复杂的动作，而是在用户大脑中进行，这一阶段属于计划阶段。

用户在制定好驾驶计划以后，会根据自己的驾驶习惯进行下一步操作，比如打开导
航、多媒体播放、车载 APP 交互、空调温度调节等，需要寻找相应的命令交互界面完成
操作，这一阶段属于寻找阶段。

汽车驾驶过程中，会反复查看外部环境、汽车的状态、导航和仪表盘等界面，会根
据自己的需求查看不同的车内外的环境和软硬件界面，这一阶段属于查看阶段。

汽车驾驶过程中，用户发出特定任务指令，如语音导航、语音电话等指令时，需要
等待智能汽车进一步反馈进而做决策，等待的时间对用户体验影响很大，这一阶段属于
等待阶段。

汽车驾驶过程中，需要在不同交互任务中反复调换，如更换路线、更换多媒体任务、
更换交互方式等，用户会根据自己的需求进行适当的操作任何转换，这一阶段属于调换
阶段。

驾驶员明确了操作任务和下一步动作后，很长一段时间内会维持不变，这一阶段属

38
 3 智能汽车座舱人机交互行为分析方法

于确认阶段。

智能汽车用户在汽车行驶的过程中，典型的交互操作有触摸(触摸屏幕形成交互)、
语音(通过语音交互手段完成各种任务)、滑动(通过上滑、下滑和左右滑动等方式与中
控大屏进行交互)、按动（智能汽车方向盘仍然保留少数物理按钮，需要按动进行触发）、
输入（输入地址、文本搜索等）等。6 个不同的行为阶段和具体的操作行为与智能汽车
本身的状态相对应，在整个驾驶过程中，汽车的主要状态包括启动、行进、停止、加速
减速等状态，为了更清晰的描述不同状态下、不同阶段的人机交互操作行为，本文将用
户驾驶智能汽车的过程以时间维度表示，参见图 3-8，可以看到不同汽车状态、不同行
为阶段分别对应不同的人机交互操作，人机交互行为受用户目的和计划驱动，直到某个
特定人机交互任务完成。

计划

理解与寻找

需求确定 指令发布
任务更换
状态查看 反馈等待

任务确认

图 3-8 智能汽车座舱人机交互六个行为阶段关系

智能汽车座舱中用户的交互行为是人-车-环境-信息系统的最重要部分，是研究智
能汽车情境认知机制的核心要素。通过实验研究发现，不同行为阶段不同人机交互任务
会表现出不同的活跃情境因素，用户的某些操作提供了触发这些活跃的情境因素的规则
和时机，从面触发了情境认知的行为。人机交互行为本质上可以被看作是一种基于不同
阶段和任务情境的“有目的”的触发与反馈活动。

实验结果表明，在不同的行为阶段，影响驾驶员人机交互行为的情境因素与用户、
智能汽车和环境相关。本文将整个驾驶活动下涉及的人机交互情境要素总结为用户、环
境和任务情境。用户情境因素包含智能汽车目标用户的生活态度、个人特征、消费偏好、
性格要素等因素，这些因素可以通过建立的智能汽车用户模型得到，用户模型反映的用
户特征会反馈到智能汽车的人机交互行为中，是触发用户某些特定交互行为的关键要素；
任务情境因素是与智能汽车座舱人机交互相关的情境因素，无干预真实驾驶情境人机交
互实验中，用户的整个任务触发因素是随机的，用户往往无意识的去完成某些特定任务，
任务完成后更多用户会回归到上一个自然状态；环境情境因素包含与驾驶活动相关的物

39
 西北工业大学博士学位论文

理环境和社会环境等，环境因素往往影响汽车的状态，基于汽车的状态，会触发用户相
应的人机交互行为，来完成某些特定的操作任务。

在整个驾驶实验中，由 6 个不同阶段的 5 个人机交互行为数据分析得到：

计划阶段智能汽车处于停止状态，用户的触摸交互和输入是主要的人机交互行为，
在无意识状态下，用户会在中控大屏上随意触控不同车载应用，这种行为与人打开手机
后的无意识操作行为类似。寻找阶段用户会使用语音交互方式与智能汽车进行交互，根
据自己的驾驶习惯找到信息入口，语音交互、触摸和输入在这一阶段是主要的交互方式。

查看阶段驾驶员在驾驶过程中反复查看外部环境、汽车的状态、导航和仪表盘等界
面，用户在专注的驾驶状态下，根据自己的驾驶习惯找到信息入口，语音交互、触摸和
输入在这一阶段是主要的交互方式。等待阶段驾驶员在智能汽车驾驶过程中，用户发出
特定任务指令，如语音导航、语音电话等指令时，语音交互是主要的交互行为，然而在
驾驶状态下，语音交互仍然有一定的延迟性，用户随后会大量使用物理按键进行交互。

调换阶段智能汽车用户在多个交互任务中调换，如更换路线、更换多媒体任务、更
换交互方式等，这一阶段用户多产生语音、触控等交互行为。确认阶段，驾驶员明确了
操作任务并作出决策后很长一段时间内产生较少的交互行为，多会用方向盘上的物理按
钮完成某些具体操作，较少使用如输入、语音等操作行为。

如图 3-9 所示，在智能汽车用户的人机交互具体操作行为中，语音交互、触控和物
理按键操控仍然是主要的交互方式，为了最大限度保证驾驶安全，用户已经能够有意识
的使用语音交互完成某些指令，但是因为使用传统汽车的行为习惯，物理按键仍然是下
意识的人机交互行为，触屏操作本身会增强用户的分心，在驾驶过程中，用户会相对谨
慎的使用触屏操作，而在汽车停止（启动或等车等场景）时候，用户会倾向于选择和中
控车载屏幕进行交互，完成某些具体任务。

（a）不同阶段触发的人机交互行为 （b）触发人机交互行为汇总

图 3-9 智能汽车座舱人机交互行为分析

40
 3 智能汽车座舱人机交互行为分析方法

3) 指定任务真实驾驶情境人机交互实验结果分析

在特定的驾驶路线下，本次实验要求被试驾驶比亚迪唐 2 代智能汽车形式 30 分钟，

期间完成指定的任务，每个任务完成以后测试主持人会提出相关问题，并拍摄视频记录。
根据参与者对特定场景的描述和访谈结果，分析被试与智能汽车人机交互过程中，能感
知到的情境因素及其触发规则和后续动作。为了保证得到有效的实验结果，本文将导航、
接打手机、音乐选择与切换、电台选择与切换、车载 APP 交互、空调温度调节、观测仪
表盘、语音唤醒、中控屏交互、车上交谈等任务的时间进行限定，如果在限定时间内不
能有效完成该任务，则该任务算作失败，在视频回放和访谈过程中，会着重让用户阐述
失败的具体原因及心理活动。

实验结果分析 1：驾驶过程中不同任务的活跃情境因素完全不同。本文将整个将驾
驶过程中发生的人机交互活动分为不同的行为阶段，从交互任务角度来看，单个任务仍
然遵循 6 个行为阶段（计划、寻找、查看、等待、调换、确认）的划分。在视频回顾的
深度访谈中，智能汽车用户会重现完成某个操作任务的想法和心理状态，访谈结果发现，
不同的操作任务对应不同的行为阶段和人机交互行为，被试用户会结合自身知识、经验
和认知记忆、环境等信息进行理解和决策。通过此实验，验证了单个不同任务中，在不
同行为阶段的活跃情境因素完全不同，且活跃的情境因素分别与智能汽车用户、特定任
务目标和所处环境有密切关系，此外不同阶段被试用户所利用的情境因素也不同。

如表 3-1 所示，在导航、接打手机、音乐选择切换、车载 APP 交互、中控界面随机

交互和车上交谈等人机交互任务，用户人机交互情境感知的过程中，用户的个人习惯、
偏好、性格特征等用户因素对特定任务的完成影响较大，在这一过程中，用户所形成的
认知经验、长久记忆、个性等发挥作用，从而对用户行为产生影响；在导航、音乐选择
切换、电台选择切换、空调温度调节、随机语音交互等人机交互任务中，任务情境因素
仍然发挥主要作用，属于任务驱动型交互行为；而接打手机、中控界面随机交互等人机
交互行为环境情境因素是用户比较活跃的情境因素，用户反馈结果分析认为，用户需要
分配环境的注意力到复杂的中控屏幕交互和解答电话中。
表 3-1 智能汽车座舱不同任务的活跃要素分析

活跃情境因素 用户利用的情境因素 主要触发行为阶段

导航 用户 任务 用户 环境 计划 寻找 查看 确认

接打手机 用户 环境 任务 计划 查看 等待 确认

音乐选择与切换 用户 任务 任务 环境 寻找 查看 调换 确认

电台选择切换 任务 任务 环境 计划 寻找 调换 确认

41
 西北工业大学博士学位论文

车载 APP 交互 用户 环境 计划 寻找 查看 确认

空调温度调节 任务 环境 查看 等待 调换 确认

随机语音交互 任务 用户 计划 等待 调换

中控界面随机交互 用户 环境 用户 环境 寻找 查看 调换

车上交谈 用户 环境 计划 等待 确认

在不同人机交互任务过程中，活跃情境因素和用户利用的情境因素并不完全一致。
如导航任务的活跃因素为用户和任务情境因素，而用户利用的情境因素为用户和环境情
境因素，这是因为用户在完成导航任务的时候仍然需要分散自己的认知注意到周围环境
和车内座舱环境，保证驾驶安全，此外，接打手机、音乐选择与切换、电台选择切换、
车载 APP 交互、空调温度调节和随机语音交互，活跃情境因素和用户利用的情境因素也
不完全一致，是因为活跃情境因素更依赖用户和任务的特殊性，而为完成特定任务，需
要利用环境情境因素；除了拨打手机和车载 APP 交互的任务之外，用户都需要利用环境
相关的情境因素完成特定任务，是因为在拨打手机的过程中，更多使用语音交互，而随
机语音交互也不需要改变原来的状态，较少需要分散和转移注意力到周围环境。

不同人机交互任务的主要触发行为阶段也各不相同。导航、接打手机、电台选择切
换、车载 APP 交互、随机交互和车上交谈等人机交互任务用户需要在操作前进行计划和
构思，音乐选择与切换、空调温度调节和中控界面随机交互任务用户更倾向于通过自我
的感知和感觉来完成操作；更多依赖语音交互的操作如电台切换、随机语音交互等操作
没有触发查看的行为，除了随机语音交互和中控界面随机交互行为不需要明确的目标进
行确定操作任务外，用户都需要较为明确的确认行为，这是因为用户只有在确定指令和
操作的有效性以外，才会完成下一个操作任务。

实验结果分析 2：智能驾驶过程中不同任务的失误率与人机交互的可用性分数成反
比。在智能汽车用户实验过程中，不同人机交互任务中用户总会出现各种各样的失误导
致误操作或者任务失败的情况，由实验数据分析可得，在音乐切换和车载 APP 交互、空
调温度调节、电台切换和中控界面随机交互的任务中，用户的失误次数相对较少，而导
航、接打手机、和随机语音交互等任务的失误次数较多，其原因在于前者用户多在中控
人机交互界面中完成，用户会有意识的降低车速，完成特定任务，期间会通过物理按键
结合触屏操作的方式完成，用户不需要复杂的认知记忆和推理就能完成任务，用户理解
与决策也较易完成；导航、接打手机、和随机语音交互等任务的失误次数较多是因为用
户已经习惯通过语音交互方式完成此类任务，然而因为导航任务、接打手机和随机语音
交互任务除了语音交互本身外，仍然需要用户分配注意力到中控数字界面，此外车内外
的环境情境因素仍然对用户认知产生影响，在这种情况下，导致此类任务的失误率大大

42
 3 智能汽车座舱人机交互行为分析方法

提升。如图 3-10 所示，完成特定任务的失误次数和该任务的人机交互可用性评价分数成

反比，用户对智能汽车的语音交互和数字界面交互两个通道的融合并不满意，被试驾驶
员感知的用户体验较差，而只需要单个通道完成的操作任务，用户的满意度较高。

任务失误次数与可用性对比
20
15
10
5
0

失误次数 可用性

图 3-10 智能汽车座舱不同任务失误率与可用性分析

实验结果分析 3：用户的认知记忆和操控经验与智能汽车座舱人机交互的不一致，
导致人机交互行为的失误产生。用户使用智能设备如手机、电脑、平板和传统汽车的经
验使用户形成了比较强化的认知记忆，在使用智能汽车的过程中，用户更倾向于将记忆
和经验转移到智能汽车的人机交互中。在 15 名被试驾驶员中，有 11 名用户认为越符合
其手机和电子设备操作习惯的智能汽车交互方式其学习成本越低，交互设计的可用性越
强。用户在完成单个人机交互任务时，寻找、查看和决策所占的时间比重较大，而在这
三个阶段中，中控数字界面交互和语音交互是主要的交互行为，用户会将固有或相似经
验、肌肉记忆、工作记忆和长期记忆中提炼的几何意义、文字意义、图形意义和语义逻
辑转移到智能汽车的语音和数字界面交互中，图式理解和语音交互语义理解的认知偏差
导致用户的操作失误，从而做出错误的决策或发出错误的指令。

用户的认知记忆和操控经验与智能汽车座舱人机交互的不一致，是导致人机交互操
作失误产生的根本原因，然而在深度访谈中发现，用户普遍更倾向于在原来认知经验和
长期记忆的基础上，通过减少触控人机交互频次的方式，更多依靠语音通道完成操作指
令，在语音交互不顺畅的情况下，用户会更加谨慎的使用中控部位比较大的触摸屏。

目前智能汽车的人机交互通道中，语音和触控两个通道并没有很好地融合，更多是
因为底层技术的不成熟，这是导致用户产生犹豫和反复态度的根本原因；此外，因为不
同任务的触发规则和反馈完全不同，用户不得不在语音、触控、物理按压等多个通道切
换，而不是由用户主观的选择决定，这也是导致用户操作失误产生的原因之一；智能汽
车座舱不同的人机交互任务中其本身的复杂度也不同，高复杂度的人机交互任务失误率
越高；用户在某些人机交互任务中产生操作失误以后，会对其后续的人机交互行为产生
影响，这种影响会反作用于用户对智能汽车的人机交互认知，并产生持续的影响。

43
 西北工业大学博士学位论文

3.2 智能汽车座舱人机交互任务复杂度分析方法
上文实验结果显示，智能汽车座舱人机交互行为复杂度直接影响驾驶员完成特定任
务的认知负荷，进而影响智能汽车驾驶活动的用户体验，智能汽车座舱不同的人机交互
任务中其本身的复杂度也不同，同时越复杂的任务需要通过越多的认知训练来强化新用
户的认知记忆。为了对智能汽车中人机交互行为进行定量化的研究，提出了基于熵的智
能汽车座舱人机交互任务复杂度测量方法，通过此方法可以确定影响智能汽车座舱内部
人机交互复杂度的具体任务指标的权重分布以及总体人机交互复杂度情况，本节着重阐
述智能汽车座舱人机交互复杂度量化流程与方法。
3.2.1 人机交互任务复杂度量化指标确定

在汽车座舱的多种复杂的人机交互任务中，可以通过任务复杂度的表征因子来描述
座舱人机交互的任务复杂度并确定其关键指标[96]，本文将智能汽车座舱人机交互复杂度
指标概括为交互任务本身逻辑结构的复杂程度、完成人机交互所需的动作数量、人机交
互时管理界面任务信息的复杂程度、人机交互输入因素的复杂度、人机交互所需要的知
识等级和认知量、人机交互布局及反馈复杂性等七个量化指标。根据情境认知机制实验
结果，选取 9 个座舱内的主要人机交互任务（导航、接打手机、音乐选择与切换、电台
选择与切换、车载 APP 交互、空调温度调节、观测仪表盘、语音唤醒、中控屏交互），
进行 7 个维度的复杂量化与分析。其中具体复杂度量化指标内容及含义如下：

1) 智能汽车座舱人机交互任务逻辑结构的复杂程度 LC：在数字化座舱的人机交互
系统中，驾驶员除了基本的驾驶任务以外，还包括单个交互任务如导航、接打手机、
音乐选择与切换、电台选择与切换、车载 APP 交互、空调温度调节等任务，任何单一
任务的逻辑结构的复杂度将直接影响驾驶员的认知绩效和座舱用户体验的流畅性。

2) 智能汽车座舱单个人机交互任务所需的动作数量 AC：在数字化座舱的人机交互
系统中，驾驶员完成某一项特定的任务需要的动作数量，也是表征人机交互任务复杂
度的关键要素，可以通过统计学获得相关数据。

3) 智能汽车座舱人机交互界面中的管理界面信息复杂度 AIC：智能数字化座舱中
的界面大多为触控数字界面，用户与汽车交互的首次操作大多需要从管理界面进入，
管理界面的复杂程度会影响后续操作任务的进行。

4) 智能汽车座舱人机交互输入的复杂度 IC：在人车交互过程中，不同的输入方式
如语音、手势、触控、物理控制等方式对用户输入行为的精度和内容要求不同，输入
因素的复杂度越高，用户完成某项任务需要花费的时间越多，可用性和易用性越差。

5) 智能汽车座舱人机交互所需要的知识等级和认知量 NCC：数字化座舱的交互任
务所涉及的很多操作都集成在数字交互界面中，大量的操作任务依赖多样的图标、文

44
 3 智能汽车座舱人机交互行为分析方法

本来传达其意义和内涵，较传统系统而言更加复杂，学习成本较高，此外，语音交互
的上下文语义理解也需要不同等级的知识，智能汽车座舱中人机交互所蕴含的知识量
很大，对驾驶员认知量要求变高。

6) 智能汽车座舱人机交互数字界面布局的复杂程度 ILC：无智能汽车座舱中的数
字界面承载着复杂的信息显示和交互作用，人机交互界面的布局本身的复杂性，会影
响用户的反应和决策时间，进而影响人机交互的可用性和易用性。

7) 智能汽车座舱人机交互反馈复杂度 FC：无论是数字界面还是语音、手势等交互
方式，信息的整合和网联化的趋势使得输入输出信息流也变得越来越复杂，多种交互
方式反馈的复杂性，都会对整个交互的流畅程度和用户体验带来很大影响。
3.2.2 基于熵的智能汽车座舱人机交互任务复杂度量化方法
1948 年，Shannon 首次在其论作《通信的数学理论》中将熵的概念引入到信息论中
来表示信息量[101]，熵从侧面可以表征信息的复杂程度。信息熵的公式如下：
N
H =- P
（Bi）log 2 P
（Bi） (3-1)
i=1

H 为信息熵，N 为信息源的个数，Bi 为第 i 个信息源，P(Bi)为第 i 个信息源出现的

概率。熵值法属于客观赋权方法，在人机交互过程中，各个复杂度指标的相对变化程度
对系统整体的影响可以决定相关指标的权重，通过计算可以得到各个指标及总体指标的
综合复杂度。

智能汽车座舱的人机交互系统是多个交互通道、多种交互任务融合的复杂系统，涉
及的操作较传统系统而言更加复杂，这对用户的知识水平和认知水平提出了更高的要求。
智能汽车座舱的人机交互任务复杂度本质上受座舱内部人车交互信息的复杂程度直接
影响，本文提出基于熵的智能汽车座舱人机交互任务复杂度量化方法，将熵的概念引入
智能汽车座舱人机交互任务复杂度分析中，通过熵值法对智能汽车座舱中的人机交互复
杂度进行量化研究，智能汽车座舱的人机交互复杂度熵值越大，则代表其人机交互信息
复杂度较高，其人机交互任务复杂度越高。

设共有 m 项复杂度指标，n 个人机交互任务，选取一定数量的专家和智能汽车真实

用户组成的评价小组对 n 个人机交互任务的ｍ项复杂度指标分别进行评分。统计专家打
分的原始数据，构建的智能汽车座舱人机交互任务复杂度评价指标原始数据矩阵用 A 表
示，其中，a𝑖𝑗 表示第 i 个人机交互任务第 j 项人机交互复杂度指标的数值，i 的取值范围
是[1,n]，j 的取值范围是[1,m]。指标值a𝑖𝑗 的数值差距越大，则该指标在综合评价中所起
的作用越大；根据熵值法原理，智能汽车座舱的复杂度熵值求解主要包括以下步骤：

45
 西北工业大学博士学位论文

步骤 1：评价小组成员对不同复杂度指标打分，形成原始数据矩阵 A：
a11 a12 ... a1n 
a a ... a 
A   21 22 2n 
(3-2)
... ... ... ... 
 
a m1 a i2 ... a mn 

步骤 2：复杂度指标归一化处理，将不同维度指标进行归一化。由于人车交互过程

中，各项任务的复杂度指标的计量单位不统一，因此在用它们计算综合指标前，需要进

行标准化处理，把各指标的绝对值转化为相对值，此外，对于正向负向指标需要采用不

同的算法进行数据归一化处理。

正向指标归一化公式为：

a ij  min{a1j ,..., a nj}

a'ij  (3-3)
max{a1j ,..., a nj}  min{a1j ,..., a nj}

负向指标归一化公式为：

max{a1j ,..., a nj}  a ij

a'ij  (3-4)
max{a1j ,..., a nj}  min{a1j ,..., a nj}

为了计算方便，归一化处理后的数据仍记为a𝑖𝑗 。

步骤 3：计算第 j 项复杂度指标下第 i 个人机交互任务复杂度值占该指标的比重：

a ij
Pi j = n
（i=1,...,n, j=,...,m） (3-5)
a
i=1
ij

步骤 4：计算第 j 项复杂度指标的熵值为：
n
e j  － K  Pij ln( Pij ) （i=1,...,n, j=,...,m） (3-6)
i =1

1
公式中 K= ，第 j 项复杂度指标的熵值 ej≥0。
ln（n）

步骤 5：计算复杂度熵的差异系数，表征其冗余度：

d j  1 ej （j=1,...,m） (3-7)

46
 3 智能汽车座舱人机交互行为分析方法

步骤 6：计算各个复杂度指标的权重：
dj
wj= m
（j=1,...,m） (3-8)
d
j=1
j

步骤 7：计算各个人机交互任务的综合复杂度熵值得分：
m
Si = w j .a ij （j=1,...,m） (3-9)
j=1

公式 3-9 中的a𝑖𝑗 为归一化处理后的数据，通过 3-9 公式可以求得智能汽车座舱不同

人机交互任务的复杂度熵值综合得分。

3.2.3 智能汽车座舱人机交互任务复杂度实例分析

根据研究问题的具体内容，选取由 10 位专家（汽车人机交互专业和设计专业副教
授以及 5 年以上用户体验从业者）和 10 位智能汽车真实用户组成的小组，对某品牌智
能汽车座舱 9 个主要交互任务下的 7 个复杂度指标进行打分。为了充分将专家和用户两
类群体的体验和经验转化为量化数据，根据熵值法的思想，将 LC、AC、AIC、IC、NCC、
ILC 和 FC 等 7 个指标作为复杂度评价指标，其中 AC 和 NCC 由人机交互动作数量和知
识认知量表示，其中表征复杂度等级用数量极少、数量少、数量一般、数量较多、数量
极多来表示，LC、AIC、IC、ILC 和 FC 表征复杂度复杂度等级中用极其不复杂、不复
杂、一般、很复杂和极其复杂 5 个复杂度等级表示，七个指标的 5 个等级分别与标度 1、
3、5、7、9 对应，复杂程度（动作数量和知识量）在各等级之间用 2、4、6、8 表示，
20 名小组成员对 9 个主要交互任务下的 7 个复杂度指标进行复杂度等级打分，形成原
始数据矩阵 A。

由用户和专家的复杂度指标赋值可以得到评价指标矩阵 A，通过公式 3-5 可求得初

始权重矩阵 Pij，再利用公式 3-6、3-7 和 3-8 求得 7 个复杂度指标的权重值，见表 3-2。
表 3-2 七个复杂度指标的权重分数
复杂度 AC AIC IC NCC ILC FC
LC
指标
权重
0.203 0.103 0.176 0.023 0.212 0.192 0.091
分数

根据公式 3-9 计算出 9 个人机交互任务的不同指标的复杂度熵值和综合熵值，如表

3-3 所示为不同复杂度指标下的复杂度熵值结果。
表 3-3 人机交互行为复杂度熵值
复杂 人机交互任务复杂度熵值
度指
标 接打 音乐选 电台选 APP 交 空调调 观测仪 语音交 中控屏
导航 手机 择切换 择切换 互 节 表盘 互 交互

47
 西北工业大学博士学位论文

LC 1.938 1.639 1.174 1.173 1.461 3.732 2.733 3.563 2.375

AC 3.073 1.326 3.726 2.471 2.354 2.439 3.231 1.239 2.435

AIC 2.423 2.147 2.571 2.826 3.439 2.965 3.536 0.435 1.973

IC 1.232 1.635 1.872 2.376 1.183 3.641 0.363 3.957 0.279

NCC 1.435 1.219 2.693 1.414 2.965 3.741 2.179 3.373 0.53

ILC 2.934 2.723 1.436 1.368 2.348 3.572 3.663 0.121 3.318

FC 1.171 1.011 3.231 2.435 1.752 3.125 3.648 2.325 1.358

IVIC 2.712 1.513 2.004 1.494 2.010 3.421 2.732 2.958 2.473

综合 2.712 1.513 2.004 1.494 2.010 3.421 2.732 2.958 2.473

熵值

将图表中的数据进一步可视化，如图 3-11 所示，可以看出智能汽车座舱不同的人机

交互任务的复杂度指标值不同，单个人机交互任务的复杂度也不同。其中，空调调节的
逻辑结构的复杂程度较高，音乐选择与切换所需的动作数量较多，仪表盘数字界面任务
信息的复杂程度较高，而音乐选择切换和语音交互的输入因素相对其他任务要更复杂，
空调调节和语音交互过程中所需要的知识等级和认知量较大，用户的学习成本较高，整
个中控数字界面、仪表盘和空调调节界面的人机交互布局更复杂，而仪表盘及空调调节
的人机交互过程中，用户对接受的反馈并不满意。在 9 个人机交互任务中，空调调节的
人机交互复杂度最高，而电台选择与切换的复杂度最低。

图 3-11 人机交互行为复杂度熵值

在导航任务中，因为不同用户可能需要通过语音、视觉结合中控屏地址输入等多种
方式结合才能最终完成该任务，用户需要的动作数量较高，而且不能将以往的经验很好
的传递到导航任务中，导致导航人机交互任务本身的复杂的较高，通过复杂度熵公式得
出的最终复杂熵值为 2.712。

48
 3 智能汽车座舱人机交互行为分析方法

拨打电话人机交互任务的复杂性较低，主要是因为用户在接打电话的过程中多依赖
语音操作，而且误操作较少，但是在电话接打电话过程中，用户仍然需要注视中控屏中
的电话界面，仍然需要分散少量的注意力到触屏操作才能完成电话接打任务，通过公式
得出的拨打电话人机交互任务，最终复杂熵值为 1.513。

音乐选择与切换任务中，用户在选择与切换过程中所需的动作数量较多，而且任务
执行过程中的反馈并不清晰，该任务用户的个人喜好发挥作用，对音乐个人偏好导致音
乐选择与切换带有目的性，当用户通过多个操作不能有效获取自己喜欢的音乐之后，感
知的人机交互复杂度值就会偏高，通过公式得出音乐选择与切换任务，最终的复杂熵值
为 2.004。

电台选择与切换的复杂度最低，通过公式得出的最终复杂熵值为 1.494，与音乐选
择与切换不同，电台选择与切换并不带有较强的目的性，并且用户通过语音交互方式，
在一次动作下就能完成该任务，不需要更多的认知量和经验、记忆等。

车载 APP 交互中数字界面主界面任务信息的复杂程度较高，专家和用户普遍认为
车载 APP 提供的信息需要与手机、平板、电脑等呈现的内容不同，呈现方式应该也有区
别，通过公式得出车载 APP 交互最终复杂熵值为 2.010。

空调调节任务的复杂度程度最高，最终的复杂熵值为 3.421，经过分析发现，完成
空调调节任务的逻辑复杂度、需要的动作数量、输入因素的复杂度、和用户需要的知识
等级和认知量、以及人机交互布局复杂度及反馈复杂性指标的熵值都很高，原因在于传
统的汽车的经验和认知记忆与空调触屏和语音控制操作方式完全不同，而且空调界面的
层级较多，用户在短时间内并不能同时处理单个任务下的多个子任务，导致用户的误操
作较多，用户的满意度较差。

仪表盘的查看属于特殊的人机交互行为，用户没有信息的输入，只是被动的接受信
息，仪表盘的人机交互布局相对复杂，用户并不能在较多的图标中迅速获取最有价值的
信息，此外，仪表盘交互过程中，用户对接受的反馈并不满意，用户需要更积极的反馈
来帮助其获取有效信息，观测仪表盘任务最终的复杂熵值为 2.732。

随机的语音交互对话任务最终的复杂熵值为 2.958，在复杂度指标中，语义的逻辑
复杂度较高，用户的语音输入相对复杂，仍然需要一定的知识学习和较多的认知量才能
顺畅的完成该操作，语音交互除了语义逻辑性外，对车内外的环境、交互对象的识别等
都存在一定问题，很容易导致随机语音交互出现误操作。

中控屏交互过程中，用户和专家认为整个屏幕的人机界面交互布局过于复杂，用户
车载 APP 的管理、车载任务的激活等都需要较多的知识量，而且用户智能设备使用经验
并不能很好的转移到中控屏的人机交互中，导致产生较多的失误，中控屏交互最终的复

49
 西北工业大学博士学位论文

杂熵值为 2.473。

从人机交互任务复杂度熵权算法的结果来看，七个复杂度指标中，人机交互任务逻
辑结构、人机交互所需要的知识等级和认知量和人机交互数字界面布局的复杂程度三个
复杂度指标对智能汽车座舱人机交互任务复杂度影响较大，需要设计师重点关注；在 9
个人机交互任务中，中控空调调节任务复杂程度最高，其次是语音交互、仪表盘交互和
中控导航的复杂度较高，说明上述四个人机交互任务的用户使用复杂度较高，在汽车中
控和仪表盘的交互界面设计中应该重点关注。智能汽车座舱人机交互任务复杂度熵权算
法能够帮助汽车内外饰和人机交互界面设计师有效规避设计复杂度过高、用户学习成本
过高以及界面可用性差的风险，在设计前期对上述人机交互任务和复杂度指标相关的设
计问题进行提前干预。

3.3 智能汽车座舱情境认知模型与人机交互行为分析方法
3.3.1 智能汽车座舱人机交互情境认知系统存在的问题

通过上述实验研究和人机交互行为复杂度分析，搭建了智能汽车座舱人机交互情境
认知模型，研究了智能汽车座舱情境认知与交互的一般流程，探索了情境感知与智能汽
车座舱人机交互行为的结合方法和影响机制，通过前文情境认知实验可以发现，目前智
能汽车座舱人机交互与情境感知系统存在的问题可概括为：

1) 情境感知信息的不对称

智能汽车依靠各种传感器，获取车内外的情境并推送给用户，然而，智能汽车可以
获取的情境信息有限，且数量与表现形式与人的情境获取、认知、记忆和理解方式存在
着巨大差异，感知信息的不对称导致用户对智能汽车座舱人机交互与情境感知系统产生
不信任感，直接影响对智能汽车的用户体验。

2) 情境信息的解释与用户的认知解释方式不一致

智能汽车依靠传感器获取情境信息并机器读取并解释成可被理解的含义，然而机器
解释与用户认知的信息并不完全一致，机器往往只能反馈具体的数据，而座舱中的用户
往往将数据与感性的体验联系起来。

3) 智能汽车座舱情境感知方式和时机影响用户体验

智能汽车在合适的时机不能推送合适的服务，会导致用户对智能汽车及系统的不信
任，也会间接干扰用户的驾驶过程及任务完成度，会大大降低驾驶效率，甚至可能带来
安全问题，导致用户体验较差。

本文基于用户的情境认知特性和人机交互特征，提出智能汽车座舱人机交互情境认
知模型，更准确地描述智能汽车用户人车交互过程中的情境认知机制。

50
 3 智能汽车座舱人机交互行为分析方法

3.3.2 智能汽车座舱人机交互情境认知模型

由情境认知实验可以发现，智能汽车座舱人机交互中的情境觉知由目标用户模型驱
动，目标用户具有特有的目标、动机、知识经验、用户属性和能力，在特定的任务和环
境情境下，在相应的时间和空间内对环境下，可以实现对各组成成分的感知、理解，进
而可以预测后续可能的变化状况，最终通过短时的工作记忆刺激和长时记忆的重塑，实
现车内人机交互任务情境的识别与匹配，推动驾驶员采取相应对策完成相关的人机交互
任务。基于情境认知实验结果，本文提出智能汽车座舱人机交互情境认知模型，模型可
参见图 3-12。
反馈与影响

情境因素 情境觉知流程 人机交互行为 智能汽车座舱

用户情境 软件
感知 理解 预测 规划 决策 操作 行为
任务情境 硬件
环境情境 信息

环境 汽车
座舱

记忆
智能汽车目标用户模型
注意机制
用户目标、动机
用户知识、经验 反馈与重塑
用户属性、能力等

用户

图 3-12 智能汽车座舱人机交互中情境认知模型

该模型中环境、用户与智能汽车座舱构成了情境认知模型的三个基本单元，用户与
智能汽车座舱人机交互中的情境觉知要经过三个阶段，包括对座舱环境中各成分的感知、
对当前情境的综合理解、对未来情境的预测和规划，情境觉知完成后会触发不同的人机
交互行为，并通过智能汽车软硬件和信息介质完成，其中用户的整个人机交互活动是环
境、用户与智能汽车座舱共同起作用的结果。
表 3-4 智能汽车座舱内环境各成分的感知要素

视觉元素感知 几何元素、文字、图形、三维深度等

对象感知 仪表盘、方向盘、中控旋钮及交互界面等车内对象识别判断

注意感知 听觉注意、视觉注意、嗅觉注意、注意的分配和保持等

环境感知 行人、障碍物、交通指示牌、天气环境等

组织关系感知 布局、操控组、元素组合等

如表 3-4 所示，本文将智能汽车座舱中各成分的感知概括为由座舱内部的几何元素、
图形、文字等视觉元素感知，对仪表盘、方向盘及控件、中控旋钮及交互界面、后视镜
等车内对象感知，涉及听觉注意、视觉注意分配和保持等注意要素感知，涉及行人、障

51
 西北工业大学博士学位论文

碍物、交通指示牌、天气等环境因素的感知和涉及布局、操控及元素组合组织关系感知。

如表 3-5 所示，人机交互情境认知和理解主要概括为认知记忆和认知偏差、图式理
解、环境和关系理解。认知记忆涉及在长时间驾驶过程中所形成的肌肉记忆和工作记忆、
以及回忆与遗忘、长时记忆等内容；认知偏差涉及驾驶员长时间形成的误解和错误偏差，
以及智能汽车座舱与传统座舱设计差异所带来的认知偏差；图书理解涉及智能汽车座舱
中的几何元素、文字元素和图形元素等的理解和认知；环境理解涉及智能汽车座舱内外
环境的变化、状态及内容的理解；关系理解涉及人车关系理解、操控关系理解、布局关
系理解、元素组合关系理解等内容。
表 3-5 智能汽车座舱情境理解

认知记忆 肌肉记忆、工作记忆、回忆与遗忘、长时记忆

认知偏差 错误认知、误解等

图式理解 几何意义、文字意义、图形意义等

环境理解 环境变化、环境状态、环境内容理解等

关系理解 人车关系理解、操控关系理解、布局关系理解、元素组合关系理解等

如表 3-6 所示，对未来情境的推理和预测包括情境推理、记忆推理和认知反馈，情
境推理涉及情境预测、情境决策等；记忆推理包含智能汽车座舱对驾驶员的认知重塑、
记忆推理与预测等；认知反馈包括驾驶员的情境反馈和认知反馈等。
表 3-6 智能汽车座舱情境推理与预测

情境推理 情境预测、情境决策等

记忆推理 记忆重塑、记忆推理与预测等

认知反馈 情境反馈、认知反馈等

3.3.3 智能汽车座舱情境认知影响要素

较传统汽车而言，驾驶员对智能汽车的认知差异主要来源于个体感知能力、记忆能
力、高级认知能力、决策及操作能力的变化以及座舱本身的设计、交互系统等方面的变
化。为了清晰地理解智能汽车座舱情境觉知影响要素，本文将情境觉知情境觉知的影响
要素划分为内部影响要素和外部影响要素。

如表 3-7 所示，内部影响要素涉及车内用户固有的认知能力、经验和记忆以及组织
规划、决策、感知预测、注意分配等自我感知要素；外部影响要素涉及人机交互界面设
计、布局、CMF、人机交互系统、条例、规则、程序等外在条件。

52
 3 智能汽车座舱人机交互行为分析方法

表 3-7 智能汽车座舱情境认知影响要素

用户认知能力 色彩、声音、图形认知与归纳、演绎、分析、综合理解和预测能力认知

经验 固有经验与相似经验

记忆 肌肉记忆、工作记忆和长期记忆
内部影
组织规划 预测未来组织任务和环境对组织的要求，完成特定任务的管理与规划
响要素
决策 认知决策、自然决策、经验决策

感知预测 座舱界面、布局、人机交互及环境的感知和预测

注意分配 视觉、听觉、触觉、空间、功能、交互等注意力分配

界面设计 中控交互界面、仪表盘和车载娱乐系统界面、方向盘、HUD 界面设计

布局 中控界面布局、座舱整理布局、功能布局等

外部影 CMF 智能汽车座舱颜色、材质、功能等

响要素 人机交互系统 交互顺畅性、交互信息完整性、系统可用性、易用性、安全性等

条例与规则 法规及安全条例等

程序、软件等 车载程序、软件的可用性、易用性与安全性等

3.3.4 基于情境认知模型的人机交互行为分析方法

人机交互行为不是独立的单个动作的集合，而是以具体的情境为基础，以相应的一
连串人机交互任务群为核心的交互行为，其中情境和交互行为相互依存，互相配合。智
能汽车座舱中用户的交互行为是人-车-环境-信息系统的最重要部分，是研究智能汽车
情境认知机制的核心对象。
触发规则

智能汽车目标 任务1 操作1 操作2 操作m

用户模型
触发规则
决定
任务2 操作1 操作2 操作m
用户情境
智能汽车人机
任务情境 触发规则
交互行为
环境情境
操作1 操作2 操作m
触
发 触发规则
和
反
馈 任务n 操作1 操作2 操作m

触发时机 活跃情境要素 影响和触发

图 3-13 基于情境认知模型的人机交互行为分析

53
 西北工业大学博士学位论文

如图 3-13 所示，基于智能汽车座舱人机交互行为的情境认知模型，从人车交互行为
入手，把人与智能汽车的交互划分为不同的阶段，其中不同阶段由若干人机交互任务组
成，基于智能汽车座舱情境认知模型的人机交互行为分析方法，本质上是将人与智能汽
车的交互看作是以用户角色模型为背景、由任务情境驱动的“有目的”的人机交互活动
的分析。由前文实验可以看出，智能汽车用户是人机交互的主体，用户情境因素包含用
户的个人属性特征，任务情境因素是驱动用户与智能汽车进行交互的关键推动要素，而
环境情境因素是用户在与智能汽车产生联系时的物理环境和社会文化环境。本文提出的
基于智能汽车座舱情境认知模型的人机交互行为分析方法，本质上是对智能汽车目标用
户角色模型、人机交互行为模式、行为触发规则和反馈、任务与操作等不同要素关系的
分解。

基于智能汽车座舱情境认知模型的人机交互行为分析方法涉及情境要素、交互行为、
任务、操作、触发规则和反馈等内容，具体含义如下：

智能汽车座舱情境要素：主要包括用户情境要素与座舱环境要素。用户的个人属性
特征与智能汽车座舱的情境认知匹配，会对智能汽车的用户体验产生深远影响，用户情
境可以通过目标用户模型获得，其包括用户性别、年龄、家庭背景、教育背景、收入水
平、消费方式、工作职位、开车场景、开车动机与用途、爱好、人生态度、社会关系等
内容；座舱环境情境要素包括座舱内部环境、座舱周围自然环境及感知情境的描述，例
如座舱界面、布局、内饰设计等内部环境和天气、路况、时间、地点和娱乐、学习、购
物和工作状态等相关自然环境与感知环境要素因素。

目标与交互行为；人车交互行为由一连串的任务组成，是人-车交互过程中的行为的
总称。智能汽车的用户，在于汽车交互的过程中，会有各种不同目标，按照用户不同的
目标，行为路径可以分为：随机式、往复式、渐进式。当用户没有明确目标时，在于智
能汽车交互过程中，行为则比较随机，比如用户没有明确音乐指向时候会随机的听取音
乐；当用户有模糊的目标时，则会往复的对比内容，从而确定自己的目标，并完成某些
交互行为，比如当用户想去某个餐厅吃饭，就会通过智能汽车座舱中的地图功能或者团
购、点评类车载 APP 上进行搜索，并在搜索列表来回切换，直到找到合适的餐厅；当用
户具有明确目标时，交互行为路径就会较明确并迅速推进。例如到某地接人，只需要打
开车载导航，语音输入地址—浏览搜索地址列表—导航到目标地址即可。

任务：智能汽车座舱中的任务是受具体动机激发产生的，通过完成一个特定的任务
来实现特定的功能，从而满足人的某种需求，比如娱乐任务，可以通过打开广播、打开
音乐等操作完成，从而满足用户对娱乐的需求。任务因素往往包含用户与工具和客体或
操作对象相关属性特征的交互行为，任务因素也是一种目标导向的行为过程。

操作：操作是组成人机交互特定任务的最小单元，一连串的操作序列可以组成一个

54
 3 智能汽车座舱人机交互行为分析方法

具体的交互行为，从而完成某个特定的任务。

触发规则和反馈：不同的活跃情境因素在某些特定条件下，会产生不同的反应，这
些条件是活跃情境因素的触发条件和触发规则，产生的后续反应就是反馈动作。

3.4 本章小结
本章通过三次实验，构建了智能汽车用户角色模型，分析了智能汽车用户的人机交
互行为模式以及操作习惯，以及任务、情境、失误率之间的关联；为了对智能汽车中人
机交互行为复杂度进行定量化的研究，提出了基于熵的智能汽车座舱人机交互任务复杂
度测量方法；构建了智能汽车座舱情境认知模型，并基于该模型提出了智能汽车座舱人
机交互行为分析方法，研究了智能汽车目标用户在人车交互过程中的行为方式。第四章
将基于第二章的研究体系及本章的情境认知模型及人机交互行为分析方法，重点研究智
能汽车用户的视觉特性及认知规律。

55
西北工业大学博士学位论文

56
 4 智能汽车座舱人机交互视觉认知机制

第4章 智能汽车座舱人机交互视觉认知机制

本章主要通过智能汽车座舱人机交互布局和中控数字界面的视觉认知实验研究，揭
示智能汽车用户的视觉特性及其变化规律，为智能汽车座舱设计及人因学研究提供理论
基础。此外，本章数据也为第六章的设计评价研究提供数据和实验基础。

4.1 智能汽车座舱人机交互视觉信息要素
视觉系统是用户驾驶汽车获取外部信息的主要通道，驾驶过程中 80%以上的信息是
通过视觉获得，其中有 95%以上是动态信息[102]。对于智能汽车而言，在整个驾驶过程
中，除了驾驶环境需要视觉信息处理外，整个座舱内部涉及人机交互的视觉信息处理仍
然占据了很大部分，智能汽车与传统汽车座舱的区别在于布局中数字界面（娱乐系统、
中控屏、数字仪表盘等）的普及，用户视觉注意产生了很大变化[86,103]，需要对智能汽车
座舱人机交互视觉信息要素进行进一步研究。

4.1.1 智能汽车座舱人机交互视觉认知信息界定

对于智能汽车而言，座舱中布局要素和人机交互数字界面是多种交互方式的载体和
信息传播媒介。其中智能汽车人机交互系统是底层数据的信息内容表达的中枢，不同的
呈现方式如文字、数字等符号，图形、图像、影像、语音、手势，甚至包括各种声、味、
色彩等多种数据表达内容都通过人机交互系统呈现出来。

智能汽车的信息实体是人机交互系统中客观存在并相互区别的事物。智能汽车座舱
中具有相同性质的一群同类实体在更高的层级上被理解为一个新信息实体，而单个个体
的信息实体又互相关联发挥作用。本文将智能汽车座舱人机交互信息实体属性分成两大
类：实体属性和关联属性，实体属性包括智能汽车内不同的功能硬件如中控屏、仪表盘、
方向盘、空调、中控台等硬件及语音交互等人机交互、交互界面及车载 APP 等软件，关
联属性用来定义实体属性信息实体间的相互关系，如方向盘内部各个按钮和控件的信息
实体的关联信息、中控屏交互界面的从属关系、中控屏与中控台的位置关系等都属于关
联属性。两个或多个信息实体的逻辑、关系和关联方式反映了智能汽车信息实体间的必
然联系和相互关系，是用户理解信息、认知智能汽车座舱软硬件交互的核心因素。

信息整体包含多个信息实体及其实体间的关联信息，而小范围的信息整体会组成座
舱内部人机交互整个信息体系，单个小范围信息整体组成了用户的认知范本和基础框架，
智能汽车座舱中的信息实体中的关联信息及属性可参见图 4-1。

57
 西北工业大学博士学位论文

信息实体

物理关联 物理实体

关联 物理
从属关系 硬件资源
属性 属性

信息关联 环境实体

图 4-1 信息实体中的关联信息

由第三章智能汽车座舱情境认知模型可以看出，使用直观符号形象来反映问题实质，
可以让用户轻松快速地发现智能汽车座舱新增各种功能和界面信息的意义和实质。将智
能汽车座舱中的信息进行编码和归纳，把更复杂人机交互信息以易于理解的视觉结构和
视觉元素呈现给用户，有助于用户快速对智能信息属性和关系进行记忆和学习，同时可
以增强智能汽车座舱信息的表达与传播效果，并快速将短时记忆固化成长时记忆和肌肉
记忆，并形成更加稳定的人机交互知识和经验存储到用户大脑中。
4.1.2 智能汽车座舱人机交互视觉信息流转模式

数据是信息的表现形式，信息是数据的表达内容，而符号是信息的载体，是智能汽
车座舱人机交互软硬件视觉认知的基本单元。智能汽车座舱人机交互软硬件视觉认知信
息编码难度较大，其根本原因在于底层智能汽车数据的视觉描述和呈现方式过于复杂，
多样的数据都在最大限度的集成到交互界面中，通过智能汽车座舱整体布局和多种交互
界面的形式展现给用户。设计师通过视觉符号传达信息内容，用户通过智能汽车座舱的
视觉符号获得信息，用户和设计师的视觉符号沟通方式可参见图 4-2。
智能汽车人机交互符号系统

解码 认知 视觉 编码
用户 经验 符号
设计师
接收 发送

图 4-2 用户与设计师的视觉符号沟通方式

智能汽车座舱在物理实体数字化的过程中，要求设计师和用户基于共同的认知经验，
选择双方都能理解熟知的符号系统，实现信息的传达，其信息传达过程具备一般符号传

58
 4 智能汽车座舱人机交互视觉认知机制

播的特点，智能汽车与人的交互过程也是符号化和符号化解读的过程。设计师既是智能
汽车座舱人机交互信息的发送者，也是数据的视觉编码者，而用户既是信息的接收者，
也是信息的解码者[97]。

智能汽车座舱的整体布局发生了很大的变化，用户对智能汽车座舱整体布局的认知
障碍来源于智能汽车将传统的中控和操控构件等集合到较大的交互屏幕中，用户不能将
以往的记忆和认知经验转移到智能汽车座舱的人机交互中，在新的认知体系重构的过程
中，智能汽车座舱布局信息重构主要依赖由多个信息实体组成的图形形状、形体体量及
关联信息来对用户产生影响，图 4-3 为智能汽车视觉要素形成的过程，可以看出智能汽
车座舱中的信息实体进行重组，最后通过视觉元素呈献给用户，通过人车交互来重塑用
户的认知和行为，智能汽车座舱整体布局与传统汽车的人机交互布局的信息实体及视觉
元素匹配度越高，用户的认知成本越低，从而学习成本越低。

图 4-3 智能汽车视觉要素形成过程

4.1.3 智能汽车座舱人机交互视觉组成要素

对信息实体属性的视觉信息组合，在人机交互布局和数字界面中一般表现为字符
(包括中英文和数字等)、具象图形符号和抽象图形符号三种符号类别[104]，统称为信息
实体属性符号化编码[102]，信息实体属性化符号通过智能汽车座舱中的布局、中控数字
界面的信息布局、色彩和信息密度等因素表达出来。

智能汽车座舱中布局和数字界面信息设计中，字符和符号、色彩等共同对用户产生
影响。字符、色彩和图形符号在智能汽车座舱的数字界面中应结合在一起使用，文字能

59
 西北工业大学博士学位论文

很好地解释图形符号，有利于符号的信息传达，使用户能最快地找到相关命令完成特定
交互任务[105]。

智能汽车座舱人机交互布局和数字界面中的视觉区域较大，中控数字界面可以提供
效果逼真、细节丰富的色彩和图形符号系统进行信息实体属性的可视化组合[56]。从认知
角度上说，真实世界中的事物、概念、经验和行为与具象符号、抽象符号、色彩和字符
形成映射[106]，最终通过智能汽车座舱中的布局、中控数字界面的信息布局、色彩和信息
传达给用户，智能汽车座舱人机交互视觉信息组成要素可参见图 4-4。另外，具象图形
符号的组合方式、色彩搭配、信息布局等都能有效加强具象图形符号编码的表现力和认
知效果[86]，而抽象图形符号通过形状、方向、尺寸、纹理和颜色等可视化变量的无数变
化和组合能有效表达信息的实体属性[107]，可以以直观方式传达抽象信息内容特征和语
义，能提高用户的认知速度和正确率[108-110]。

图 4-4 智能汽车座舱人机交互视觉信息编码要素

智能汽车座舱中布局和数字界面信息设计中，字符和符号、色彩等信息组成要素共
同对用户产生影响。智能汽车座舱中娱乐系统、车载交互大屏、方向盘、数字仪表盘以
及中控数字界面中整合的多种信息包含了字符和符号、色彩等众多复杂信息组成要素，
本章将通过视觉认知实验研究不同布局、不同要素的组合方式的中控界面下视觉认知机
制，挖掘不同信息组合的视觉认知规律。

4.2 智能汽车座舱布局视觉认知机制
4.2.1 智能汽车座舱布局视觉认知实验目的

本实验通过真实场景的驾驶实验研究，获取座舱人机交互布局下视觉认知实验数据，

60
 4 智能汽车座舱人机交互视觉认知机制

分析智能汽车不同座舱布局下受试驾驶员眼动搜索及视觉认知规律，并通过比较和分析
它们的绩效度量指标，挖掘智能汽车座舱中娱乐系统、车载交互大屏、方向盘、数字仪
表盘等关键设计特征对用户视觉认知的影响机制，寻找智能汽车座舱设计存在的问题和
影响用户体验的关键要素，为客观的评价智能汽车座舱布局的设计合理性提供参考。
4.2.2 智能汽车座舱布局视觉认知实验方法

1) 实验对象

受实验条件和实验目的的约束，本次实验选择有 5 年以上驾驶经验的用户作为实验
测试对象，招募被试 10 名，其中女性 3 名，男性 7 名，其年龄范围在 23－45 岁之间，
平均年龄 32.11 岁。所有被试均无色盲、色弱，视力或矫正视力多在 0.6 以上，要求所
有被试均无类似实验经验，实验前告知说明实验形式、流程、性质及规则。

2) 实验仪器、材料和量表选择

本文采用的眼动追踪系统是德国 Ergoneers 公司生产的 Dikablis 型眼动仪。如图 4-

5 为眼动仪实验佩戴场景图， Dikablis 硬件由 eye-camera 和 field-camera 两个摄像头组
成， eye-camera 可以根据体验者的不同眼睛和脸部特点重新定位和调节，field-camera
则可以根据测试高度调节垂直方向的角度，并找到最优的测试方向。该眼动仪采样率
50Hz、瞳孔追踪精度 0.1°、注视点精度为 0.5°，该眼动仪已经广泛应用于驾驶行为、
汽车可用性测试、主动安全策略评价、被动安全规律等研究中心。本文将蔚来 ES8、比
亚迪唐 2 代两款智能汽车作为实验测试用智能汽车，二者性能均良好，电量充足。

图 4-5 智能汽车视觉认知实验眼动仪佩戴场景图

主观情感评价量表采用国际通用的三维情绪识别量 表(PAD)，该 量表最初由

Mehrabian 和 Russell 在 1994 年提出，该模型认为“情绪具有愉悦度、激活度和优势度”
3 个维度，P 代表愉悦度(Pleasure-displeasure)，表示个体情绪状态的积极或消极程度；
A 代表激动度(Arousal-nonarousal)，表示个体的神经生理激活水平和警觉性，与情感状
态 联 系 的 机 体 能 量 的 激 活 程 度 有 关 ； D 代 表 主 体 对 客 体 的 控 制 感 (Dominance-

61
 西北工业大学博士学位论文

submissiveness)，表示个体对情景、他人、其他物体的控制控制力和影响力，主要指个
体的主观控制程度。该量表用来是消费研究用户对智能汽车布局和中控屏人机交互界面
的刺激所诱发的情感体验。如表 4-1 所示，PAD 情绪量表从上述 3 个维度，可以更精确
地评定情绪状态，基于此可以将情绪划分为 8 类四对情绪。
表 4-1 PAD 情绪量表划分

情绪 高兴愉悦 无聊没趣 依赖 抵触 放松宽慰 紧张焦虑 温顺 敌意

量表划分 +P+A+D -P-A-D +P+A-D -P-A+D +P-A+D -P+A-D +P-A-D -P+A+D

为了将类似的情绪进行统一，本文将情绪划分为四类，愉悦放松（+P+A+D 和+P-
A+D）和无趣焦虑（-P-A-D 和-P+A-D），依赖温顺（+P+A–D 和+P-A-D）和抵触敌意
（-P-A+D 和-P+A+D）两对情绪词。本次实验 PAD 量表

采用打分制，其中无趣焦虑到愉悦放松的分数为 1-7，1 代表极度无趣焦虑，2 代表

非常无趣焦虑，3 代表无趣焦虑，4 代表中立无感，5 代表愉悦放松，6 代表非常愉悦放
松，7 代表极度愉悦放松，抵触敌意到依赖温顺的分数也为 1-7 分，1 代表极度抵触敌意
到 7 极度依赖温顺，最后分数用愉悦感和依赖感进行呈现，分数越高代表愉悦感和依赖
感越强。

3) 实验设计

为了确保实验获得数据的有效性与准确性，整个实验过程分为两个环节，实验前准
备环节和驾驶实验环节，实验准备环境是在实验开始前检查 Dikablis 型眼动仪是否能正
常使用，同时检查两辆汽车电量状况，确保眼动仪和智能汽车能够正常使用，并告知被
试驾驶员的实验设备和使用注意事项，被试佩戴眼动仪，进入驾驶实验车辆内准备实验
环节；驾驶员适应佩戴实验仪器之后，主持人对所有被试驾驶人讲解实验方案和实验细
节。为了最低限度的降低环境和路况对用户的影响，选择在固定城市道路路线完成实验，
单个被试的驾驶智能汽车的时间为 15 分钟（到指定终点的时间都会在 18-25 分钟之内，
选取前 15 分钟为有效数据），不指定具体任务情况下采集用户的眼动数据，数据采集
完以后，用户完成三维情绪识别量表(PAD)的填写。

本次实验中，需要处理的变量有控制变量和因变量。控制变量即为了观察实验结果
而加以控制的变量，本实验的控制变量为两种智能汽车的内饰布局，包括智能汽车座舱
内部构件的组合方式、各个构件的图形信息编码方式等，为了更清晰的表示各个图式组
合，如图 4-4 所示，在变量提取过程中选取车内几个重要的信息布局区域为目标兴趣区
域（AOI，Area of Interest），兴趣区域主要包含 AOI 1（车内外后视镜）、AOI 2（汽车
中控显示屏）、AOI 3（汽车仪表盘）、AOI 4（汽车方向盘）、AOI 5（汽车空调排风口
等其他区域）等位置对驾驶人的视觉空间信号加工特性进行研究，参见图 4-6。因变量

62
 4 智能汽车座舱人机交互视觉认知机制

即研究中需要加以观察记录的项目，本实验因变量是眼动特征数据，这些因变量在实验
中均由眼动仪进行捕捉获取。在本次实验中，为了使每位受试驾驶员都在尽可能相同的
环境下进行实验，实验均选择在无降水、无雾的晴朗天气下，白天上午 9 点至 11 点之
间进行。

图 4-6 智能汽车座舱人机交互布局兴趣区域划分

4) 实验过程

设置好实验的起止点位置，在道路上按照上述的实验环境进行标记，将租赁的智能
汽车开到指定位置，并在结束位置进行标记；将眼动仪及其相关配套设备在实验汽车上
安装并固定好，调试直至没有问题为止。告知受试驾驶员坐在副驾驶位置，并辅助其正
确佩戴眼动仪，按照眼动仪的安装和佩戴规范进行佩戴，并对眼动仪进行标定。受试驾
驶员的眼动仪标定完毕后回到驾驶席位置，做好智能汽车行车准备。

被试在驾驶位置坐定后，实验主持人及辅助人员做好其他准备工作，被试将车开到
起始点位置，确保眼动仪正常记录数据，开始进行实验；被试驾驶员在自然驾驶的状态
下进行实验，按照自己的操作和认知习惯到达指定终点，在结束点处终止眼动仪，保存
实验数据，输入被试编号为数据名。

保存该被试实验数据，重新标定眼动仪并重复进行实验，直到每位被试完成实验。
并且保证每位被试驾驶两辆不同智能汽车的实验间隔至少在 2 天以上，直到所有被试驾
驶员都完成两辆智能汽车的驾驶实验为止。

5) 实验数据处理流程

处理眼动数据首先用眼动仪自带的软件 D-lab 将所有用户的数据裁剪，将汽车启动

开始 0 至 15 分钟内的数据作为有效数据并转存成 csv 格式数据，最后利用 MATLAB 及
SPSS 软件对数据作具体分析处理。
4.2.3 智能汽车座舱布局视觉认知实验数据分析

1) 智能汽车座舱布局的眼动特性分析

63
 西北工业大学博士学位论文

本实验通过真实场景的驾驶实验研究，获取两个智能汽车品牌座舱人机交互布局下
的眼动实验数据，如表 4-2 所示，将两款智能汽车布局的眼动 csv 格式数据导入 SPSS 软
件数据分析，为了比较各个指标的显著性水平，对眼动数据进行 T 检验发现，两种布局
在被试用户驾驶过程中的眼动变量中，当显著性水平为 0.05 时，除了眨眼幅度外，其他
给定的眼动指标均有显著差异。表明两款智能汽车座舱的布局，对用户的视觉认知差异
较为显著，可以选定这七个眼动指标做进一步分析。
表 4-2 智能汽车总体布局眼动变量显著性统计

比亚迪唐 2 代 广汽蔚来 ES8 Df

眼动指标 t值 p值
均值 标准差 均值 标准差 （自由度）

眨眼次数（次） 87 105 107 25 -1.023 57 0.018

眨眼频率（次/ s） 0.93 0.12 0.82 0.29 -1.321 57 0.039

平均眨眼时间（s） 2.45 8.22 1.53 5.23 0.592 57 0.025

眨眼幅度（°） 5.34 0.52 4.49 1.03 0.139 57 0.872

注视时间（s） 9.32 7.23 5.36 1.58 -1.235 57 0.029

注视次数（次） 17.23 13.90 7.17 1.98 0.214 57 0.043

平均瞳孔直径（mm） 4.01 1.03 4.31 1.28 -0.779 57 0.027

扫视时间（s） 1.93 2.87 2.53 0.23 0.359 57 0.023

扫视次数（次） 17 25 19 4 -1.797 57 0.034

定义用户在比亚迪唐二代汽车获得的各个眼动指标均值集合为 A=A1，A2，A3...An，
定义用户在广汽蔚来 ES8 汽车获得的各个眼动指标均值集合为 A’=A1’，A2’，A3’...An’,
为了表征被试在两款智能汽车座舱的眼动指标差异化水平，定义差异性指数 B  A1  A1' ，
A1

表示各个指标在两款智能汽车中的视觉认知眼动差异。

如图 4-7 所示，由差异性指数公式计算出两款智能汽车的 7 个眼动指标差异化水

平，扫视时间、扫视次数、平均瞳孔直径、注视次数、眨眼次数等指标区别显著。一
般情况而言，眨眼不会对视线经过的信息进行理解，且眨眼过程不会发生信息加工情
况，眨眼时间越长，说明信息搜索的过程越长，比亚迪唐 2 代获得的眼跳次数比 ES8
少，说明用户在 ES8 中需要较高的信息搜索过程；注视时间能体现出提取信息的难
度，注视次数越大则代表搜索效率越低，比亚迪唐 2 代的注视时间和注视次数比蔚来
ES8 长，且该指标数据差异性指数较大，说明在整个驾驶过程中，比亚迪唐 2 代的总

64
 4 智能汽车座舱人机交互视觉认知机制

体布局需要更长的时间获取各个关键交互软硬件的信息，且整体信息搜索效率上比亚
迪唐 2 代较差；瞳孔直径与认知能力呈负相关，从平均瞳孔直径数据结果可以看出，
相同被试在蔚来 ES8 中的总体认知负荷较小、加工效率较高；扫视时间和扫视次数代
表兴趣区域的信息加工量，扫视持续时间越长，次数越多，代表限定区域的视觉搜索
与加工信息量越小，扫视持续时间越短，次数越少，表示限定区域需要加工的信息量
越大，扫视数据结果显示，蔚来 ES8 中的总体信息加工量较比亚迪唐 2 代较少，说明
被试在自由驾驶过程中需要较少的知识和经验储备。

差异性指数
1.6
1.4
1.2 1.23
差异性数值

1
0.8 0.85
0.79
0.6
0.4 0.46

0.2 0.23
0.12 0.16
0 0.05

图 4-7 智能汽车驾驶被试眼动指标差异性指数

2) 智能汽车座舱布局热区图分布分析

用户在驾驶状态的视角和三维空间位置不同，因此很难统一进行呈现，为了比较
直观的表示智能汽车用户在两辆汽车不同布局的热区图，通过统计数据和三维数据进
行拟合，将反映用户浏览和注视情况的数据通过 MATLAB 软件可视化并映射到两辆智
能汽车标准的座舱内饰图像中，智能汽车用户在自然驾驶状态下，不同兴趣区的眼动
热区图如图 4-8 所示。该图展示了被试在驾驶比亚迪和蔚来汽车过程中的各个注意的
区域和注视的时间和密度。

图 4-8 智能汽车座舱不同兴趣区的眼动热区图

65
 西北工业大学博士学位论文

由热区图可以发现，在智能汽车驾驶过程中，视线正前方的前挡风板获得了最多
的视觉注意，主要是因为驾驶行为中需要注视前方的环境、行人和路况等信息，这部
分注意不涉及车内人机交互行为，不做视觉分析重点。热点图可以发现，用户在五个
兴趣区域均获得了视觉注意，其中后视镜、中控台空调及其他构件、方向盘上获得的
视觉注意较少，主要原因在于这几个部位不对外进行信息输出，更多的是辅助驾驶安
全需要，此外，将视觉注意放到后视镜、中控台空调及其他构件、方向盘的位置会使
驾驶视线偏移，影响驾驶安全。

智能汽车数字仪表盘和中控屏分别在用户正前方和右前方，在驾驶过程中用户的
视觉注意和视觉注意密度较大，对于数字仪表盘而言，用户在视线前方保持注意，呈
现的相关信息不需要交互，用户更多是被动接受后作出主观决策，因此对驾驶安全的
影响较小，中控屏幕视觉注意和视觉注意密度较大，用户需要在短时间内和智能汽车
中控屏数字界面进行交互，理解智能汽车界面信息并解码，解码后进行进一步接触操
作和交互，在这种情况下，用户仍然保持主要注意力放在驾驶行为本身上，因此中控
屏交互行为使驾驶用户产生了分心，不利于驾驶安全，此外，在驾驶过程中比亚迪的
屏幕会出现遮挡视线的情况，不利于驾驶安全，中控屏的上沿应该保证在前挡风板下
侧以下。

在视频回放中发现，目前中控中反映的视觉注意和视觉注意密度是用户在语音交
互延迟或出错过程中的视觉关注，用户通过语音交互已经大大降低了分心和减少了更
多的接触式交互，分析表明车载语音交互与中控屏幕的配合会大大降低驾驶分心和用
户信息视觉加工和理解，很有可能是未来智能汽车座舱的主导交互方式。

通过眼动热区图分析不难看出，智能汽车布局中，中控屏和数字仪表盘因为有信
息的呈现，需要用户理解和进一步反馈，因此会刺激用户产生更多的视线注意和观
看，这对汽车本身驾驶安全产生影响，良好的语音交互并结合 HUD 会很好的解决这一
问题。

3) 智能汽车座舱布局兴趣区域情绪分析

搜集主观量表的数据，获取两款智能汽车五个主要区域与总体情感评价分数进行平
均值计算，用来研究消费研究用户对智能汽车布局各个部位诱发的情感体验，如图 4-9
为两款智能汽车在 5 个兴趣区域的 PAD 量表统计结果。

66
 4 智能汽车座舱人机交互视觉认知机制

两款智能汽车5个区域愉悦感分析 两款智能汽车愉悦感综合分数
比亚迪唐 广汽蔚来 比亚迪唐 广汽蔚来

6 5.6

5 5.4

4 5.2
愉悦感分数

愉悦感分数
3 5

2 4.8

1 4.6

0 4.4
0 1 2 3 4 5 6 得分均值 综合评分均值

（a）愉悦感分区域得分分析 （b）愉悦感综合得分

两款智能汽车5个区域依赖感分析 两款智能汽车依赖感综合分数
比亚迪唐 广汽蔚来 比亚迪唐 广汽蔚来

7 5.1

6 5
5
4.9

依赖感分数
依赖感分数

4
4.8
3
4.7
2
4.6
1

0 4.5
0 1 2 3 4 5 6 得分均值 综合评分均值

（c）依赖感区域得分分析 （d）依赖感综合得分

图 4-9 智能汽车座舱五个区域情感量表统计

由计算得出的两款智能汽车 5 个区域的愉悦感和依赖感的数据分析可以发现，在智
能汽车驾驶过程中，车内外后视镜因为用户眼睛停留时间较短，但是对驾驶安全影响较
大，两款智能汽车的后视镜总体的愉悦感分数和依赖感分数均值相差不大；汽车中控显
示屏是信息的入口和显示出口，承担着多种信息的整合和交互，用户使用蔚来 ES8 的中
控显示屏获得更多的愉悦感，而且用户的依赖感分数较高，对中控屏的满意度明显高于
比亚迪唐 2 代汽车，用户对比亚迪唐 2 代的中控屏依赖感分数低于 4 分，表示用户对比
亚迪唐 2 代中控屏的人机交互和界面设计并不信任；用户对仪表盘的使用过程中，两款
智能汽车的愉悦感得分都低于 4，表明用户在使用仪表盘时与传统的认知习惯差异较大，
用户满意度较低，两款智能汽车的依赖感分数中比亚迪唐 2 代的分数明显高于蔚来 ES8，
而用户对比亚迪唐 2 代的仪表盘并不依赖和信任，表明仪表盘的人机交互中，蔚来 ES8
要优于比亚迪唐 2 代。

结果显示，汽车方向盘的人机交互过程中，智能汽车的用户愉悦感和依赖感得分，
比亚迪唐 2 代要优于蔚来 ES8，且用户对前者的依赖感、控制感和信任感较强；在用户
与汽车空调排风口和中控台其他区域进行交互的过程中，用户愉悦感和依赖感得分比亚
迪唐 2 代要优于蔚来 ES8，表明用户对亚迪唐 2 代汽车空调排风口和中控台其他区域的
满意度和信任感较高。两款智能汽车的愉悦感总体评分中，单项均值分数和整体愉悦感
分数呈现一致性，用户对广汽蔚来 ES8 的愉悦感分数比比亚迪唐 2 代要高，相反，广汽
蔚来 ES8 的依赖感分数却低于比亚迪唐 2 代。

将量表均值数据和眼动数据导入 SPSS 软件进行单因素方差分析，可以得出愉悦感、

67
 西北工业大学博士学位论文

依赖感与各眼动指标的对应关系，如表 4-3 所示，用户愉悦和信任在 0.05 的显著性水平

下，反映愉悦感的眼动指标包括眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数
和平均瞳孔直径，反映依赖感的眼动指标包括眨眼频率、眨眼幅度、注视次数和平均瞳
孔直径，其他指标并不具有统计意义上的显著性。
表 4-3 智能汽车眼动指标与情感量表单因素方差分析

信任感 依赖感
眼动指标
F值 P值 F值 P值

眨眼次数（次） 1.649 0.043 1.007 0.072

眨眼频率（次/ s） 0.977 0.012 1.703 0.027

平均眨眼时间（s） 0.335 0.252 1.462 0.635

眨眼幅度（°） 1.270 0.042 1.881 0.037

注视时间（s） 0.932 0.023 0.360 0.078

注视次数（次） 0.353 0.019 0.587 0.030

平均瞳孔直径（mm） 1.501 0.028 0.991 0.039

扫视时间（s） 0.773 0.177 0.563 0.439

扫视次数（次） 0.490 0.596 1.081 0.641

通过智能汽车布局情感分析和情感眼动指标对应关系发现，影响用户使用愉悦感的
主要要素集中在中控显示屏、数字仪表盘和空调出风口等关键区域，这些区域与用户的
直接感受相关，是影响用户体验的关键设计区域；车内外后视镜、方向盘是智能汽车内
部的控制和安全件，因此这两个关键布局区域对用户的信任、依赖感影响很大；信赖感、
愉悦感可以通过部分眼动指标表征出来，意味着可以通过眼动数据中直接获取用户对智
能汽车布局的直观感受，从而间接获取用户对智能汽车座舱的用户体验评价情况。

4.3 智能汽车座舱中控数字界面视觉认知机制
智能汽车中控数字界面将传统汽车中 FM、空调、音乐、电话、导航等多种功能整
合，并通过车载 APP 或语音交互的形式和用户进行交互，其承载着大量的功能信息，其
承载信息的方式、信息编码方式和数据呈现都通过视觉、触觉和语音交互的形式表征给
用户，而数字界面的交互方式占了很大比重，基于此本文开展了智能汽车座舱中控数字
界面视觉认知眼动实验研究。
4.3.1 中控数字界面视觉认知实验目的

本实验在驾驶模拟器中进行，获取用户在使用座舱数字交互界面中的视觉认知眼动

68
 4 智能汽车座舱人机交互视觉认知机制

行为数据，分析驾驶员在使用中控数字大屏时候的视觉特性及视觉认知规律，并通过比
较和分析它们的认知绩效度量指标，挖掘智能汽车座舱车载交互大屏主界面、颜色、布
局等关键设计特征对用户视觉认知的影响，寻找智能汽车座舱中控数字大屏设计存在的
问题和影响用户体验的关键要素，为客观的评价智能汽车座舱交互界面设计的合理性提
供参考。
4.3.2 中控数字界面视觉认知实验方法

1) 实验对象

受实验条件和实验目的的约束，为了保证实验的有效性，选择 3 年以上驾驶经验的
用户作为实验测试对象，通过网络招募和在大学中有偿招募的方式招募被试 20 名，其
中男性 14 名，女性 6 名，年龄范围在 23-45 岁之间，平均年龄 29.23 岁，平均驾龄在 3
年以上。

2) 实验仪器及材料

本文采用的眼动追踪系统是德国 Ergoneers 公司生产的 Dikablis 型眼动仪。具体介

绍见前文，驾驶模拟器采用三屏幕主动式汽车驾驶模拟器一台，用户在实验前需要充分
了解眼动仪和驾驶模拟器的操作。

3) 实验设计

用户与中控屏交互过程中需要分心驾驶，为了确保被试安全和实验获得数据的有效
性与准确性，整个实验在驾驶模拟器中进行。在驾驶模拟器上固定 iPad，同时在 iPad 上
面配置好实验用的界面和软硬件，最大限度的模拟用户真实场景下的操作。

整个实验过程分为两个环节，实验前准备环节和驾模拟驾驶实验环节。实验准备环
节要求在实验开始前检查 Dikablis 型眼动仪和驾驶模拟器是否能正常使用，检查配套的
计算机能否正常工作，同时检查 iPad 的电量和网络连接情况，确保配置的软件 Axure 能
够正常打开，确保眼动仪和 iPad 实验界面能够正常使用，并告知被试驾驶员的实验设备
和使用注意事项；将眼动仪的头盔分别佩戴于被试驾驶人头上，驾驶员适应佩戴实验仪
器之后开始进入驾驶实验车辆进行实验，单个被试的驾驶智能汽车的时间为 20 分钟（前
1 分钟在模拟器中自由驾驶，第 3 分钟开始实施实验任务）。

在驾驶模拟器实验环节，第三分钟开始要求被试驾驶状态下，在中控界面完成特定
交互任务的操作。主要包括三个实验任务，第一个实验任务要求用户在不同信息密度图
标排布下完成三个操作，完成的操作包括在 3 乘 3 的九宫格界面（共 36 个图标，4 个界
面）中找到指定应用并打开，任务完成后副驾驶主持人将界面调整成 3 乘 4 主界面（3
个页面），并关闭界面，被试驾驶一分钟以后，主持人打开界面，要求用户在 3 乘 4 主
界面找到指定应用，任务完成后副驾驶主持人将界面调整成 3 乘 6 主界面（2 个页面），

69
 西北工业大学博士学位论文

并关闭界面；被试驾驶一分钟以后，主持人打开界面，要求用户在 3 乘 6 主界面找到指
定应用，第一个任务完成，其中三个指定的应用和操作分别是找到音乐应用下选择任意
音乐并点击打开、找到空调应用并将温度调大、找到 FM 调频应用并选择任意调频，为
了降低操作任务对用户的影响，三个指定的操作随机出现在不同图标布局的实验下。第
二个实验任务要求被试在同一空调界面的不同颜色搭配(黑色背景配合白色字体和图标、
深蓝色背景配合白色字体和图标、橙色背景配合白色字体和图标)下分别找到三个不同
的按钮并按下，不同被试三个界面颜色随机出现，三次操作各间隔一分钟。第三个实验
要求用户打开三个不同布局的音乐界面，并选择指定音乐打开，打开后再返回主界面，
不同被试三个不同布局界面随机出现，三次时间的间隔为一分钟，三个任务完成以后用
户自由驾驶一分钟后实验结束。结束后要求被试填写 PAD 量表，实验素材示意图见图
4-10。

图 4-10 智能汽车中控数字界面实验素材示意图

本次实验中，需要处理的变量的控制变量为三种不同密度的智能汽车数字交互屏幕
主界面、三种不同颜色搭配的空调界面和三种不同布局的音乐界面，因变量即研究中需
要加以观察记录的项目，本实验因变量是眼动特征数据，这些因变量在实验中均由眼动
仪获取。其他变量在实验中应当控制，以尽量减少其对因变量的可能的影响。

4) 实验过程

70
 4 智能汽车座舱人机交互视觉认知机制

设置好模拟驾驶的路线，将 PAD 量表准备好，告知被试的实验细节，并检查各个设

备电量；对眼动仪进行安装调试，根据仪器操作规范，将眼动仪及其相关配套设备在实
验汽车上安装并固定好，调试直至没有问题为止，将 iPad 固定在中控台位置，位置按照
蔚来 ES8 和汽车方向盘的横向位置固定。

要求受试驾驶员坐在驾驶模拟器副驾驶位置，并辅助其正确佩戴眼动仪，按照眼动
仪的安装和佩戴规范进行佩戴，并对眼动仪进行标定，受试驾驶员的眼动仪标定完毕后
回到模拟器驾驶席位置，做好实验前准备；被试在驾驶位置坐定后，实验主持人及辅助
人员做好其他准备工作，确保眼动仪正常记录数据，被试准备完毕后开始驾驶模拟实验。

被试驾驶员在驾驶模拟器中自由驾驶，副驾驶位置主持人口述三个人机交互任务，
要求被试一一完成完成，被试完成三个任务后，自由驾驶一分钟后介绍驾驶模拟任务，
副驾驶主持人终止眼动仪，并要求用户填写 PAD 量表，完成后保存实验数据和量表数
据，输入驾驶员编号为数据名；保存该驾驶员三个任务的驾驶模拟实验之后，重新标定
眼动仪和设置 iPad 的 Axure 程序，并重复上述实验过程若干次，直到每位受试驾驶员完
成实验。
4.3.3 智能汽车座舱中控界面视觉认知实验数据分析
实验结束以后，将所有用户的实验数据进行检查，本次实验共获得 20 个被试的完
整数据，将数据按照不同任务进行切割，切割后相同任务的数据存成 CSV 格式文件，
用 SPSS 软件进行统计和分析。

1) 智能汽车主页面不同信息密度的眼动特性分析

本实验通过驾驶模拟器上的中控屏界面视觉认知实验研究，获取智能汽车中控屏主
页面不同信息密度下人机交互眼动数据，将眼动数据文档导入 SPSS 软件，对智能汽车
座舱中不同信息密度主界面的眼动数据进行 T 检验发现可求得各个指标的均值、标准
差、t 值、Df 值和 p 值。

如表 4-4 所示，三种信息密度下在被试用户驾驶过程中的眼动变量中，当显著性水
平为 0.05 时，眨眼次数、平均眨眼时间、注视时间、注视次数、平均瞳孔直径的眼动指
标均有显著差异。三种不同信息密度下，3×6 图标排布方式的眨眼次数最少，眨眼频率
较低，平均眨眼时间较长，从注视时间和注视次数上来看，3×6 图标排布下的注视时间
较长，用户需要在驾驶过程中保证驾驶安全，在找不到目标时候会回视到正前方，稍后
进行第二次寻找，所以注视次数也较长，说明被试在 3×6 图标排布下注意力需要更集中，
需要的信息认知时间更长，不利于驾驶安全；从平均瞳孔直径数据结果可以看出，相同
被试 3×3 图标排布方式的总体认知负荷较小、加工效率较高，最大限度的降低了驾驶的
分心，有利于驾驶安全，其他指标如眨眼频率、眨眼幅度、扫视时间和扫视次数，三种
图标信息密度的主界面结果显著性均大于 0.05，不具有参考价值。

71
 西北工业大学博士学位论文

表 4-4 智能汽车不同信息密度主界面眼动变量显著性统计

3×3 3×4 3×6 Df（自

眼动指标 t值 p值
均值 标准差 均值 标准差 均值 标准差 由度）

眨眼次数（次） 1.34 0.47 1.05 0.24 0.40 0.13 0.507 23 0.020

眨眼频率（次/ s） 0.33 0.25 0.52 0.29 0.31 0.19 -2.134 23 0.061

平均眨眼时间（s） 0.45 8.22 0.53 5.23 0.72 0.23 1.032 23 0.037

眨眼幅度（°） 5.11 0.52 4.92 1.03 5.05 2.35 0.028 23 0.061

注视时间（s） 0.62 1.23 0.86 0.58 1.36 0.45 1.3397 23 0.009

注视次数（次） 2.23 13.90 3.17 1.98 5.37 1.98 -0.149 23 0.026

平均瞳孔直径（mm） 4.41 1.03 4.21 1.28 4.03 2.13 0.814 23 0.015

扫视时间（s） 1.93 2.87 2.53 0.23 1.76 0.59 0.259 23 0.079

扫视次数（次） 3.25 2.05 3.47 1.15 2.23 1.23 -2.350 23 0.094

如图 4-11 所示，三种图标排布方式的平均眨眼时间和注视时间随着信息密度的增
大而增大，单个操作任务需要完成的时间也越来越长，在 3×6 图标排布下用户需要在页
面中停留 0.86 秒且总共需要 4.98 秒的时间才能完成一个指定的任务；三个图标排布下
用户的失误次数中，3×4 的失误次数较少，而 3×6 的操作失误次数较多，注视次数和失
误次数呈正相关趋势，眨眼次数和失误次数呈负相关趋势。

眨眼、注视、任务完成时间分析 眨眼、注视、失误次数分析

6 4.98 7 6
4.54 5.37
5 6
3.31 5
次数（次）

4
时间（s）

4 3 3.17
3 2.23
3 2
1.36
2 0.86 1.34
0.62 0.72 2 1.05
1 0.45 0.53 0.4
1
0 0
3×3 3×4 3×6 3×3 3×4 3×6

平均眨眼时间 注视时间 操作任务完成时间 眨眼次数 注视次数 失误次数

（a）眼动指标与任务完成时间分析 （b）眼动指标与失误次数分析

图 4-11 智能汽车界面不同图标排布与眼动数据的关系

用户填写针对三种信息密度下图标排布的 PAD 量表后进行统计，主要获取三种信

息密度图标排布的总体情感评价分数，用来研究消费研究用户对智能汽车主界面信息
密度诱发的情感体验和主观感受。由三种信息密度下图标排布的 PAD 量表的愉悦感和
依赖感的数据分析可以发现，如图 4-12 所示，在驾驶模拟器实验下，用户感知愉悦度
3×4 的图标排布最高，3×3 的次之，3×6 的图标排布最差，这是因为用户在使用 3×6 排

72
 4 智能汽车座舱人机交互视觉认知机制

布时候，寻找特定任务图标时候用户需要分散更多的注意力，且获得了较多的失误
率，用户满意度较差；用户依赖度结果来看，用户对 3×3 和 3×4 图标排布的主页依赖
度差别不大，而 3×6 图标排布的依赖度较低，表达了用户对 3×6 图标排布主页的不信
任。

三种信息密度界面的PAD结果
7 6.23
5.66
5.34 5.43
得分均值

6 4.97
5 4.29
4
3
3×3 3×4 3×6
信息密度类别

愉悦度均值 依赖度均值

图 4-12 智能汽车界面信息密度 PAD 结果

通过驾驶模拟器上的中控屏界面视觉认知实验研究，获取智能汽车中控屏主页面不
同信息密度下人机交互眼动数据发现，由愉悦感、依赖感对各眼动指标的单因素方差分
析，可以得出如下结果，如表 4-5 所示。用户愉悦和信任在 0.05 的显著性水平下，反映
三种不同密度图标排布主页愉悦感的眼动指标包括眨眼次数、注视时间、注视次数和平
均瞳孔直径，反映三种不同密度图标排布主页依赖感的眼动指标包括眨眼次数、注视时
间和平均瞳孔直径，其他眼动指标并不明显。
表 4-5 眼动指标与情感量表结果的单因素方差分析

愉悦度 依赖度
眼动指标
F值 P值 F值 P值
眨眼次数（次） 0.672 0.019 0.907 0.039

平均眨眼时间 （s） 0.535 0.052 0.723 0.476

注视时间（s） 1.932 0.043 0.673 0.037

注视次数（次） 1.353 0.031 0.581 0.326

平均瞳孔直径(mm) 0.501 0.020 1.892 0.019

2) 智能汽车中控数字界面色彩视觉认知分析

目前主流的智能汽车中控屏或娱乐系统的色彩搭配以深蓝色背景或黑色背景为主，
搭配白色或蓝色字体，从设计角度看，这种色彩搭配方式试图通过炫酷的高科技色彩营
造汽车座舱的科技感。本次实验中的自变量是三种不同的色彩搭配，包括黑色背景配合
白色字体和图标、深蓝色背景配合白色字体和图标、橙色背景配合白色字体和图标三种，

73
 西北工业大学博士学位论文

因变量为三种色彩搭配下被试的不同眼动指标。被试随机在同一空调界面的不同颜色搭
配下分别找到三个不同的按钮并点击，通过眼动仪获取该操作的人机交互眼动数据，如
表 4-6 所示，不同色彩的空调界面眼动数据进行 T 检验发现，三种色彩搭配下完成三个
按钮寻找任务中的眼动变量，当显著性水平为 0.05 时，平均眨眼时间、眨眼幅度、注视
时间、注视次数、平均瞳孔直径的眼动指标均有显著差异。
表 4-6 智能汽车中控数字界面色彩眼动变量显著性统计

黑色背景 蓝色背景 橙色背景 Df（自

眼动指标 t值 p值
M SD M SD M SD 由度）

眨眼次数（次） 1.04 0.25 0.95 0.59 1.13 0.43 -1.387 18 0.329

眨眼频率（次/ s） 0.43 0.37 0.42 0.63 0.51 0.57 1.539 18 0.071

平均眨眼时间（s） 0.39 2.92 0.23 4.93 0.20 0.89 4.387 18 0.027

眨眼幅度（°） 5.91 2.46 5.42 6.52 5.09 5.78 1.026 18 0.035

注视时间（s） 0.78 2.43 0.96 5.58 0.63 2.00 -1.007 18 0.009

注视次数（次） 1.23 6.73 1.58 1.98 1.49 0.92 0.590 18 0.026

平均瞳孔直径（mm） 4.21 2.53 4.33 0.67 4.95 4.32 0.219 18 0.015

扫视时间（s） 1.08 3.77 1.33 0.59 1.56 2.18 -0.970 18 0.433

扫视次数（次） 1.25 4.39 1.47 3.47 1.43 1.43 3.227 18 0.053

如图 4-13 所示，三种颜色搭配下，黑色背景界面平均眨眼时间和眨眼幅度最长，蓝
色背景界面次之，而橙色背景的界面最短，表明用户在三种界面中，黑色和蓝色的信息
搜索中用户能更快的识别特定目标并作出决策，用户的信息搜索能力较强，而橙色背景
用户的信息搜索能力相对较弱；黑色背景界面和蓝色背景注视时间明显长于橙色背景，
其中蓝色背景界面的注视时间最长，橙色背景界面注视时间最短，表明用户在识别信息
后，注意力停留在蓝色背景界面上时间较长，某种上来说不利于驾驶安全；从平均瞳孔
直径数据结果可以看出，橙色背景界面的总体认知负荷较小、用户的信息加工效率较高，
最大限度的降低了驾驶的分心，有利于驾驶安全，其他指标如眨眼次数、眨眼频率、扫
视时间和扫视次数，在三种不同颜色背景图标搭配的界面结果显著性均大于 0.05，不具
有参考价值。

74
 4 智能汽车座舱人机交互视觉认知机制

平均眨眼时间 眨眼幅度 注视时间

0.4 6 1

眨眼幅度（度）
0.8
0.3

时间（s）
时间（s）

5.5
0.6
0.2
0.4
5
0.1
0.2
0 4.5 0
黑色背景 蓝色背景 橙色背景 黑色背景 蓝色背景 橙色背景 黑色背景 蓝色背景 橙色背景

（a）眨眼时间 （b）眨眼幅度 （c）注视时间

注视次数 平均瞳孔直径 各个眼动指标P值分布
5 0.04
2
平均瞳孔直径（mm）

4.8
0.02
注视次数（次）

1.5 4.6
4.4
1 0
4.2
0.5 平均眨眼时间（s）
4
眨眼幅度（度）
3.8 注视时间（s）
0
注视次数（次）
黑色背景 蓝色背景 橙色背景 黑色背景 蓝色背景 橙色背景 平均瞳孔直径（mm）

（d）注视次数 （e）平均瞳孔直径 （f）各指标p值分布

图 4-13 智能汽车界面三种颜色背景搭配的眼动数据分析

用户填写针对三种色彩搭配界面的 PAD 量表后进行统计，如图 4-14 所示，主要获

取三种色彩搭配的总体情感评价分数，用来研究消费研究用户对智能汽车界面色彩搭
配的情感化体验和主观感受。

三种颜色搭配的PAD结果
7
6.34 6.23
6.5 6.14 6.15
6 5.66 5.79

5.5
5
4.5
4
愉悦度均值 依赖度均值

黑色背景 蓝色背景 橙色背景

图 4-14 智能汽车界面三种颜色背景搭配界面的 PAD 结果

由三种色彩搭配界面 PAD 量表的愉悦感和依赖感数据分析可以发现，在驾驶模拟

器实验下，用户感知愉悦度实验中橙色背景界面的愉悦度最高，蓝色背景次之，黑色
背景的愉悦度较差，总体的愉悦度均超过 4 分；用户依赖度结果来看，三种色彩搭配
界面的用户依赖度差别不大，但是用户对黑色背景和蓝色背景界面的依赖度较橙色背

75
 西北工业大学博士学位论文

景高，总体的依赖度均超过 4 分。用户普遍认为黑色和蓝色的高科技感并没有产生情
感上的关怀，但是更能给人信任感和依赖感，而橙色背景更能激发用户的情感，使用
户产生愉悦感，但不能带给用户更多的信任和依赖感。

如图 4-15 所示，三种色彩搭配方式中，橙色背景界面操作任务需要完成的时间较
长，而黑色背景和蓝色背景的界面用户完成操作任务的时间较短，在完成三个按钮的
触控任务中，黑色背景的界面需要的时间最短，为 2.31 秒；三种色彩搭配方式中用户
的失误次数均值橙色背景失误次数较多，黑色背景的失误次数较少。

眨眼、注视、操作任务完成时间分析 注视和失误次数分析
黑色背景 蓝色背景 橙色背景 注视次数 失误次数

3.5 2.98 7 6
3 2.54 6
2.31
2.5 5 4

次数（次）
时间（秒）

2 4 3
1.5 3
0.96
0.78 1.58 1.49
1 0.63 2 1.23
0.39
0.5 0.23
0.2 1
0 0
平均眨眼时间 注视时间 操作任务完成时间 黑色背景 蓝色背景 橙色背景

（a）眼动指标与任务完成时间关系分析 （b）眼动指标与失误次数分析

图 4-15 智能汽车三种颜色背景搭配界面的眼动数据分析

由智能汽车中控屏三种色彩搭配页面人机交互眼动数据发现，愉悦感、依赖感对各
眼动指标的单因素方差分析，可以得出如表 4-7 的结果，用户愉悦和信任在 0.05 的显著
性水平下，反映三种不同色彩搭配页面下愉悦感的眼动指标包括眨眼次数、注视时间、
注视次数和平均瞳孔直径，反映三种不同色彩搭配界面依赖感的眼动指标包括眨眼次数、
注视时间和平均瞳孔直径，其他眼动指标并不明显。
表 4-7 智能汽车中控数字界面情感量表的眼动变量显著性统计

愉悦度 依赖度
眼动指标
F值 P值 F值 P值
眨眼幅度（°） 0.672 0.019 0.907 0.039

平均眨眼时间（s） 0.535 0.052 0.723 0.476

注视时间（s） 1.932 0.043 0.673 0.037

注视次数（次） 1.353 0.031 0.581 0.326

平均瞳孔直径（mm） 0.501 0.020 1.892 0.019

3) 智能汽车座舱中控数字界面布局视觉认知眼动分析

76
 4 智能汽车座舱人机交互视觉认知机制

目前主流的布局方式有三种，左右布局、上下布局和上中下布局。从交互设计角度
看，因为屏幕界面在用户正前方，界面布局不影响具体操作，因此三种布局在 iPad 和手
机等数字界面上非常普遍，而汽车中控屏在驾驶员的右前方居多，因此不同布局对用户
获取信息的能力会相应产生影响。本次实验中的自变量是左右布局、上下布局和上中下
三种布局，因变量为三种布局下被试的不同眼动指标。要求被试随机打开三个不同布局
的音乐界面并打开指定音乐，不同被通过眼动仪获取该操作的人机交互眼动数据，对不
同布局的音乐界面眼动数据进行 T 检验发现，如表 4-8 所示，三种色彩搭配下完成三个
按钮寻找任务中的眼动变量，当显著性水平为 0.05 时，眨眼次数、平均眨眼时间、注视
时间、注视次数、扫视次数的眼动指标均有显著差异，其他指标显著性不明显。
表 4-8 智能汽车中控数字界面布局眼动变量显著性统计

左右 上下 上中下 Df（自
眼动指标 t值 p值
M SD M SD M SD 由度）

眨眼次数（次） 1.53 0.11 0.95 0.23 1.34 0.29 1.356 19 0.029

眨眼频率（次/ s） 0.53 0.23 0.42 0.09 0.51 0.22 -0.332 19 0.338

平均眨眼时间（s） 0.57 0.12 0.30 0.09 0.60 0.29 2.197 19 0.019

眨眼幅度（°） 5.31 1.26 5.22 2.35 5.27 2.62 -1.001 19 0.435

注视时间（s） 1.06 0.43 0.36 0.28 0.97 0.37 -0.570 19 0.023

注视次数（次） 1.13 0.73 0.87 0.38 1.29 0.82 1.267 19 0.014

平均瞳孔直径（mm） 4.51 1.71 4.43 1.53 4.65 2.26 0.418 19 0.055

扫视时间（s） 0.92 3.77 0.35 0.59 1.09 2.18 -1.013 19 0.239

扫视次数（次） 2.25 4.39 1.47 3.47 2.43 1.43 2.281 19 0.013

左右布局、上下布局和上中下三种布局下的人机交互过程中，上下布局的眨眼次数
较少，左右布局眨眼次数较多，上中下布局次之，眨眼时间数据中，上下布局的眨眼时
间最短，上中下布局和左右布局的眨眼时间较长，表明用户在三种布局的界面中，上下
布局界面不需要用户过多的信息解码和经验认知就能完成任务，而左右布局和上中下布
局需要较多的信息解码能力才能完成任务；三种布局界面中左右布局和上中下布局的注
视时间和注视次数明显多于上下布局的界面，表明左右布局和上中下布局界面下用户需
要更多的注意力进行信息搜索和信息解码，相对上下布局界面更不利于驾驶安全；从扫
视次数可以看出，用户为了保证驾驶安全的同时完成该交互任务，左右布局和上中下布
局的扫视次数较多，说明查找交互界面要素相关信息的能力较低，检测和识别视觉刺激

77
 西北工业大学博士学位论文

的能力较差，而上下布局在关键信息监测和识别要优于左右和上中下布局界面。

用户填写针对三种布局界面的 PAD 量表后进行统计，主要获取三种布局界面的总

体情感评价分数，用来研究消费研究用户对智能汽车界面布局的主观感受和体验。如
图 4-16 所示，由三种布局界面 PAD 量表的愉悦感和依赖感数据分析可以发现，在驾驶
模拟器实验下，用户感知愉悦度实验中上下布局界面的愉悦度最高，上中下布局界面
次之，左右布局的愉悦度较低，三种布局界面总体的愉悦度均超过 4 分；从用户依赖
度结果来看，三种布局界面中上下布局界面的用户依赖度较高，上中下布局的依赖度
次之，左右布局的依赖度较低，三种布局界面总体的依赖度均超过 4 分。

不同布局的PAD结果
8
7 6.57 6.56
6 5.39 5.11
5 4.43 4.29
4
3
2
1
0
愉悦度均值 依赖度均值

左右 上下 上中下

图 4-16 智能汽车三种界面布局的 PAD 数据结果

用户普遍认为上下布局的愉悦度和信任感强于上中下和左右布局的界面，这是因
为在传统的手机、平板等数字设备使用经验中较少使用左右布局的应用，导致用户在
使用习惯和认知工作记忆不能很好的转换到汽车中控数字界面布局中，从而对上中下
和左右布局的信任感和满意度低于上下布局的满意度和信任感。

眨眼、注视与任务完成时间分 眨眼、注视和失误次数分析
析 8
4 3.3
2.98 6 4.45
次数（次）

3 3.23
时间（s）

2.01 4
2 1.53 0.95 1.29
1.06 0.97 1.13 1.34
2 0.87
0.57 0.36 0.6 0.23
1 0.3
0
0 左右 上下 上中下
左右 上下 上中下 -2

平均眨眼时间 注视时间 任务完成时间 眨眼次数 注视次数 失误次数

（a）眼动指标与任务完成时间关系分析 （b）眼动指标与失误次数分析
图 4-17 智能汽车三种界面布局眼动数据分析

如图 4-17 所示，三种布局界面操作中，上下布局的界面操作任务需要完成的时间

78
 4 智能汽车座舱人机交互视觉认知机制

较短，而左右和上中下布局的界面用户完成操作任务的时间较长，三种布局下操作时
长与眨眼和注视时长正相关；三种布局界面操作用户的失误中，上下布局页面的失误
次数明显少于左右和上中下布局的界面，其中左右布局的界面操作失误最多，上中下
布局界面次之。

由智能汽车中控屏数字界面三种布局的音乐页面人机交互眼动数据，愉悦感、依赖
感对各眼动指标的单因素方差分析可以得出如下结果，如表 4-9 所示，用户愉悦和信任
在 0.05 的显著性水平下，反映三种不同布局页面下愉悦感的眼动指标包括眨眼次数、平
均眨眼时间、注视时间和扫视次数，反映三种不同布局界面的依赖感眼动指标包括眨眼
次数、注视时间和扫视次数，其他眼动指标并不明显。
表 4-9 智能汽车中控数字界面布局与情感量表显著性统计

愉悦度 依赖度
眼动指标
F值 P值 F值 P值
眨眼次数（次） 0.337 0.041 0.364 0.028

平均眨眼时间（s） 0.705 0.022 1.240 0.571

注视时间（s） 0.918 0.033 0.232 0.019

注视次数（次） 1.353 0.081 0.631 0.022

扫视次数（次） 0.501 0.009 1.331 0.036

人类视觉之所以能够通过极为有限的信息处理资源完成极为复杂的信息处理任务，
选择性视觉注意的控制和调节能力在其中发挥着决定性作用[111]，本文的研究目的也正
是要将这种机制引入到智能汽车座舱中的复杂信息处理中去。由上述实验结果可以看出，
用户与智能汽车座舱人机交互中视觉选择性受智能汽车整体的座舱空间布局、数字界面
的信息元素的视觉注意所影响，汽车整体的座舱空间布局、中控数字界面的认知机制驱
使用户完成不同人机交互行为，并表现出特定的规律和特征。

4.4 本章小结
本章界定了智能汽车座舱人机交互视觉认知信息，分析了智能汽车座舱人机交互系
统的信息载体和呈现方式，通过真实场景的驾驶实验研究和驾驶模拟器实验，研究了智
能汽车驾驶过程中，用户对智能汽车座舱布局和汽车中控数字界面的视觉认知机制，为
客观评价智能汽车中控数字界面设计提供数据参考。
研究发现，智能汽车座舱用户视觉认知机制主要受两方面影响，一是受智能汽车座
舱布局和座舱内软硬件信息要素的影响，外部视觉信息刺激呈现等会在特定人机交互任
务下吸引视觉注意，这种视觉注意属于初级视觉认知阶段，由外部视觉信息驱动，是本

79
 西北工业大学博士学位论文

章分析的重点；另一方面主要受用户主观原因的影响，如用户大脑潜意识、认知工作记
忆等都会使用户的视觉注意发生变化，这种视觉注意属于主观高级认知阶段，由用户大
脑的知识、经验、意识驱动，涉及更多的知识和信息加工和处理过程，第五章将从用户
的潜意识、认知工作记忆、经验驱动的高级认知能力出发，研究和解释用户智能汽车座
舱人机交互数字界面的内源性认知机制。

80
 6 智能汽车座舱人机交互体验设计评价方法

第5章 智能汽车座舱人机交互界面脑认知机制

上一章重点讲了中控软硬件布局、界面视觉信息呈现等初级视觉认知阶段的视知觉
认知规律，本章重点关注人机交互行为和视觉行为背后的脑认知机制，探索用户大脑潜
意识、认知工作记忆、经验驱动的高级认知规律，研究用户智能汽车座舱人机交互数字
界面的内源性认知机制。本章主要介绍了智能汽车座舱人机交互脑认知实验的基本实验
范式，对智能汽车座舱人机交互数字界面认知 ERP 实验进行了详细阐述，并通过数据结
果分析与讨论了智能汽车座舱人机交互界面的脑认知模态的一般规律。此外，本章数据
及结果也为第六章座舱中控人机交互界面设计评价研究提供数据基础。

5.1 人机交互界面认知的脑电指标及实验范式
5.1.1 事件相关电位成分选择与应用
事件相关电位（Event-related Potential，ERP）主要通过信号过滤和叠加的方式从 EEG
中分离出来[84]，ERP 脑电成分分为外源性和内源性成分，外源性成分来源于物理刺激产
生，属于早期脑电成分[85]，如 P50、N1 和 P1 等，内源性成分不受物理刺激的影响，与
知觉或认知等心理因素相关，如 P200、P300 和 N400 等，P200 多用于在视觉捜索实验
中，与特定任务相关的信息加工认知有关，N400 成分多与语义词汇匹配有关，当语义
匹配不一致时候，就会出现该波形[86]。脑电设备获得原始 EEG 数据后，通过离线分析
[83]
对原始脑电数据进行处理加工，其过程包括数据合并与预览、去除眼电、心电等干扰
源伪迹、脑电分段和基线校正、数字滤波、叠加平均和总平均等步骤[88]。
本文在智能汽车中控人机交互界面的研究应用主要体现在对数字界面的认知、视
觉信息感知和绩效评估上，通过对 ERP 各个成分的研究，挖掘数字界面元素的认知过
程及信息加工过程，通过对座舱中控人机交互界面元素的认知记忆与注意、生理反
应、判断、评估与决策等 ERP 脑电实验研究，获取相关生理指标和和脑电数据，通过
对 ERP 成分的数据分析研究人机交互行为反馈与信息认知间的关系，建立智能汽车座
舱人机交互界面视觉信息认知绩效脑认知实验分析方法和研究体系。
5.1.2 人机交互界面认知的脑电指标选择
本文主要关注 P1／N1 成分、N2 成分、P300 成分、N400 和 ERN 等脑电指标，P1
／N1 成分与早期选择性注意引起的偏好性感觉编码有关，N2 成分与视觉注意、刺激辨
认、记忆等重要认知功能相关，P300 成分与选择认知和觉察反应相关，N400 与视觉特
征刺激识别语义偏差和认知失误相关， ERN 成分主要表征人机任务操作错误的感知，
单击按键决策反应时的运动相关电位以及系统报警提示和响应时间段引起的其他相关
脑电成分等，具体含义可参见第二章的脑电指标详细介绍。

81
 西北工业大学博士学位论文

5.1.3 实验范式选择
智能汽车座舱数字界面信息元素的视觉认知脑机制研究中，智能汽车中控的界面本
身作为实验刺激材料较为复杂，需要将图标、布局、色彩等界面信息的关键元素，单独
抽离出来开展实验研究，本文基于视觉 Oddball 实验范式和 Go-Nogo 实验范式，将数字
界面的特定信息元素，设定为实验中的靶刺激和标准刺激，诱发产生 P300、MMN 等与
刺激概率有关的 ERP 成分，来分析信息元素不同出现概率时脑区 ERP 成分的变化舰律，
从信息量认知负荷角度选取元素的设计方案。
智能汽车座舱数字界面认知机制的研究过程中，也涉及视运动知觉启动实验范式
，对智能汽车座舱数字界面不同交互方式下，所进行的非意识加工脑机制进行研
[112,113]

究；空间注意提示实验范式[113]，关注界面选择过程中的选择性注意的脑机制研究；工作
记忆实验范式[114]，主要执行数字界面交互任务的信息获取及加工，实现对智能汽车座舱
中控数字界面认知机理中的记忆研究脑机制进行研究；“学习—再认”实验范式[115]可对
数字界面认知阶段记忆效果进行研究，挖掘智能汽车座舱数字界面认知阶段记忆效果的
脑机制。

5.2 中控数字界面图标信息密度脑认知机制
图标是智能汽车座舱人机交互数字界面的重要组成部分，是智能汽车人机系统与人
交互的关键通道，图标在人机交互过程中使用频次高，带给用户更高的认知效率和操作
绩效的同时，也对用户的认知记忆和信息处理能力提出更高要求，本文通过对图标信息
排布记忆特点和认知负荷的研究，揭示用户与智能汽车中控数字界面交互中图标信息密
度的脑认知机制。
5.2.1 中控界面图标信息密度实验目的
本实验在驾驶模拟器上进行，主要获取智能汽车座舱中控屏不同图标信息密度的
脑电实验数据，分析智能汽车不同图标排布下用户的脑认知规律，挖掘智能汽车座舱
中控屏界面图标排布下的用户认知记忆和认知负荷脑机制，为客观的评价智能汽车座
舱中控界面布局设计合理性提供参考。
5.2.2 中控数字界面图标信息密度实验流程
1) 实验对象
被试用户主要由 3 年以上驾龄用户且驾驶经验丰富的用户来参与完成。根据 ERP 研
究的出版标准，被试样本量选取 20 人左右，要求用户有良好的视听能力且为右利手。
本次实验招募 20 名健康的志愿者参加该实验，其中男性 15 名，女性 5 名。实验中有 2
名被试（1 名男性，1 名女性）由于脑电数据损坏或头皮接触不良数据丢失而被剔除，
共获取 18 组有效数据。被试年龄从 23 岁到 35 岁之间，平均年龄为 27.4 周岁。
2) 实验环境、设备和材料

82
 6 智能汽车座舱人机交互体验设计评价方法

本实验要求的物理环境是无干扰的实验室，如图 5-1 所示，驾驶模拟器采用三屏幕

主动式汽车驾驶模拟器，鉴于数字界面图像显示的高要求，采用 iPad 作为模拟智能汽车
中控界面的媒介，其中 iPad 与电脑显示屏同步显示，保证实验范式的有效性。

图 5-1 实验室场景图

驾驶模拟器开启时驾驶员头部和身体会有晃动，为此本文采用便携式脑电设备采
集装置 EmotivEPOC+research 版本作为脑电采集设备，该设备已经广泛应用于心理
学、脑认知科学等相关研究，本文主要应用该设备获取用户在驾驶和模拟驾驶过程中
的脑电数据，通过其配套软件进行脑电数据的初步加工，如图 5-2 为整个设备的硬件
及电极分布图。

图 5-2 实验用脑电采集设备

83
 西北工业大学博士学位论文

除了脑电生理数据实验外，本实验采用 SWAT 量表来表征用户的认知负荷，其中

SWAT 要求用户对时间负荷、心理努力负荷和心理紧张负荷进行 1-7 打分，最后总分分
数越高，说明认知负荷越高，研究表明，使用该量表能够较准确地测查出使用者认知负
荷的变化。实验设备和硬件中，便携式脑电设备采集装置为 Emotiv EPOC+ research 版
本，主要有连接电脑加密 U 盘、导电液和充电设备；脑电信号记录的计算机主要用于记
录和采集脑电波及实验范式软件 Eprime 的安装，要求该计算机上装有 Emotivpro 软件
（脑电记录和分析软件），三屏幕主动式汽车驾驶模拟器一台。
3) 实验设计与流程
iPad 固定在模拟驾驶中控台位置，在驾驶员右前方 70cm 处，被试带好 Emotiv 脑电
采集设备。
3×3显示(4个界面）

图标呈现
确认

间隔5000ms（呈现10次） 鼠标按键确认 3×3显示(4个界面）

间隔1000ms
间隔1000ms
图标呈现
间隔1000ms 确认

3×4显示（3个界面）
间隔3500ms（呈现10次） 鼠标按键确认 3×3显示(4个界面）
图标呈现
间隔1000ms
确认 图标呈现
间隔1000ms 间隔1000ms 确认

间隔5000ms（呈现10次）
鼠标按键确认 3×4显示（3个界面）
间隔2000ms（呈现10次） 鼠标按键确认
间隔1000ms
间隔1000ms
图标呈现
间隔1000ms
间隔1000ms
确认
3×6显示（两个界面） 间隔1000ms

图标呈现 间隔3500ms（呈现10次） 3×4显示（3个界面）

鼠标按键确认
确认

间隔1000ms 图标呈现
间隔1000ms
鼠标按键确认 间隔1000ms 确认
间隔5000ms（呈现10次）
3×6显示（两个界面）
间隔1000ms
间隔1000ms
间隔2000ms（呈现10次）
图标呈现 鼠标按键确认
间隔1000ms
确认
间隔1000ms

3×6显示（两个界面） 间隔1000ms
鼠标按键确认
间隔3500ms（呈现10次）
图标呈现
间隔1000ms
间隔1000ms
确认
间隔1000ms

注：界面中出现的图标数量为36个，每次全部呈现10次 鼠标按键确认
间隔2000ms（呈现10次）
图标采用单色图标显示，背景为白色，需要被试判断而出 现的图标为随机出现，每次各不相同
上图仅为实验范式示意图，真实图标尺寸会根据界面放大显示，且各个界面的图标大小一致 间隔1000ms

间隔1000ms
结
束

图 5-3 中控数字界面图标信息密度脑认知实验范式示意图

本次选共用 36 个图标下的三种信息密度，3 乘 3 密度的 4 个页面，3 乘 4 信息密度

的 3 个页面，3 乘 6 信息密度的 2 个界面，首先呈现给被试连续的不同数量（先 3×3 四
个界面显示，再 3×4 三个界面显示，最后 3×6 两个界面显示）和不同时间（先间隔 5000ms，
再 3500ms，再 2000ms）的图标界面，显示时间间隔由完成单个任务的最长时间评估后
确定，时间呈 1500ms 递减。其中间隔时间越长，时间压力越小，三种不同图标密度按

84
 6 智能汽车座舱人机交互体验设计评价方法

三种不同时间间隔各呈现 30 次（10 次后时间压力变化异常），每种时间压力下随机呈

现单个图标给被试，被试需要在 1000ms 确认该图标是否出现在之前的三种图标密度的
界面中，若用户确认该图标出现过则按“←”键，确定没有出现过则按“→”键，操作
结束后进入引导界面 1000ms 后进入下一轮任务，直到完成整个实验任务为止，整个实
验范式可参见图 5-3。
本实验的刺激变量为不同图标排布密度和不同时间间隔下的不同界面，要求界面中
除了图标排布密度外没有差别，实验中变量主要包括图标排布密度和时间压力，图标排
布密度包括 3×3、3×4 和 3×6，时间间隔分别为 5000ms、3500ms 和 2000ms，共 9 个变
化，本次实验由工作记忆实验范式中的双任务范式改进而来，结合样本延迟匹配任务范
式和 n-back 任务范式将 9 中变化进行逐次呈现，主要包括视觉刺激、学习记忆、认知和
反馈三个步骤完成。智能汽车数字交互界面图标认知脑电实验操作过程和注意细节环节

实验前一天内，要求被试不可以进行剧烈的体育运动，提前调试好 iPad、驾驶模拟
器，将脑电采集设备充满电并正确连接电脑，打开脑电采集的软件和相关实验范式软件，
将电脑屏幕与 iPad 屏幕同步，将键盘放置到模拟器扶手箱处，并提前将实验其他相关材
料准备好。实验前 10 分钟，被试提前进佩戴好脑电设备进入驾驶模拟器，再次告知其
需要完成的操作任务和操作时间，其中操作时间为 10 分钟。一切准备完毕后进行实验。
实验过程保持安静，当被试情绪急躁时可停止实验。
驾驶模拟实验结束以后，被试保持在驾驶位置并放松，主持人采用口语报告的方法
由主试按照 SWAT 量表要求用户对时间负荷、心理努力负荷和心理紧张负荷进行 1-7 打
分，被试起身后休息，以此类推，其他被试以随机顺序完成该实验。
5.2.3 中控数字界面图标信息密度认知实验数据分析
1) 认知行为数据分析
手机键盘按键信息，定义图标认知匹配准确率（Accuracy of cognitive matching，
AOCM）为匹配准确的图标次数与总次数之比，定义图标认知反应时间 (Cognitive
response time,CRT)为被试看到目标图标刺激物到按键作出辨认的时间值。将 3×3、3×4
和 3×6 下 5000ms、3500ms 和 2000ms 时间间隔的数据命名为为 A-1、A-2、A-3、B-1、
B-2，B-3、C-1、C-2 和 C-3。AOCM 表征被试认知记忆能力，CRT 表征记忆认知与信息
加工的时间。此次实验收集的数据均有效，未出现记录不全数据记录缺失的现象。
表 5-1 为不同图标密度、不同时间间隔下界面图标记忆的行为数据描述性统计，其
中 CRT 单位是 ms。可以看出，AOCM 在随着图标密度的增大准确率明显降低，这种趋
势随着时间压力的增大会更明显，而时间压力对用户的认知记忆影响较大，其中 C-3 的
准确率已经低于 0.5，而且反应时间也接近 1000ms 的临界值。在设置 0.05 的显著性水
平下，反映认知记忆与认知负荷情况的 9 种变化要素均具有显著性差异。

85
 西北工业大学博士学位论文

表 5-1 智能汽车中控数字界面信息密度与 ACOM 和 CRT 显著性分析

Df（自由
AOCM 和 CRT 均值 标准差 t值 P值
度）

A-1 0.963 525.8 0.029 219.1 0.135 30 0.035

A-2 0.952 572.3 0.032 197.5 -0.397 30 0.011

A-3 0.917 892.3 0.045 337.3 1.264 30 0.013

B-1 0.837 594.6 0.077 392.8 0.243 30 0.018

B-2 0.729 879.1 0.156 325.4 -1.992 30 0.022

B-3 0.664 905.9 0.087 297.4 -0.382 30 0.025

C-1 0.722 819.3 0.092 407.7 -2.113 30 0.009

C-2 0.510 896.9 0.102 292.9 0.227 30 0.047

C-3 0.457 985.4 0.379 418.3 0.659 30 0.043

2) 脑电数据分析
将刺激前 100ms 到刺激 600ms 进行分段，脑电数据在 EEGLAB 上进行预处理，去
除眼电伪迹和进行低通 20Hz 的滤波操作，最后对 9 段数据进行分别叠加平均操作。P300
是目前研究最多的 ERP 成分，其峰值潜伏期在 300－600ms 左右，表征选择认知和觉察
反应，P200 成分被认为与早期视觉编码、认知加工和匹配有关，本次实验选取 P300 成
分、P200 和 N400 等成分作为主要分析脑电 ERP 成分。一般情况下 P300 电位产生位置
主要位于大脑的顶枕区，P200 出现在额中央区，考虑到 emotiv 本身的电极较少及 P300
成分的潜伏期，选取 F3 和 F4、P7 和 P8、O1 和 O2 关键电极作为典型电极，针对 P200
和 P300 成分，分别选取刺激前 100ms 至后 600ms 时间段内的叠加平均波幅进行分析。

图 5-4 智能汽车中控数字界面信息密度脑电数据拟合图

86
 6 智能汽车座舱人机交互体验设计评价方法

通过 3 乘 6 次叠加平均后，在 9 种变化中，各个通道的波幅数据进行叠加后，形成
如图 5-4 所示波形，为拟合后的单通道数据。通过这种方式，可以将原始数据分割为 54
个包含单个通道的 ERP 数据进行分析。图 5-5 为 6 个不同电极位置在 3×3 图标密度下
的叠加平均电位波形图，可以发现在 F3 和 F4 及 O1 和 O2 电极位置中发现了较为明显
的 P300 和 P200 波形图。P7 和 P8 的两个电极没有发现明显的 P300 或 P200 波形，均无
显著性差异。

（a）F3电极 （b）F4电极

（c）P7电极 （d）P8电极

（e）O1电极 （f）O1电极

图 5-5 不同电极位置在 3×3 图标密度下的叠加平均电位波形图

在 3×3 图标密度下 F3 和 F4 及 O1 和 O2 电极位置在 300-400ms 出现较为明显的

P300 波形，由于 5000ms 的时间间隔时间压力较低，其 P300 潜伏期较长，波峰值远小

87
 西北工业大学博士学位论文

于 2000ms 时间间隔的波峰，说明其心理负荷远小于 2000ms 时间间隔，此外，由波形图

可以看出，3×3 图标密度下在 2000ms 时间间隔下的反应速度明显高于 5000ms 时间间隔
的反应时间，而 2000ms 时间间隔下 P300 潜伏期要比 5000ms 和 3500ms 时间间隔的潜
伏期延长，证明任务难度増大，P300 潜伏期会延长，反应时变长，体现为在 5000ms 时
间间隔下，被试需要花费更多时间来理解任务，感知任务和决策任务，这与行为数据描
述性统计结果保持一致。P200 成分被认为与早期视觉编码、认知加工和匹配有关，在
3×3 图标密度下 F3 和 F4 及 O1 和 O2 电极位置在 150-300ms 出现较为明显的 P200 波
形，说明在刺激出现以后用户经过短暂的认知和视觉编码，最后不同的刺激物产生不同
的心理负荷，而心理负荷通过 P300 的潜伏期和峰值表征出来。

（a）F3电极 （b）F4电极

（c）P7电极 （d）P8电极

（e）O1电极 （f）O1电极
图 5-6 不同电极位置在 3×4 图标密度下的叠加平均电位波形图

88
 6 智能汽车座舱人机交互体验设计评价方法

如图 5-6 所示，在 3×4 图标密度下 P7 和 P8 没有显著的 P300 或 P200 波形产生，而

F3 和 F4 及 O1 和 O2 电极位置在 300-400ms 出现较为明显的 P300 波形，由于 5000ms
的时间间隔下 P300 波峰值远小于 2000ms 时间间隔的波峰，说明时间压力越大，用户的
心理负荷和紧张程度越大，此外，由波形图可以看出，3×4 图标密度下时间间隔越小导
致时间压力越大，P300 潜伏期会相对较长且反应时变长，体现为在 5000ms 时间间隔下，
被试需要花费更多时间来理解任务，感知任务和决策任务，但是 2000ms 时间间隔的的
认知负荷却更大。由 P200 成分同样可以看出，F3 和 F4 及 O1 和 O2 电极部位，在刺激
出现以后用户需要经过短暂的认知和视觉编码过程。结果与 3×3 布局的结果一致。

（a）F3电极 （b）F4电极

（c）P7电极 （d）P8电极

（e）O1电极 （f）O1电极
图 5-7 不同电极位置在 3×6 图标密度下的叠加平均电位波形图

如图 5-7 所示，在 3×6 图标密度下，F3 和 F4 及 O1 和 O2 电极位置出现了较为明显

89
 西北工业大学博士学位论文

的 P300、P200 和 N400 波形，P7 和 P8 电极位置并不显著，虽然图标密度增大，但整体

趋势和 3×3 及 3×4 的一致，时间间隔越小，时间压力越大，用户的心理负荷和紧张程度
越大，P300 潜伏期会相对较长且反应时变长，认知负荷最大。由 P200 成分同样可以看
出，F3 和 F4 及 O1 和 O2 电极部位，在刺激出现以后用户也需要经过短暂的认知和视
觉编码过程，最值得注意的是，在 3×6 图标密度下，F3 和 F4 及 O1 和 O2 电极位置出
现了非常显著的 N400 波形，这表示用户在做决策和选择的时候出现了不确定性或者自
我否定，用户在数字界面刺激识别的过程中出现偏差和犹豫，而这一结果与行为数据中
用户准确率降低后的认知偏差有直接关系。
为了进一步比较不同图标密度下用户的脑电数据，将 F3 和 F4 及 O1 和 O2 电极位
置的脑电数据进行数据拟合，左半球的 F3、O1 和 F4、O2 脑电波分别进行叠加平均归
一化处理，目的是将不同图标密度不同电极位置的 ERP 数据表征到一个维度进行比较。
将不同图标密度下四个电极的数据进行叠加平均归一化处理，可以发现拟合后的数
据显著性有所提高，为了清晰的对比不同图标密度下脑电的变化，对相同时间间隔相同
刺激下不同图标密度的数据，放在同一维度进行比较，如图 5-8 所示，叠加后的数据可
以清晰的看到 P200、P300 和 N400 对应位置有明显的波动与变化，其中 P200 和 N400
的峰值区别不大，P300 的峰值差异性较大。在 5000ms 的时间间隔下，3×3 和 3×4 图标
排布的波峰峰值较小，用户不需要更多的视觉编码和认知加工匹配就能很快的找到目标
图标，时间压力也较小，而 3×6 图标排布的 P200 明显持续时间较长，且波峰较 3×3 和
3×4 图标排布较大，说明被试在认知加工和匹配上面需要更多的能量，此外，P300 成分
中，3×6 图标排布的波幅远大于 3×3 和 3×4 图标排布下的波幅，说明图标密度增大后，
被试的注意、辨识和工作记忆难度明显增加，认知负荷明显增大，此外，在 3×6 图标排
布下出现了显著的 N400 波形，意味着用户在图标密度增大以后对自我判断的否定，意
味着用户出现认知偏差和操作失误的可能性明显增大。

（a）5000ms间隔下拟合数据 （b）3500ms间隔下拟合数据 （c）2000ms间隔下拟合数据

图 5-8 不同电极位置在 3×6 图标密度下的叠加平均电位波形图

3500ms 的时间间隔下的波峰峰值明显高于 5000ms 的时间间隔下的峰值，且三个主

要成分的潜伏期变短，且波形变得更加尖锐，说明随着时间压力的增大，用户需要更多
的认知负荷和更快的反应时间才能完成相关任务。3×6 图标排布的 P200 较 3×3 和 3×4
图标排布更显著，且波形更尖锐持续时间更短，说明被试在相同的时间压力下，密度更

90
 6 智能汽车座舱人机交互体验设计评价方法

大的图标排布方式迫使用户加快认知加工和匹配流程，P300 成分中，3×6 图标排布的波

幅峰值远大于 3×3 和 3×4 图标排布下的波幅，且更尖锐，说明被试的注意、辨识和工作
记忆难度随着图标密度的增大明显增加，认知负荷也明显增大，这导致的结果是，在 3×6
图标排布下出现了较为显著的 N400 波形，意味着用户在图标密度增大以后的自我否定
增强，而且 3500ms 时间间隔下的 N400 波形比 5000ms 时间间隔的波形更显著和尖锐，
说明时间压力越大，用户的自我否定感越强，出现认知偏差和操作失误的可能性也会明
显增大。
2000ms 的时间间隔下的最大的变化是 P300 和 N400 波峰峰值明显高于 5000ms 和
3500 时间间隔下的峰值，且三个主要成分的波形变得更加尖锐，且潜伏期变的更短，说
明随着时间压力的进一步增大，用户需要更多的认知负荷和更快的反应时间才能完成相
关任务。3×6 图标排布的 P200 较 3×3 和 3×4 图标排布更显著，P300 成分中，3×6 图标
排布的波幅峰值远大于 3×3 和 3×4 图标排布下的波幅，峰值差距更大且波形更尖锐，说
明被试的注意、辨识和工作记忆难度随着图标密度的增大明显增加，认知负荷激增，同
样在 3×6 图标排布下的 N400 波形更显著和尖锐，意味着用户在图标密度增大以后的自
我否定进一步增强，用户出现认知偏差和操作失误的可能性进一步增大，而随着时间压
力和图标密度的增大，认知负荷会明显增大，这一结果与行为数据一致。
3) 结果讨论
P200 成分作为视觉注意和认知加工匹配的衡量指标，显示了被试在不同时间压力
下、不同图标密度下用户的视觉注意和认知加工与匹配的变化，本实验证实被试在较大
的时间压力下会加快认知加工与匹配时间，导致的结果是认知负荷的不断加大，对于智
能汽车驾驶安全而言并不利。P300 成分中涉及更多的选择认知、辨识和工作记忆认知，
本实验证实被试在较大的时间压力下，用户的辨识和工作记忆负荷激增，随着图标密度
的增大，用户的认知负荷越来越大，直接的结果是导致更多的人机交互的失误产生，而
表征这种失误的是 N400 成分，在较大的时间压力和图标密度下，用户会主观意识到其
失误的产生，N400 在没有文字诱发的情况下仍然表征出来。智能汽车中控数字界面图
标信息密度脑认知机制研究为第六章提供基础数据支撑。

5.3 中控数字界面色彩脑认知机制
色彩是数字界面中影响人类感知的重要组成部分[116]，对智能汽车的感官体验起着
重要的作用。为获取智能汽车中控数字界面色彩要素的脑认知数据和色彩认知规律，开
展色彩刺激诱发事件相关电位脑电实验，通过脑电实验数据分析，挖掘色彩认知负荷及
认知机制，指导智能汽车座舱数字界面的设计和评价。
5.3.1 中控界面色彩实验目的
本实验在驾驶模拟器上完成，通过脑电实验研究智能汽车座舱中控屏不同色彩搭配

91
 西北工业大学博士学位论文

对用户记忆加工和认知决策的影响，分析智能汽车不同色彩下用户的脑认知规律，挖掘
智能汽车座舱中控屏界面色彩对用户认知记忆和认知负荷的影响，为客观的设计与评价
智能汽车座舱中控界面色彩设计提供参考。
5.3.2 中控数字界面色彩脑认知实验流程
1) 实验对象
为了提高实验效率，本次被试对象与 5.2 章节中控数字界面图标信息密度脑认知实
验研究的被试保持一致，要求被试在做完上个实验后一周后开始进行本实验。
2) 实验环境、设备和材料
本实验环境与 5.2 章节保持一致，仍然在同一驾驶模拟器种用 iPad 作为模拟智能汽
车中控数字界面的媒介，其中 iPad 与电脑显示屏同步显示，保证实验范式能按照电脑设
计的范式运行，仍然以便携式脑电设备采集装置 EmotivEPOC+research 版本作为脑电采
集设备。除了脑电生理数据实验外，本实验采用色彩情绪量表来表征用户对所选色彩的
情绪，其中选取烦躁的-冷静的、倦怠的-精神的、沉重的-轻松的、犹豫的-果断的、混
沌的-单纯的、郁闷的-愉悦的、冷漠的-友好的七个正负情绪词汇表达用户的色彩情绪，
其中分数从 1-7 分进行打分，分数越高代表情绪越正向积极，实验设备和硬件的具体参
数和 5.2 章节保持一致。
3) 实验设计与流程
选取导航、音乐界面、FM 调频、蓝牙电话四个界面的不同颜色搭配作为实验刺激
物(黑色背景配合白色字体和图标、深蓝色背景配合白色字体和图标、橙色背景配合白
色字体和图标、浅灰色背景配合黑色字体)。

间隔
1000ms 图标呈现
确认
四个不同色彩的不同界面
各呈现5次（共20次） 间隔
1000ms
鼠标按键确认
该界面是FM调频 间隔
图标呈现
1000ms
确认
间隔
间隔1000ms
1000ms

间隔
图标呈现 1000ms
该界面是FM调频 鼠标按键确认
间隔
确认 1000ms

间隔
1000ms 间隔1000ms
间隔
1000ms 鼠标按键确认
该界面是电话调频
间隔
1000ms 确认
间隔 确认
间隔1000ms 1000ms
间隔
1000ms
鼠标按键确认
重复以上步骤
注：界面中不同背景不同功能界面共16种搭配，16种搭配均要求被试做出判断 至20个界面都 结
上图仅为实验范式示意图，真实图标尺寸会根据界面放大显示，且各个界面的图标大小一致 显示完毕 束
间隔1000ms

间隔1000ms

图 5-9 中控数字界面色彩脑认知实验范式示意图

首先呈现被试四个不同色彩的不同界面各呈现 5 次，共 20 次呈现，单次呈现间隔

2000ms，最后给出不同颜色的界面让用户辨认是否匹配界面下文字，如呈现蓝色音乐界

92
 6 智能汽车座舱人机交互体验设计评价方法

面，界面下文字为“该界面是音乐界面”，被试需要在 1000ms 确认该界面是否与文字

匹配，若用户确认该界面与文字匹配则按“←”键，确定不匹配则按“→”键，操作结
束后进入引导界面 1000ms 后进入下一轮任务，直到所有色彩界面都测试完毕为止，为
了保证文字认知的一致性，界面下文字大小一致，此外值得注意的是，文字表述均为正
向描述，不会出现类似于“该界面不是 FM 调频界面”等否定表述，实验范式参见 5-9。
本实验的刺激变量为不同色彩搭配的不同界面，需要与文字描述进行匹配，此过
程需要用户的认知判断和决策，本次共产生 16 种变化，为了去除界面内容的影响，重
点分析四种色彩搭配作为主要的 4 个变量，其中本次实验由“学习一再认”实验范式
改进而来，用户通过前面界面的刺激呈现完成基础学习，通过界面与文字的匹配判断
研究用户学习记忆、认知和决策的效果，以期获得认知负荷最小的色彩搭配界面作为
最优界面。实验操作过程和注意细节环节与 5.2 章节保持一致。
驾驶模拟实验结束以后，被试保持在驾驶位置并放松，被试需按照色彩情绪量表要
求对四个色彩搭配进行 1-7 打分，打分后实验结束，以此类推，直至其他被试完成所有
实验步骤为主。
5.3.3 中控数字界面色彩认知实验数据分析
1) 认知行为数据分析
应用认知匹配准确率和认知反应时间为本次实验的数据分析指标。本实验中的刺激
变量为不同色彩搭配的不同界面，主要有效分析变量为四种色彩搭配的界面刺激。
AOCM 表征被试认知记忆能力，CRT 表征记忆认知与信息加工的时间。此次实验收集
的数据均有效，未出现记录不全数据记录缺失的现象。将黑色背景配合白色字体和图标
定义为 BW、深蓝色背景配合白色字体和图标定义为 DW、橙色背景配合白色字体和图
标搭配定义为 OB、浅灰色背景配合黑色字体定义为 LB。
表 5-2 智能汽车中控数字界面色彩与 ACOM 和 CRT 显著性分析

均值 标准差
色彩搭配 Df（自由度） P值
AOCM CRT（ms） AOCM CRT（ms）

BW 0.957 500.1 0.052 116.3 17 0.021

DW 0.968 659.7 0.258 201.1 17 0.034

OB 0.835 838.4 0.074 277.4 17 0.038

LB 0.854 795.3 0.107 296.5 17 0.020

表 5-10 为不同色彩搭配界面图标记忆的行为数据描述性统计。可以看出，橙色背景
和浅灰色背景的界面认知匹配准确率较黑色背景和深蓝色背景，反应时间也相对较长，

93
 西北工业大学博士学位论文

说明深色背景搭配白色字体的辨识度较高，用户需要的注意力分配较低。
如图 5-10 为不同背景色搭配界面的得分均值，可以发现灰色背景的得分较低，用户
对灰色背景搭配的界面比其他三种界面相对更消极，用户对黑色背景和橙色背景的界面
得分较高，这意味着尽管在橙色界面中的出错率高于深蓝色，且用户的认知时间长于蓝
色，用户仍然喜欢橙色背景的界面。

不同色彩搭配界面量表得分均值
6.2
6
5.8
5.6
5.4
得分

5.2
5
4.8
4.6
4.4

BW DW OB LB

图 5-10 不同色彩搭配界面的量表得分均值

2) 脑电数据分析
对脑电数据进行分段，将刺激前 100ms 到刺激 600ms 进行分段，脑电数据在
EEGLAB 上进行预处理，去除眼电伪迹和进行低通 20Hz 的滤波操作，最后对所有被试
的 4 段数据进行分别叠加平均操作。本次实验选取 P300 成分和 P200 成分作为主要分析
脑电 ERP 成分。仍然选取 F3 和 F4、P7 和 P8、O1 和 O2 关键电极作为典型电极，针对
P200 和 P300 成分，分别选取刺激前 100ms 至后 600ms 时间段内的叠加平均波幅进行
分析。通过这种方式，可以将原始数据分割为 24 个包含单个通道的 ERP 数据进行分析。
图 5-11 为 6 个不同电极位置在不同色彩搭配变量下的叠加平均电位波形图，可以
发现在 6 个电极位置中发现了较为明显的 P300 和 P200 波形图，其中在 F3 和 O1 电极
位置处出现较为显著的 N400 成分，而 F4、P7 和 P8 和 O2 电极处的 N400 成分并不显
著。而各个成分中，F3 和 F4、O1 和 O2 电极位置的三个主要成分的显著性明显高于 P7
和 P8 电极处。6 个电极位置在 300-400ms 出现较为明显的 P300 波形，其中橙色背景的
波峰峰值比黑色、深蓝和灰色背景较小，说明橙色背景的界面的心理负荷远小于其他三
种背景搭配的界面。

94
 6 智能汽车座舱人机交互体验设计评价方法

（a）F3电极 （b）F4电极

（c）P7电极 （d）P8电极

（e）O1电极 （f）O1电极

图 5-11 不同电极位置不同色彩背景界面的叠加平均电位波形图

此外，由波形图可以看出，黑色和深蓝色背景的界面波形较尖锐，说明被试的反应
速度明显高于橙色背景和灰色背景的界面，四类界面 P300 的潜伏期在各个电极差异性
不大，证明四个界面中用户的感知和决策和认知记忆负荷很低，这与行为数据描述性统
计结果保持一致。P200 成分在 6 个电极位置均有出现，说明四种界面认知的过程中，在
刺激出现以后用户都会经过短暂的认知和视觉编码和匹配，最后不同的刺激物产生不同
的心理负荷和认知偏差，其中心理负荷通过 P300 的潜伏期和峰值，认知偏差通过 N400
表征出来。
6 个电极位置在 400ms 到 500ms 处均出现了 N400 波形，而灰色背景色彩搭配的界
面 N400 在各个电极处的变化最为显著，且波形较为尖锐，潜伏期较短，说明被试在灰
色背景搭配的界面出现更多自我判断的否定，意味着用户出现认知偏差和操作失误的可
能性明显增大，而这一结果与行为数据中灰色背景界面出错率最高的结果一致。为了进
一步比较不同色彩背景下被试的脑电数据，将 6 个电极脑电数据进行数据拟合，对六个
电极的脑电数据进行叠加平均归一化处理，目的是将不同色彩搭配界面下不同电极位置
的 ERP 数据表征到一个维度进行比较。将不同色彩背景下 6 个电极的数据进行叠加平

95
 西北工业大学博士学位论文

均归一化处理，如图 5-12 为不同色彩搭配拟合后的波形。

图 5-12 不同色彩背景界面的叠加平均电位波形图

如图 5-12 所示，叠加后的数据可以清晰的看到波形中的 P200、P300 和 N400 成分，

其中三个成分的峰值区别不大。从 P200 波形可以看出，四个颜色搭配界面中橙色背景
的波峰峰值最低，灰色背景的峰值最高，说明灰色背景色彩搭配的界面用户需要较多的
视觉编码和认知加工负荷才能完成相关任务，而橙色背景的界面需要的视觉编码和认知
加工负荷较低，此外，P300 成分中，深蓝色和灰色背景界面的峰值较高，说明被试的注
意、辨识和工作记忆难度明显增加，认知负荷明显增大，黑色背景的峰值比较尖锐，说
明黑色背景界面对用户的刺激较大，迫使用户迅速做出反应和决策，导致用户的压力和
紧迫感增强，而橙色背景的界面的 P300 波峰峰值比其他三种颜色界面低，意味着在橙
色背景界面下用户的认知负荷较低；N400 成分中在灰色背景的界面操作任务下最显著，
且波峰峰值最高，意味着用户在灰色背景界面的操作下对自我判断的否定产生，表示用
户出现认知偏差和操作失误的可能性明显增大。
3) 结果讨论
智能汽车驾驶的过程中用户的视线不会长时间停留在汽车中控屏上，因此本实验未
将视觉疲劳负荷作为研究重点。P200 成分作为视觉注意和认知加工匹配的衡量指标，显
示了被试在不同颜色背景搭配的界面下用户的视觉注意和认知加工与匹配的变化，本实
验证实被试在灰色背景色彩搭配的界面需要较多的视觉编码和认知加工负荷才能完成
相关任务，而橙色背景的界面需要的视觉编码和认知加工负荷较低，整体而言四种颜色
界面差异并不大。P300 成分中涉及更多的选择认知、辨识和工作记忆认知，本实验证实
被试在深蓝色和灰色背景下界面用户的辨识和工作记忆负荷激增，其中灰色背景界面下
的用户认知负荷最大，更容易导致人机交互的失误产生，而表征这种失误的是 N400 成
分，这种成分在灰色背景界面最明显。中控数字界面色彩脑认知机制研究为第六章提供
基础数据支撑。

96
 6 智能汽车座舱人机交互体验设计评价方法

5.4 中控数字界面布局脑认知机制
智能汽车中控数字界面布局直接影响信息的组织和呈现，将多种复杂信息限定在
中控屏狭小的面积内，通过合理的信息组织、归纳和排列，可以使用户获得较为流畅
的视觉体验，对智能汽车整理用户体验起着重要的作用[58,117]。为了研究智能汽车中控
数字界面布局的脑认知数据和布局认知规律，开展不同布局刺激诱发事件相关电位脑
电实验，通过脑电实验数据分析，挖掘不同布局下的界面认知负荷及认知机制，用于
指导智能汽车座舱数字界面的设计和评价。
5.4.1 中控界面布局实验目的
智能汽车数字交互界面认知产生的认知负荷对智能汽车驾驶体验影响巨大，而其
中很大一部分来源于信息布局的混乱，该过程中脑机制研究是解释用户内源性认知的
重要途径。本实验通过驾驶模拟器实验，通过主观量表结合客观脑电实验的方式，对
比不同任务下界面布局差异下的 ERP 成分差异，并通过比较和分析它们的认知绩效，
寻找汽车中控数字界面信息布局设计存在的问题，同时也为基于认知的智能汽车数字
界面交互设计评价模型提供数据支撑。
5.4.2 中控数字界面布局脑认知实验流程
1) 实验对象
智能汽车数字交互界面布局脑认知脑电实验，主要由 3 年以上的用户且驾驶经验
丰富的用户来参与完成，本次实验招募 25 名健康的志愿者参加该实验，其中男性 15
名，女性 10 名。实验中有 4 名被试（1 名男性，3 名女性）由于脑电数据损坏或头皮
接触不良数据丢失而被剔除。被试年龄从 25 岁到 37 岁之间，且均为右利手。
2) 实验环境、设备和材料
本实验环境与 5.2 章节保持一致，仍然在同一驾驶模拟器种用 iPad 作为模拟智能
汽车中控数字界面的媒介，其中 iPad 与电脑显示屏同步显示，保证实验范式能按照电
脑设计的范式运行，仍然便携式脑电设备采集装置 Emotiv EPOC+research 版本作为脑
电采集设备。除了脑电生理数据实验外，本实验需利用两个量表，任务努力程度量表
来表示新的用户在使用智能汽车中控数字界面的心理努力程度，代表学习和认知的难
度，量表为 7 级评分制，要求被试根据自己的感受从 1～7 中选择一个合适的数字，从
1 到 7 努力程度依次递增，1 表示非常轻松，4 表示中度努力，7 表示非常吃力；界面
信任度量表来表征用户对所选布局的使用感受和态度，量表共五个问题涉及数字界面
布局的欺骗和可信、有害和有益、危险和安全、失信和可靠、生疏和熟悉五个维度，
五个问题从消极态度到积极态度分数从 1-7 分表征，分数均值越高代表态度越积极。
实验设备和硬件的具体参数和 5.2 章节保持一致。
3) 实验设计与流程

97
 西北工业大学博士学位论文

本次音乐界面的左右布局、上下布局和上中下布局方式作为主要变量，在三类音乐
界面的布局中，保持导航栏的信息一致，音乐界面色彩与字体搭配保持一致，其中音乐
界面中四个播放模式随机播放、顺序播放、单曲循环、目录循环的图标的不同激活状态
为实验刺激物。
首先随机呈现不包含播放模式激活状态的三种布局界面各 5 次，间隔 1000ms，之
后随机呈现不同布局包含单个激活状态的界面各 5 次，并且保证三种布局出现的总数量
一致，单次呈现间隔 2000ms，单次呈现结束后让用户辨认图标与文字是否匹配，如呈现
随机播放的图标，界面下文字为“本次激活的图标是随机播放图标”，被试需在 1000ms
确认该界面是否与文字匹配，若用户确认该界面与文字匹配则按“←”键，确定不匹配
则按“→”键，操作结束后进入引导界面 1000ms 后进入下一次呈现，直到所有布局界
面测试完毕为止，为保证文字认知的一致性，界面下文字大小一致，且界面与文字匹配
与不匹配的比例为 1：1，其中文字表述均为正向判断，不会出现类似“本次激活的图标
是随机播放图标不是顺序播放”等否定表述，实验范式参见图 5-13。
包含激活态界面呈现 确认

鼠标按键确认
间隔 间隔
间隔
1000ms 1000ms
1000ms
本次激活图标是随机播放图标
随机呈现无激活状态界面，各呈现5次后结束
单次呈现间隔1000ms
间隔1000ms

重复以上步骤
结
至12个界面都
束
显示确认完毕

图 5-13 中控数字界面布局脑认知实验范式示意图

本实验的刺激变量为不同布局下不同激活状态的音乐界面，需要与文字描述进行匹
配，此过程需要用户对特定刺激的特定注意和用户的认知判断和决策，本次共产生 6 种
变化，单个布局下不同激活态的图标虽然也是变量，但会整合到单个布局中进行分析，
本文重点分析三种布局下的界面综合脑认知 ERP 规律。本次实验由空间注意提示实验
范式和“学习一再认”实验范式综合改进而来，用户通过初始无激活状态三种布局界面
的刺激呈现完成基础学习，通过图标与文字的一致性匹配判断研究用户学习记忆、认知
和决策的效果，以期获得认知负荷最小的布局搭配界面作为最优界面。实验操作过程和
与 5.2 章节保持一致。驾驶模拟实验结束以后，被试保持在驾驶位置并放松，填写任务
努力程度量表和界面信任度量表，填写完成后被试起身离开驾驶模拟器，以此类推，其
他被试完成实验为止。
5.4.3 中控数字界面布局认知实验数据分析
1) 认知行为数据分析
应用认知匹配准确率和认知反应时间为本次实验的行为数据分析关键指标。本实验

98
 6 智能汽车座舱人机交互体验设计评价方法

中的刺激变量为不同布局下不同界面激活状态的图标，其中不同播放模式的图标激活态
会诱发用户的 ERP 成分。AOCM 表征被试认知记忆能力，用户对不同布局不同图标的
记忆能力可以表征布局的认知记忆负荷，不同布局下用户 CRT 表征记忆认知与信息加
工的时间，时间越长，说明用户的在该布局下的视觉注意和认知加工时间越长，相应的
认知负荷越大。此次实验收集的数据均有效，未出现记录不全数据记录缺失的现象。
表 5-3 为不同布局下界面认知匹配准确和认知反应时间的行为数据描述性统计。可
以看出，左右布局界面认知匹配准确率较最低，上下布局的认知匹配准确率最高，从反
应时间来看，左右布局的反应时间比上下和上中下布局长，其中上下布局的反应时间明
显低于左右布局，说明上下布局界面的辨识度较高，用户需要的注意力分配较低，更有
利于驾驶安全。
表 5-3 智能汽车中控数字界面不同布局的 ACOM 和 CRT 显著性分析

均值 标准差
布局 Df（自由度） P值
AOCM CRT（ms） AOCM CRT（ms）

左右 0.737 977.3 0.272 239.4 21 0.021

上下 0.892 631.9 0.286 301.3 21 0.009

上中下 0.854 739.6 0.311 210.7 21 0.034

图 5-14 为不同布局方式界面的得分均值，可以发现左右布局的任务努力度得分远
高于上下布局和上中下布局的分数，说明被试在左右布局认知界面需要更多的主观努力
才能完成特定任务，而上下布局的任务努力度最低，说明用户花费更少的努力就可以完
成交互任务；从信任量表来看，上下布局的界面比其他三种界面反应相对更积极，上中
下布局比左右布局界面获得更高的信任感。

量表分析
7 6.1
5.4 5.4
6
5 4.3
3.7
分数均值

4
2.5
3
2
1
0
左右 上下 上中下
布局方式

任务努力度 信任度

图 5-14 不同布局界面的量表分析

99
 西北工业大学博士学位论文

从任务努力度和信任感的结果可以看出，用户在上下布局的界面中不需要更多的努
力就能完成相关任务，而且信任感最高，是用户能接受的最好的布局方式，上中下布局
次之，而左右需要用户的努力程度较大，而且信任感最低，用户评价最低。

2) 脑电数据分析
将获取的脑电数据进行分段，将刺激前 100ms 到刺激 600ms 的数据截取，将不同
布局的脑电数据放到一组，通过 EEGLAB 软件对脑电数据进行基本的预处理，并去除
眼电伪迹并进行低通 20Hz 的滤波操作，最后对所有被试的三组数据进行分别叠加平均
操作。本次实验仍选取 P300 成分、P200 成分和 N400 作为主要分析脑电 ERP 成分。选
取 F3 和 F4、P7 和 P8、O1 和 O2 关键电极作为关键电极，针对三种主要成分，分别选
取刺激前 100ms 至后 600ms 时间段内的叠加平均波幅进行分析。通过这种方式，可以
将原始数据分割为 18 个包含单个通道的 ERP 数据进行分析。

（a）F3电极 （b）F4电极

（c）P7电极 （d）P8电极

（e）O1电极 （f）O1电极

图 5-15 不同电极位置在不同布局变量下的叠加平均电位波形图

100
 6 智能汽车座舱人机交互体验设计评价方法

如图 5-15 为 6 个不同电极位置在不同布局变量下的叠加平均电位波形图，可以发
现在 6 个电极位置中发现了较为明显的 P300、P200 和 N400 成分，而各个成分中，F3
和 F4、O1 和 O2 电极位置的三个主要成分的显著性明显高于 P7 和 P8 电极，P7 电极位
置的 P200 成分显著性低于其他电极。6 个电极位置在 150-350ms 出现较为明显的 P200
波形，说明三种布局界面下被试认知的过程中，在刺激出现后用户会经过短暂的认知和
视觉编码和匹配，通过不同电极处 P200 的潜伏期和峰值可以看出在 O1 和 O2 位置的峰
值左右布局的略高与其他两种布局，而在其他电极位置三类布局的 P200 峰值和潜伏期
在均无显著差异或趋势，说明不同布局下用户首次的视觉注意和视觉匹配中的认知负荷
差别不大；6 个电极位置在 300-400ms 均出现较为明显的 P300 成分波形，其中左右布
局界面诱发产生的 P300 成分波峰峰值比其他两种布局界面高，说明左右布局界面需要
被试更多的注意、辨识和工作记忆才能完成特定任务，这导致用户认知负荷明显增大，
由波形图可以看出，三种布局界面诱发的 P300 成分的潜伏期在各个电极处的差异性不
大，证明四个界面中用户的感知和决策和认知记忆负荷差异性不大。
6 个电极位置在 400ms 到 500ms 处均出现了 N400 波形，而左右布局的界面 N400
在各个电极处的变化最为显著，且波形较为尖锐，且峰值明显高于其他两种布局，潜伏
期较短，说明被试在左右布局的界面出现更多自我判断的否定，意味着用户出现认知偏
差和操作失误的可能性明显增大，上中下布局界面诱发 N400 波形峰值高于上下布局，
且波形较为尖锐，上中下布局较上下布局的界面使被试产生了更多的认知偏差和自我否
定，意味着用户出现误操作和其他失误的可能性较大，结果与行为数据中认知匹配准确
率结果一致。为了进一步比较不同布局下用户的脑电数据，将 6 个电极脑电数据进行数
据拟合，对六个电极的脑电数据进行叠加平均归一化处理，目的是将不同布局的界面下
不同电极位置的 ERP 数据表征到一个维度进行比较。将不同布局界面下下 6 个电极的
数据进行叠加平均归一化处理。

图 5-16 不同布局变量下的叠加平均电位波形图

101
 西北工业大学博士学位论文

图 5-16 为 6 个电极叠加拟合平均后的脑电数据。从拟合后的 P200 波形可以看出，

三种布局界面中左右布局的波峰峰值最高，且波形比较尖锐，上下布局的界面波峰峰值
最低，说明左右布局的界面用户需要较多的视觉编码和认知加工负荷才能找到激活状态
的图标，而上下布局的视觉编码和认知记忆加工负荷较低，此外，P300 成分中，左右布
局界面的峰值较高，而且波形较其他两种布局更为陡峭，说明被试在寻找激活图标的过
程中的视觉注意、辨识和工作记忆难度明显增加，由该成分的潜伏期也可以看出，上下
布局的界面能很快诱发出 P300 成分，说明用户的反应和识别速度较快，认知负荷明显
低于其他两种布局的界面，意味着在左右布局界面下用户的认知负荷较高，而上中下布
局的认知负荷次之，上下布局界面的认知负荷最低； N400 成分中在左右布局的界面的
识别任务下诱发最显著，且波峰峰值最高，波形最尖锐，意味着被试在左右布局的界面
中出现认知偏差和操作失误的可能性最大，不利于驾驶安全，而上下和上中下布局的界
面认知负荷较低，出现的认知偏差和操作失误率较低，结果与行为学数据的认知匹配准
确率和认知反应时间较为一致。
3) 结果讨论
本实验通过驾驶模拟器实验，通过主观量表结合客观脑电实验的方式，对不同任务
下界面布局差异 ERP 成分进行了分析，从 P200 成分中可以发现被试在不同布局的界面
下用户的视觉注意和认知加工与匹配的变化，本实验证实被试在左右布局下的界面需要
较多的视觉编码和认知加工负荷才能完成相关任务，而上下布局界面的视觉编码和认知
加工负荷较低；P300 成分中涉及更多的选择认知、辨识和工作记忆认知，本实验证实被
试在左右布局界面被试的辨识和工作记忆负荷激增，且更容易诱发 N400 成分，证实左
右布局在认知偏差和操作失误上的可能性较其他布局界面更大，说明在三种布局中，左
右布局的认知负荷和操作失误率最高，对智能汽车驾驶安全不利，而上下布局界面的认
知负荷和操作失误率最低，对智能汽车座舱人机交互可用性和安全性更有利。通过比较
和分析不同界面的 ERP 成分，寻找汽车中控数字界面信息布局设计存在的问题，中控数
字界面布局脑认知机制研究为第六章提供数据支撑。

5.5 本章小结
上一章重点研究了中控软硬件布局、界面视觉信息呈现等初级视觉认知阶段的视
知觉认知规律，本章通过脑电 ERP 成分分析，研究和解释用户智能汽车座舱人机交互
数字界面的内源性脑认知机制。本章完成的具体工作如下：
1）获取智能汽车座舱中控屏不同图标信息密度的脑电实验数据，分析智能汽车不
同图标排布下用户的脑认知机制，挖掘智能汽车座舱中控屏界面图标排布下的用户认知
记忆和认知负荷脑机制，为客观的评价智能汽车座舱中控人机交互界面信息密度设计合
理性提供参考。

102
 6 智能汽车座舱人机交互体验设计评价方法

2）通过脑电实验结合色彩情感量表，研究智能汽车座舱中控屏不同色彩搭配对用
户记忆加工和认知决策的影响，分析智能汽车不同色彩下用户的脑认知机制，挖掘智能
汽车座舱中控屏界面色彩对用户认知记忆和认知负荷的影响，为客观的设计与评价智能
汽车座舱中控中控人机交互界面色彩设计提供参考。

3）本实验在驾驶模拟器下完成，主要利用任务努力程度量表和信任度量表结合客观
脑电实验，对比不同任务下界面布局差异下的 ERP 成分差异，通过比较和分析它们的认
知绩效，研究汽车中控数字界面信息布局中的脑认知机制，为客观的设计与评价智能汽
车座舱中控人机交互界面布局设计提供数据支撑。

103
西北工业大学博士学位论文

104
 6 智能汽车座舱人机交互体验设计评价方法

第6章 智能汽车座舱人机交互体验设计评价方法

智能汽车座舱人机交互界面是影响智能汽车座舱用户体验的最直接因素，一般而言，
智能汽车人机交互体验设计评价多以设计专家评价、用户问卷访谈评价和生理数据评价
等方法为主。本文提出的智能汽车座舱人机交互体验设计评价方法，以人机交互行为数
据、视觉认知和脑认知数据为基础，通过构建数学模型，对智能汽车座舱布局和人机交
互界面设计进行评价，这一方法是结合行为学数据、客观生理数据、心理数据和数学模
型的评价方法，旨在为智能汽车的设计优化与评价提供人因学层面的理论参考。

6.1 智能汽车座舱布局人机交互评价方法
为了评价智能汽车座舱的人机交互布局，本文提出了一种基于人机交互行为复杂度
和视觉认知的多目标粒子群设计评价方法。基于人机交互行为复杂度、愉悦感、信任感
三个一级指标，以及对应的七个人机交互复杂度指标和六个眼动指标，应用多目标粒子
群算法对智能汽车座舱人机交互布局进行多目标评价，智能汽车座舱布局人机交互评价
方法应用的数据来源于第三章和第四章部分数据。
6.1.1 智能汽车座舱布局人机交互评价指标

传统的座舱布局人机交互设计多从美学、人机工程的角度进行评估[118]，关注更多的
是功能的可用性和座舱内饰的设计美学。本文提出的智能汽车座舱布局评价方法，主要
从用户体验的角度出发，研究用户在座舱中的人机交互行为复杂度、愉悦感和信任感，
通过对三个维度的分析和评估，实现智能汽车座舱布局人机交互设计的评价。
本文的指标体系由三个一级指标及下属的各个二级指标构成，具体指标可参见第二
章表 2-3。在汽车座舱的多种复杂的人机交互任务中，可以通过任务复杂度的表征因子
来描述座舱人机交互的任务复杂度。座舱人机交互复杂度的表征指标包括交互任务本身
逻辑结构的复杂程度、完成人机交互所需的动作数量、人机交互时管理界面任务信息的
复杂程度、人机交互输入因素的复杂度、人机交互所需要的知识等级和认知量、人机交
互布局及反馈复杂性等。座舱人机交互复杂度的七个表征指标的具体内容在第三章已经
有明确阐述；人机交互愉悦感和信任感的具体指标主要包括眨眼次数、眨眼频率、眨眼
幅度、注视时间、注视次数和平均瞳孔直径六个表征指标，在上一章中已经详细阐述。
智能汽车座舱人机交互布局设计直接影响用户的感官体验，如何设计出更便捷、愉
悦和让用户充满信任感的布局对智能汽车设计是很大的挑战，从用户的角度出发，通过
分析和评估影响用户体验的三个关键指标来进行座舱人机交互布局设计评价，符合从用
户体验和用户需要到设计解释的自下而上的设计原则。
6.1.2 智能汽车座舱人机交互布局评价方法

智能汽车座舱人机交互布局设计的最终目标是寻找多个设计问题的最优解[57]，然而

105
 西北工业大学博士学位论文

各个设计问题之间通过决策变量相互制约，其中一个设计目标的优化甚至以其它设计目
标的优化为代价，同时各目标的单位又往往不一致，也很难客观地评价多目标问题解的
优劣性，这就使得各个目标问题不能同时达到最优解[119]。与此类似，智能汽车座舱人机
交互布局评价中的各个指标的类别不同且单位不一致，各个指标的优化有可能以其他指
标为代价，而且不同品牌的智能汽车座舱人机交互布局也不同。基于多目标粒子群算法
（MOPSO）的智能汽车座舱人机交互布局评价模型就是将各个指标进行描述、分层、直
至选择出多个评价车型的最优解为止。人机交互布局评价模型包括布局评价函数、评价
变量、评价约束等内容。
表 6-1 基于 MOPSO 的智能汽车座舱人机交互布局评价函数
fn（x） x

f1（x）人机交互复杂度 任务逻辑复杂度、动作数量、管理界面复杂度、输入复杂度… …

F(X) f2（x）人机交互视觉愉悦度 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数… …

f3（x）人机交互视觉信任感 眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数… …

如表 6-1 所示，智能汽车人机交互布局多目标优化设计评价函数 F(X)、评价变量

描述 fn（x）、和评价约束描述对应的设计变量 x 是智能汽车座舱人机交互布局评价模
型的各个参数。智能汽车座舱人机交互布局设计的任务书通过分析解译成设计评价约束
和设计期望，评价约束往往是造型设计等物理约束，本文将物理约束收敛成针对评价变
量的用户体验评价约束，用户体验约束评价约束进一步限定了设计评价空间，需要对该
设计评价空间内方案进行评价（不排除有溢出该空间的方案），算法步骤如下：
Step1：初始化智能汽车座舱人机交互布局设计空间，随机赋予座舱人机交互布局设
计评价对象的初始位置，赋予初始速度为 0。
Step2：用户到智能不同评价对象的座舱中进行体验，将用户人机交互行为复杂度打
分数据和眼动数据进行收集，在多个指标下的设计约束空间内搜索，将局部最优解（用
户体验的较高分数获得者）存储到优势种群 V1，将代表非优解（用户体验较差）的粒子
存储到劣势种群 V2；
Step3：被选出粒子产生 Pareto 解形成 Pareto 解集（最优设计方案集）；
Step4：在 Pareto 解集中根据设计期望进一步选取全局最优 Pareto 解，并更新知识
库种群 V1；
Step5：以种群 V1 为初始种群，以全局最优 Pareto 解为起点，设定三个指标的不同
权重，在更新后的设计空间内重复 step2、step3、step4 的操作直到输出结果满意则停止
迭代。
Step6：输出最优解 Pareto 最优解（选出最优评价对象），整个运算结束。

106
 6 智能汽车座舱人机交互体验设计评价方法

智能汽车座舱人机交互布局评价过程中，系统运算包含的设计评价空间也不断收敛，
在整个过程中，设计评价是 Pareto 全局最优解（方案评选）选择的依据，在整个设计评
价模型中起关键性作用。所示为了减少系统运算量，采用层次分析法进行专家赋权，将
复杂问题层次化，使综合评价更趋合理性。如图 6-1 所示，在基于 MOPSO 的汽车座舱
人机交互布局设计评价模型中，设计评价期望、设计评价目标函数和设计评价变量、设
计评价对象形成四个层次结构。

智能汽车座舱人机交互布局设计期望A 期望层

复杂度熵B1 愉悦度B2 信任度B3

任 管 知 界 平
输
务
动
理
入
识 面 反
眨 眨 眨 注 注 均 准
逻 界 等 布 馈 瞳
辑 作
面
的
级 局 复
眼 眼 眼 视 视
孔
则
复 数 复 次 频 幅 时 次
杂 量
复
杂
认 复 杂
数 率 度 间 数
直 层
杂 知 杂 度 径
度 C2 度 C8 C9 C10 C11 C12
度 量 度 C7 C13
C4
C1 C3 C5 C6

座舱布局设计方案D1 座舱布局设计方案D2 座舱布局设计方案D3 ... 方案Dk 方案层

图 6-1 基于 MOPSO 的汽车人机交互布局设计评价模型层级划分
在整个算法流程中，设计专家针对设计评价约束和设计期望，将设计评价目标函数
和设计变量两两比较其重要性，构建判断矩阵，以便导出它们的权重，在构建判断矩阵
时，两个对象区分成同样重要、稍微重要、重要、重要得多和绝对重要五个等级，用标
度 1、3、5、7、9 对应，重要程度在各等级之间用 2、4、6、8 表示。若设计变量 I 和设
计变量 J 的重要性之比为 oij，表示如下：
𝑜11 𝑜12 ⋯ 𝑜1𝑛
𝑜 𝑜 ⋯ 𝑜2𝑛
O = [ 21 22 ] (6-1)
⋮ ⋮ ⋯ ⋮
𝑜𝑛1 𝑜𝑛2 ⋯ 𝑜𝑛𝑛

判断矩阵中，oij>0，oji=1/ oij，oii=1。因为准则层的 Bm 与 Cq 具有传递性，且该判

断矩阵为一致性矩阵，填写后的判断矩阵为 O=(oij)mₓq。
对于专家填写后的判断矩阵，利用向量平均值法权重计算进行单个层次排序，求
得 n 个列向量归一化后的权重向量，具体的公式如下：
1 n oi j
Wi  
n j 1 n
,其中 i,j =1,2,3,...,n。 (6-2)
 oi j
i 1

权重向量计算完以后，开始进行一致性指标检验，一致性指标公式为如下：

107
 西北工业大学博士学位论文

λn
C . I. (6-3)
n 1
在一致性检验时，运用 6-2 式求得的 Wi，计算一致性向量 V 以便求得λ值，公式如
下：
n

W o
j1
i ij

Vi  ,其中 i,j =1,2,3,...,n。 (6-4)

Wi
求得一致性向量后，求其 Vi 值的算数平均值即可得 λ 值，公式如下：

1 n
λ  Vi ,其中 i=1,2,3,...,n。 (6-5)
n i 1
将其 λ 值带入公式 6-3 即可得 C.I.值，C.I.=0 表示前后判断完全一致，求得 C.I.值
以后，计算一致性比例 C.R.，其中 R.I.表示平均随机一致性指标，其值只与矩阵阶数 n
有关，且一般 n 取值小于 9（查表得到 n=1 时 R.I.=0，n=2 时 R.I.=0，n=3 时 R.I.=0.58，
n=4 时 R.I.=0.9，n=5 时 R.I.=1.12，n=6 时 R.I.=1.14，n=7 时 R.I.=1.32，n=8 时 R.I.=1.41，
n=9 时 R.I.=1.45），一致性比例 C.R 公式如下：
C.I .
C.R.  (6-6)
R.I .

上面得到的 Wi 是一组元素对其上一层中某元素的权重向量，需要注意的是，在人
机交互复杂度熵指标中的权重计算过程中，需要将第三章的智能汽车复杂度熵算法中的
3-8 公式求得的权重并入本文准则层的权重集合中统一进行计算。

为了计算矩阵中各个指标针对目标层的相对权重，需要从上而下逐层合成，本算法
的目标是计算方案层相对于目标层的权重并排序，本文的层级主要有四层，设 Wk=（w1k,
w2k,...,wnk ） T ， Wk 表 示 第 k 层 上 n 个 元 素 相 对 于 总 目 标 的 排 序 权 重 向 量 ， 用
Pj(k)=( P1j(k),P2j(k),···,Pnj(k))T 表示第 k 层上 n 个元素对第 k-1 层上第 j 个元素为准则的排
序权重向量，可由公式 6-2 计算得出具体数值。矩阵 P (k)=( P1 (k),P2 (k), ···,Pn(k))T 是
nk×n(k-1)阶矩阵，它表示第 k 层上元素对 k-1 层上各元素的排序，那么第 k 层上元素对
目标的总排序 W(k)如下：

W ( k )  P( k ) W ( k 1) (6-7)

智能汽车座舱人机交互布局评价模型共有四个层，最终求得 W(4)是设计评价各个方
案对第一层的的权重排序向量，根据权重向量大小就可以对各个方案进行选择，直至完
成对多个方案的最终设计评价为止。值得注意的是，除了最终的综合评价分数可以表征
智能汽车座舱人机交互布局的优劣外，在整个过程中各个局部人机交互布局的优点与缺

108
 6 智能汽车座舱人机交互体验设计评价方法

点也会分别存储到优势种群库和劣势种群库中，而这些往往是设计师在下一轮设计改进
和迭代所参考的重点。
6.1.3 智能汽车座舱布局设计评价案例应用
选取已经量产的三款主流智能汽车特斯拉 Model S（记作 A）、蔚来 ES8（记作 B）、
比亚迪唐 2 代（记作 C）智能汽车座舱作为本次的评价对象，参见图 6-2，三款智能汽
车都包含较大的中控屏，且座舱人机交互布局也各不相同，三款智能汽车供不同用户和
专家进行体验后进行评价，有偿招募 15 名用户进行驾乘体验，要求用户驾龄在 3 年以
上，并且以汽车为其出行的主要交通工具。此外邀请 5 名汽车人机交互设计专家对三款
智能汽车进行体验，并根据 6.1 和 6.2 小结中涉及的中控布局和中控人机交互界面设计
评价方法进行相关指标权重的打分。

图 6-2 座舱布局评价对象

将用户和专家组成员进行编号，用户序号依次为 1-15，专家组成员编号为 16-20。

为了评价三款智能汽车座舱的人机交互布局，需收集一级指标对应的人机交互复杂度七
个影响指标打分数据，以及眨眼次数、眨眼频率、眨眼幅度、注视时间、注视次数和平
均瞳孔直径等六个眼动指标数据及主观量表数据。
表 6-2 三款座舱布局设计不同人机交互任务复杂度熵值
方 导 接打 音乐选择 电台选择 车载 APP 空调温 观测仪 语音 中控屏 总复杂度
案 航 手机 与切换 与切换 交互 度调节 表盘 唤醒 交互 熵均值

A 1.86 2.91 2.83 1.47 1.91 1.89 2.57 2.34 1.39 2.01
B 1.68 2.60 2.18 1.37 1.78 2.26 1.71 2.07 1.30 1.88

C 1.98 2.34 2.57 2.17 1.59 3.45 1.26 2.63 1.76 2.19

智能汽车座舱布局人机交互评价需要采集人机交互行为以及相关的眼动数据，20 名
用户和专家组成员佩戴眼动仪，在三款智能汽车座舱中静态情况下，完成 9 个人机交互
任务（导航、接打手机、音乐选择与切换、电台选择与切换、车载 APP 交互、空调温度
调节、观测仪表盘、语音唤醒、中控屏交互），并对 7 个复杂度指标进行打分，获取分
值数据，同时收集眼动指标各个相关数据。智能汽车座舱人机交互布局多目标优化设计
评价函数 F(X)包含三个评价变量，f1（x）为人机交互复杂度评价、f2（x）为人机交互
视觉愉悦度评价，f3（x）为人机交互视觉信任感评价评价，因为三个设计案例数量有限，
从 f1（x）到 f3（x）执行一次最优解运算。根据 3.2.2 小结的熵值法，求得三款座舱布局

109
 西北工业大学博士学位论文

的各个人机交互任务复杂度熵值均值，如表 6-2 所示。

根据第四章智能汽车总体布局眼动变量显著性指标，以及不同指标对智能汽车座舱
布局下用户体验愉悦性和信任感的对应关系，可以归一化后求得三款智能汽车的用户体
验愉悦度和信任感均值，如表 6-3 所示。
表 6-3 三款座舱布局设计眼动数据及体验数据
眨眼次数 眨眼频率 眨眼幅度 注视时间 注视次数 平均瞳孔直径 愉悦度 信任感
A 2.45 0.33 5.11 0.82 2.23 4.41 0.31 0.42
B 2.96 0.43 4.13 0.47 3.35 4.13 0.43 0.30
C 3.59 0.62 4.80 0.76 3.49 4.37 0.27 0.28

通过人机交互复杂度数据和三个方案的眼动数据求得 B 层数据的数值，5 名专家组

成员针对层次分析模型中 B 层三个变量两两比较其重要性，打分构建判断矩阵，利用向
量平均值法计算变量权重，求得 3 个变量评价权重𝑊1 =0.43, 𝑊2 =0.23, 𝑊3 =0.34, 四个
层次层层递进，根据层次分析法 6-1 至 6-7 的公式可以求得方案层中三个方案对座舱布
局设计评价期望层最顶层的权重值，计算中 C.R.= 0.0193<0.1，通过一致性检验后停止
迭代和计算，输出最最优解 B，整个运算结束。最终三款智能汽车座舱设计案例对顶层
的评价权重见表 6-4。
表 6-4 三款座舱布局设计方案对顶层设计期望的评价权重
方案 A B C

评价权值 W(k) 0.327 0.412 0.261

结果表明，在三款智能汽车座舱布局中，B 方案布局的总体表现要优于 A 和 C，A 方

案座舱总体布局优于 C 方案。由 B 层复杂度熵的结果数据可以看出，方案 B 座舱布局的
部分人机交互任务指标复杂度偏高，但人机交互复杂度整体较低，获得了较高的视觉愉
悦感和信任感，而方案 C 座舱布局的整体复杂度偏高，视觉的愉悦感和信任感较差。智
能汽车座舱人机交互布局评价的目的不仅是对不同设计方案的评价，而是在座舱布局设
计初期介入找到设计中的问题，不断优化现有设计方案，从而提高座舱的乘坐体验。虽
然该种评价方法仍会采用少量的眼动仪实验方法，但可以用更少的被试、更简单和灵活
的眼动实验对特定区域布局设计进行验证，降低复杂性同时增加了评价方法的灵活性。

6.2 智能汽车座舱中控人机交互界面设计评价方法
来自企业和科研机构的人机交互界面评价方法基本包括基于专家和用户的主观评
价、基于生理数据的客观评价等方法[97]。为了评价智能汽车中控界面的人机交互设
计，本章基于第四、五章的认知数据和设计变量实验结果数据，构建了智能汽车 HMI
决策树模型，并提出了基于贝叶斯网络算法的智能汽车中控人机交互界面设计评价方
法，并用 Python 语言下的 wxPython UI 界面开发工具实现智能汽车座舱中控人机交互
界面设计评价系统的 GUI 搭建。

110
 6 智能汽车座舱人机交互体验设计评价方法

6.2.1 贝叶斯网络中控 HMI 设计评价流程

贝叶斯网络（Bayesian network）是一种概率图型算法模型[121]，多用来进行模糊评价
和推理。贝叶斯网络理论在人工智能领域处理决策问题及最优化问题时具有如下优势：
1) 能够处理概率性和不确定性的事物和事件
2) 能够处理包含因果关系或递进关系的事件
3) 可以将先验的知识和数据进行学习和再表达
4) 能够处理不完整集（残缺或部分数据丢失）的数据
第四、五章的认知实验中获得了大量的生理和心理数据、量表数据及数据间的对应
关系数据，本文选取视觉和脑认知 38 组实验数据和设计变量的认知结果数据作为基础
数据集。基础数据集中第四、五章的实验结果数据，可以直接映射到设计评价数据（量
表评价变量）中，通过建立底层设计变量与设计评价关系的数学模型，应用贝叶斯网络
算法进行评价和寻优，完成汽车中控人机交互界面的设计评价活动。该评价方法主要基
于贝叶斯网络算法进行座舱交互界面设计评价，利用贝叶斯网络在处理决策问题和最优
化问题的优势，构建决策树设计评价模型，把中控界面设计评价问题转化为最优条件的
出现概率问题，将小样本数据机器学习技术细节与认知机制研究内容进行了深度融合，
最终完成智能汽车座舱中控 HMI 设计评价的实践活动。
本文通过已知的设计决策树模型的概率分布（先验概率），结合新设计方案的设计
信息（已知样本信息进行匹配），基于贝叶斯网络算法，确定新设计方案中决策树不同
层级中各个事件元素的先验概率值以后，从基本事件开始逐层往上计算，最终求得顶事
件的设计评价概率值，根据顶事件概率值评估该方案的总体设计评价情况。
整个贝叶斯网络中控 HMI 设计评价系统操作流程如图 6-3 所示。整个评价系统包
含数据资源层、技术方法层和评价应用层。其中，数据资源层主要包括基础数据集和新
设计方案的设计变量数据集，基础数据集包括设计变量数据、对应的眼动生理数据和脑
认知心理数据、对应的量表数据等数据资源，基础数据主要来源于第四、五章 38 组实
验数据统计而来，新设计方案的设计变量数据集主要包括引入的设计评价方案各个评价
变量的数据集；技术方法层主要包括本文提出的决策树模型和贝叶斯网络算法，根据基
础数据的决策树设计评价模型，利用统计学原理确定各个节点的概率，最后通过贝叶斯
网络算法实现对新的设计样本的客观评价；评价应用层主要通过导入新设计方案的设计
变量，结合技术方法层的算法模型，通过整合算法的 GUI 界面实现智能汽车中控 HMI
设计评价的运算工作，最终完成评价结果的输出。

111
 西北工业大学博士学位论文

评价 获取新设计方案设
评价计算 GUI界面 结果输出
应用层 计变量

中控HMI决策树设计评价模型 贝叶斯网络评价算法

技术
确定底层 确定中间层 确定顶层
方法层 事件概率 事件概率 事件概率

.
.
.

视觉认知变量 .
.
数据
.
.
资源层
.
.
设计变量 主观量表
变量
.
.
.
新评价方案的
设计变量 脑认知变量
基础数据集
图 6-3 贝叶斯网络中控 HMI 设计评价流程

6.2.2 中控 HMI 决策树设计评价模型构建

决策树分析法是一种使用决策图形进行演绎的方法，通过对不同决策要素的分析构
建出决策树逻辑图，从而表达设计变量与影响因素的关系[120]。目前决策树模型构建主要
有两种，一种是通过专家的经验确定出决策树单个节点的条件概率从而确定映射模型，
该类模型普遍存在一定主观性；另一种是基于客观基础数据，通过数据样本的学习完成
节点概率参数确定和模型构建，该类模型对数据有一定要求，依靠贝叶斯网络分析智能
汽车中控数字界面的设计时，可以根据各节点先验概率及关系构建决策树模型。
本文设计评价结果作为决策树顶事件，认知评价和界面可用性评价作为中间事件，
量表数据中获取到与认知相关的认知时间、决策时间、认知加工时间、认知负荷的认知
数据，与界面可用性相关的愉悦感、依赖感、界面复杂度、失误数等量表数据，以及与
认知数据和界面可用性数据相关的具体设计变量作为基础事件，在视觉与脑认知实验中
不同实验设计变量（不同交互界面设计变量）的认知实验结果数据可以反映出认知数据

112
 6 智能汽车座舱人机交互体验设计评价方法

与上述量表数据的对应关系，本文依据认知量表数据和设计变量的认知结果之间的关系
来构建设计决策树模型，并利用统计学原理确定各个节点的概率，最后通过贝叶斯网络
算法实现对新的设计样本的客观评价。对决策树中各个节点要素进行编码，构建完整的
设计决策树模型，智能汽车中控 HMI 设计决策树模型如图 6-4 所示。
智能汽车中控设计评价T

认知评价V1 界面可用性评价V2

认知 决策 认知 认知 界面
愉悦 依赖 失误
时间 时间 加工 负荷 复杂
感评 感评 评价
评价 评价 评价 评价 度评
价V7 价V8 V10
V3 V4 V5 V6 价V9

信 信 信 信 信 信 信 信
息 色 布 息 布 息 色 布 息 色 布 息 色 布 息 色 布 息 布 息 布
密 彩 局 密 局 密 彩 局 密 彩 局 密 彩 局 密 彩 局 密 局 密 局
度 V11 V12 度 V14 度 V16 V17 度 V19 V20 度 V22 V23 度 V25 V26 度 V28 度 V29
V10 V13 V15 V18 V21 V24 V27 V28

图 6-4 智能汽车中控 HMI 设计决策树模型

智能汽车中控 HMI 设计决策树模型的优点在于数据结构较为简单，数据可视化表

达比较直观，而且该模型对数据标准化处理要求不高，能够处理多输出问题，在实际应
用中比较灵活。智能汽车中控 HMI 设计决策树模型构建完成以后，需要确定底层事件、
中间事件和顶层事件的概率，确定各个事件节点概率方法可见下一小节。
6.2.3 基于贝叶斯网络的中控 HMI 设计评价方法
确定整个决策树模型以及各个决策事件节点之后，需要确定模型中各个事件的先验
概率，定量分析和评价智能汽车中控 HMI 设计。汽车中控 HMI 设计中会存在不同侧重
点，在标定先验概率时需要考虑不同设计项目下概率的模糊性，因此不同设计项目下各
个中间和底层事件的概率取值各不相同，本文中最底层各个设计变量（信息密度、色彩
和布局）的先验概率直接由第四章和第五章的量表数据和实验数据结果统计而来，其数
值保持不变，缺省部分按照平均值填充，见表 6-5。
表 6-5 不同设计变量下的认知数据概率值
高信息 中信息 低信息 黑色背 深蓝背 橙色背 浅灰背 左右布 上下布 上中下
密度 密度 密度 景白色 景白色 景白色 景黑色 局 局 布局
字体 字体 字体 字体
认知时间 0.097 0.356 0.547 0.33 0.33 0.17 0.17 0.297 0.456 0.247
决策时间 0.034 0.147 0.819 0.419 0.387 0.101 0.093 0.334 0.368 0.298
认知加工 0.076 0.453 0.471 0.329 0.362 0.193 0.116 0.276 0.413 0.311
认知负荷 0.097 0.356 0.547 0.209 0.175 0.257 0.359 0.197 0.556 0.247
愉悦感 0.234 0.347 0.419 0.327 0.175 0.339 0.159 0.224 0.447 0.329
依赖感 0.359 0.453 0.188 0.411 0.358 0.093 0.138 0.309 0.339 0.352
复杂性 0.192 0.258 0.55 0.25 0.25 0.25 0.25 0.199 0.458 0.343
失误 0.276 0.293 0.431 0.446 0.337 0.139 0.078 0.326 0.363 0.311

113
 西北工业大学博士学位论文

在统计中将所有变量的评价数值表示该事件下的正向评价概率，如认知时间、决策
时间、认知加工、认知负荷、复杂度、和失误事件下的概率值表示不同设计变量下该指
标的优势程度，分数越高代表该类指标的评价分数越高，设计方案在该指标下表现越优
异。从认知实验数据结果求得最底层设计变量的基本概率值以后，需要确定各个中间事
件的先验概率。在确定不同设计评价影响要素的重要程度时，将 1—7 从小到大 7 个数
字作为设计评价尺度，分数越高代表设计评价越优异。对于单个中间事件元素的先验概
率标定，选取多名专家对产品进行体验后，针对各个中间事件元素进行评分，得到评分
向量 R=(r1, r2,…,rn)，n 为专家数量，𝑟𝑖𝑗 表示第 i 个专家对第 j 个中间事件的评价分值，
在 n 名专家对 m 个中间事件元素先验概率标定后形成评分矩阵为：
𝑅1 𝑟11 𝑟12 ⋯ 𝑟1𝑛
𝑅2 𝑟21 𝑟22 ⋯ 𝑟2𝑛
𝑅=[ ]=[ ] (6-8)
⋮ ⋮ ⋮ ⋯ ⋮
𝑅𝑛 𝑟𝑛1 𝑟𝑛2 ⋯ 𝑟𝑛𝑚

第 j 个中间事件先验概率值为
n
Wj  ri j r
i=1
ij (6-9)

贝叶斯网络由网络结构和变量的概率分布两部分组成，可以表示为一个有序三元组
（V，E，P），其中 V 为决策树模型中包含 n 个事件的节点集，即 V={V1，V2，V3…Vn}，
E 表示各个事件节点的关联关系集，P 表示每个事件节点的概率集，对应各个事件间的
关联强度。在一个关联的事件中 Vi 表示父事件节点，Vj 表示子事件，Pa(Vi)表示 Vi 的父
事件节点集合，A(Vi)表示非后代事件节点集合，在贝叶斯网络中则满足以下关系：
P Vi | Pa Vi  , A Vi    P Vi | Pa Vi   (6-10)

给定各个节点先验概率分布基础上，可根据条件独立性假设计算包含所有事件节点
的联合概率，即最顶层事件的概率值：
n
，Vn )   P(Vi V1，V2，
P Vi   P(V1，V2， ，Vi 1 ) (6-11)
i =1

基于贝叶斯网络的中控 HMI 设计评价方法，利用脑电和眼动底层的认知数据结果

可求得基础事件的先验概率，再通过专家对各个中间事件的打分，通过公式 6-8 和 6-9
求得中间事件的先验概率，引入新的设计变量后直接通过底层设计变量的对应关系，通
过贝叶斯网络算法中 6-10 和 6-11 公式求得不同智能汽车中控数字界面设计顶层事件概
率值，整个运算结束，概率值越高代表中控数字界面设计方案易用性更高，更符合用户
的认知习惯。

114
 6 智能汽车座舱人机交互体验设计评价方法

贝叶斯网络中控 HMI 设计评价系统，整合了贝叶斯网络算法，最终通过 GUI 界面

实现设计评价的交互和运算工作，系统主界面和基础数据输入界面如图 6-5 所示。

（a）主界面 （b）数据导入界面

图 6-5 贝叶斯网络中控 HMI 设计评价系统界面示意图

6.2.4 智能汽车中控交互界面设计评价案例验证
选取特斯拉 Model S（记作 A）、蔚来 ES8（记作 B）、比亚迪唐 2 代（记作 C）中
控交互界面作为本次评价对象，5 名专家组成员和编号与座舱布局评价的成员和编号保
持一致。在视觉与脑认知实验中已经确定了最底层事件的先验概率，可参见 6.2.3 小结
表 6-5，下一步需要确定各个中间事件的先验概率，5 名专家对产品进行体验后，针对各
个中间事件元素进行评分。以中控交互界面设计认知评价对应的 V3、V4 、V5、 V6 为例，
5 名专家打分后形成评价矩阵，可以表示为：
V3   5 4 4 5 4
V  
4 3 6 3 3 
V= =
4

V5   4 4 3 2 4
   
V6   4 6 6 5 6

根据公式 6-10 至 6-11 可计算得到：

WV 3  0.259 
W  
0.224 
W=
V4
=
WV 5  0.200 
   
WV 6  0.317 

求得 V3、V4 、V5、 V6 四个中间事件的先验概率为 P（V3）=0.259，P（V4）=0.224，P

（V5）=0.200，P（V6）=0.317，同理求出其他中间事件的先验概率，如表 6-6 所示。

115
 西北工业大学博士学位论文

表 6-6 各个中间事件节点概率值

事件 V1 V2 V3 V4 V5 V6 V7 V8
先验概率 0.583 0.417 0.259 0.224 0.200 0.317 0.301 0.138
事件 V9 V10 V11 V12 V13 V14 V15 V16
先验概率 0.293 0.268 0.492 0.105 0.403 0.594 0.406 0.439
事件 V17 V18 V19 V20 V21 V22 V23 V24
先验概率 0.205 0.356 0.396 0.273 0.331 0.315 0.393 0.292
事件 V25 V26 V27 V28 V29 V30 V31
先验概率 0.215 0.353 0.432 0.491 0.509 0.531 0.469

根据决策树分析法进行图形推演并构建出决策树逻辑图，根据求得各事件节点先验
概率及关系构建决策树模型， Netica 软件是贝叶斯网络仿真计算的专业软件，为了提高
模型的便捷性与实用性，本文利用 Netica 软件，对智能汽车座舱中控人机交互界面设计
评价贝叶斯网络模型进行建模仿真，将计算得到的中间事件概率和底层事件概率输入到
模型中，建模仿真得到如图 6-6 的模型仿真结果，该模型可以在评价系统中显示。
V31 V30
左右 32.6 高 26.2
T 上下 36.3 中 29.3
V1 58.3 上中下 31.1 低 43.1 V29
V11
V2 41.7 左右 19.9
高 09.7 上下 45.8
V12 中 35.6 上中下 34.3
黑 33 低 54.7 V10
蓝 33 V30 53.1
橙 17 V1 V2
灰 17 V3 V28
V3 25.9 V7 30.1 V31 46.9
V11 49.2 V4 22.4 V8 13.8 高 19.2
V13 V12 10.5 V5 20.0 V9 29.3 中 25.8
V6 31.7 V10 26.8 V9
左右 29.7 V13 40.3 低 55.0
上下 45.6
V28 49.1
上中下 24.7
V4 V29 50.9
V27
V14 59.4 左右 30.8
V14 V8 上下 33.9
高 03.4 V15 40.6 V25 21.5 V26 上中下 35.2
V26 35.3 黑 41.1
中 14.7 V7
V27 43.2 V25 蓝 35.8
低 81.9 V5 V6 V22 31.5 高 35.9 橙 9.3
V16 43.9 V19 39.6 V23 39.3 灰 13.8
中 45.3
V17 20.5 V20 27.3 V24 29.2 低 18.8
V18 35.6 V21 33.1 V24
V15 左右 22.4
左右 33.4
V23 上下 44.7
上下 36.8 上中下 32.9
黑 32.7
上中下 29.8
蓝 17.5
橙 33.9
V16 灰 15.9
高 07.6
中 45.3 V22
低 V17 V18 V19 V20 V21 高 23.4
47.1
黑 32.9 左右 29.7 高 09.7 黑 20.9 左右 19.7 中 34.7
蓝 36.3 上下 41.3 中 35.6 蓝 17.5 上下 55.6 低 41.9
橙 19.3 上中下 31.1 低 橙 25.7 上中下 24.7
灰 11.6
54.7 灰 35.9

图 6-6 中控交互界面决策树设计评价模型

已知三款智能汽车的信息密度、色彩搭配方式和界面布局方式，和中控交互界面决
策树设计评价模型各事件节点先验概率，根据公式 6-12 和 6-13 可直接计算三款智能汽
车中控人机交互界面包含所有事件节点的联合概率，其中决策树模型中并列关系（与关
系）概率值相加计算，递进关系（或关系）连乘计算，最后求得最顶层事件的概率值，
三款智能汽车座舱人机交互界面设计评价可通过 GUI 组件建立的贝叶斯网络评价系统
完成运算，贝叶斯网络中控 HMI 设计评价系统中决策树模型及三款汽车中控人机交互

116
 6 智能汽车座舱人机交互体验设计评价方法

界面方案的评价结果通过界面展示，见图 6-7。

图 6-7 中控交互界面决策树模型及评价结果界面

中控交互界面决策树模型评价等级分为四个，其中得分 0.8-1 代表极度优秀，各方

面表现很好，得分 0.7-0.8 代表优秀，可进一步优化，得分 0.6-0.7 代表中等，优化空间
较大，0.6 以下代表较差，需要重点优化。A、B、C 三款方案设计评价的最终概率值分
别为 PA=0.683，PB=0.709，PC=0.653。结果表明 B 款设计方案的中控数字界面设计的易
用性更高，更符合用户的认知习惯，设计表现优秀，A 款方案次之，C 款方案较差。
为了进一步验证算法模型的有效性，为此，本文采用定性的分析方法对两种极端条
件下的贝叶斯网络设计评价模型进行验证仿真[120]，仿真结果如表 6-7 所示。V6 和 V7 分
别代表界面的认知负荷和愉悦感体验的评价，假设一个品牌中控界面 V6 或 V7 其中一个
得分较差时，则该界面的最终设计评价结果不会达到优秀，如果 V6 和 V7 均不合格时，
整个评价得分一定不合格，即使单个表现不合格而另一个表现优秀时，整体表现仍不会
优秀，表 6-7 的最终结果与假设完全一致，进一步证明该模型的有效性。
表 6-7 评价模型节点敏感性仿真结果
条件
评价 得分 评价结果
假设条件 中间事件
V6 极度优秀（1）
总体中等以下 0.616 中等
V7 不合格（0.6）
V6 不合格（0.6）
总体中等以下 0.532 较差
V7 季度优秀（1）
V6 不合格（0.6）
一定不合格 0.435 较差
V7 不合格（0.6）

6.3 结果讨论及应用价值
6.3.1 结果讨论
智能汽车座舱布局和中控人机交互界面的设计评价问题正在成为主机厂设计团队

117
 西北工业大学博士学位论文

面临的难点问题。本文基于座舱内的人机交互行为数据、眼动和脑电实验数据作为基础
数据，建立基于数学模型的评价方法，并针对三款不同品牌智能汽车的座舱布局和中控
人机交互界面设计进行设计评价，得出如下结论：

1) 座舱布局和人机交互界面设计评价结果一致
应用多目标粒子群算法对智能汽车座舱人机交互布局进行多目标评价，与人机交互
界面设计贝叶斯网络算法评价的结果保持一致。从座舱布局评价结果来看，B 品牌汽车
布局下的人机交互更流畅，复杂度更低，用户的整体体验较好，且用户的视觉体验优于
A 和 C 方案，座舱布局整体上更符合用户的视觉认知习惯；中控界面受相对位置的约
束，同时受品牌整体设计风格和品牌基因的影响，B 品牌汽车中控人机交互界面用户体
验较好，认知负荷更低，更符合人的认知习惯，用户对界面的信任感更强，明显优于 A
和 C 方案。

2) 智能汽车座舱布局会影响人车交互行为和视觉认知舒适性，进而影响用户体验
运用熵值法和多目标粒子群算法进行多目标评价的过程结果可以看出，三款智能汽
车座舱布局中，用户的人机交互复杂度熵值与愉悦感及信任感的结果成负相关，说明不
同座舱布局导致用户的人车交互行为发生变化，而这种变化会直接影响用户体验和视觉
舒适性，不同智能汽车座舱方案的人机交互复杂度越高，视觉认知舒适性和用户体验越
差。

3) 中控人机交互界面设计与用户认知习惯的匹配程度直接影响界面用户体验
通过贝叶斯网络决策树评价模型的各个中间变量先验概率值可以看出，中控人机交
互界面信息密度和界面布局对中控界面的认知负荷产生、认知和决策时间以及认知加工
时间等认知要素的影响较大，信息密度和色彩对用户依赖感和信任感影响较大；界面设
计布局、信息密度和色彩与用户认知习惯匹配程度越高，出错的概率越低，用户的信任
感和依赖感越高，界面可用性越高，整体体验越好。
6.3.2 应用价值
本文结合人机交互行为实验、视觉和脑认知实验的数据，通过数学模型算法建立底
层设计变量与上层认知和可用性评价的对应关系，并基于数学模型计算智能汽车座舱布
局和人机交互界面设计评价结果，可以为智能汽车品牌厂商提供设计优化与评价的认知
层面的理论参考，并为智能汽车用户体验设计与优化提供意见。
一方面汽车的设计周期很长，在前期的设计原型阶段，可以通过眼动仪数据和复杂
度熵值数据，采用本文建立的座舱布局评价方法，针对评价结果配置和优化布局设计方
案。比如，针对智能汽车中控与驾驶位的倾斜角度，可以针对不同倾斜角度参数进行单
个变量的设计评价，在保证汽车内饰整体性的前提下，不断优化倾斜角度的设计方案，
从而改善驾驶者的用户体验；此外，可以针对整个智能汽车座舱布局设计方案，通过眼

118
 6 智能汽车座舱人机交互体验设计评价方法

动实验和复杂度熵值数据优化弱势数据对应的布局，通过不断优化完善提高整个座舱布
局的设计，使用户获得较高的舒适度水平，眼动仪成本较低佩戴方便，车企可以内部完
成评价实验优化座舱布局设计。
另一方面，汽车的数字化和智能化趋势越来越明显，车内的中控屏会出现三联屏、
多联屏、一字长屏等多种设计方案，基于贝叶斯网络的中控 HMI 设计评价方法可以通过
底层事件概率直接求得不同信息密度、色彩搭配、界面布局的设计方案结果，可以根据
结果进行优化，也可以通过调整中间事件概率匹配不同的设计项目，最终在内饰的产品
设计约束下，不断优化现有方案，使现有方案更符合用户的认知习惯，提高界面的可用
性和使用体验。 此外，该方法将被应用主机厂某型智能汽车概念座舱的设计和优化中，
为该款概念座舱的评价及设计优化提供理论支持和技术帮助。

6.4 本章小结
根据第三、四章的人机交互行为实验数据和眼动数据结果，从人机交互行为复杂度、
人机交互布局愉悦感、信任感三个方面入手，提出了基于多目标粒子群算法的智能汽车
座舱布局设计评价方法；基于第四、五章的眼动和脑电实验数据，构建了智能汽车 HMI
决策树模型，并提出了基于贝叶斯网络算法的智能汽车中控人机交互界面设计评价方法，
并通过实例进行了算法验证。本章主要基于三、四、五章实验数据及分析结果，将用户
人机交互行为及认知机制的研究，通过建立设计变量和设计评价关系的数学模型进行评
价和寻优，将小样本案例推理机器学习技术细节与认知机制研究内容进行了深度融合。

119
西北工业大学博士学位论文

120
 总结与展望

第7章 总结与展望

智能汽车座舱是驾驶员与汽车交互的载体，是用户完成整个驾驶任务的主要场所。
从工业设计角度来看，汽车座舱设计的优劣将直接影响用户体验。从传统汽车的物理按
键式交互到全触屏和数字化交互的过程中，智能汽车座舱信息布局也发生了很大的变化，
人机交互行为和驾驶行为本身也都受到很大的影响。基于这种转变，本文从车内人机交
互行为视角入手，从人因学和认知学角度出发，重点通过情境认知机制、视觉信息认知
和智能汽车座舱人机交互界面脑认知机制方面的研究，解决智能汽车座舱人机交互、信
息布局和数字交互界面的设计和人机交互体验评价问题。为解决智能化、数字化、网联
化下，智能汽车座舱人机交互设计与用户认知失衡的困境提供理论参考和方法指导。

7.1 论文的主要研究工作与结论
7.1.1 主要研究工作与成果

1）构建智能汽车座舱人机交互认知量化研究体系
阐述了认知负荷产生的机理及本文涉及的量化研究方法，构建了智能汽车座舱视觉
认知模型；论述了脑认知机制的一般实验流程和脑电量化指标，分析了人机交互任务的
复杂度特性，提出了智能汽车人机交互任务复杂度分析方法，最终构建了智能汽车人机
交互认知与评价研究体系。

2）构建智能汽车座舱情境认知模型及提出人机交互行为分析方法

通过真实真实场景的驾驶实验，分析了目标用户在人车交互过程中的情境认知过程，
研究目标用户在智能汽车座舱中的情境认知过程和人机交互行为模式，最终构建了智能
汽车情境认知模型，并基于该模型提出智能汽车座舱人机交互行为分析方法。

3）研究智能汽车座舱布局及中控人机交互界面视觉认知机制

界定了智能汽车座舱人机交互视觉认知要素，研究了智能汽车座舱视觉认知信息编
码的一般规律，通过真实场景的驾驶实验研究，获取被试在智能汽车座舱人机交互过程
中的眼动数据，分析智能汽车不同座舱信息布局下被试驾驶员的眼动搜索及视觉认知机
制，比较其绩效度量指标，挖掘智能汽车座舱中娱乐系统、车载交互大屏、方向盘、数
字仪表盘等关键要素特征对用户视觉认知的影响机制。

4）研究智能汽车座舱中控人机交互界面脑认知机制

介绍了智能汽车座舱人机交互脑认知实验的基本范式，将智能汽车中控数字界面与
驾驶员脑机制相结合，对智能汽车座舱人机交互数字界面认知实验进行了详细阐述，设
计实验获取被试在不同任务、不同显示方式下驾驶员的脑认知数据，通过数据分析研究

121
 西北工业大学博士学位论文

智能汽车中控数字界面交互中的认知绩效和脑认知机制。

5）提出智能汽车座舱人机交互设计评价方法

基于第三、四、五章的研究，分析智能汽车座舱人机交互行为及视觉认知绩效评价
指标和脑认知评价指标，将数学算法和主客观数据相结合，分别提出了基于人机交互行
为-视觉认知的智能汽车座舱布局人机交互评价方法，以及基于贝叶斯网络算法的中控
人机交互界面设计评价方法。
7.1.2 结论

本文通过多个实验对智能汽车情境认知机制、人机交互行为模式、人机交互行为底
层的视觉认知和脑认知机制进行了研究，并提出了基于人机交互行为、生理和心理数据
的智能汽车座舱人机交互设计评价方法。实例验证结果表明，论文提出的评价方法在一
定程度上能够有效评价出智能汽车座舱信息设计、布局和人机交互界面设计的认知绩效
和可用性水平，为智能汽车座舱人机交互模式改进和人机界面设计阶段提高用户体验水
平提供较为详尽的理论依据和知识借鉴。

本文从智能汽车用户人机交互行为、视觉认知和脑认知等维度对用户人机交互认知
机制进行探讨，但是在实验和数据分析中发现，用户的脑电数据和眼动数据本身存在着
复杂的相互关联，二者通过用户与智能汽车的人机交互行为而相互影响和相互作用；另
一方面，本文中所涉及的脑电和眼动数据的关键特征指标之间也存在相互作用关系，本
文并不否认和回避这种相互作用，而是把这种互相影响的关系作为一种实验特性，这种
特性并不影响实验的最终结果。此外，本文结合人车交互行为研究，以及不同设计变量
下视觉和脑认知相实验结果，通过数学模型进行设计评价，属于用户体验和人机交互评
价课题的探索性研究，致力于把底层的行为和认知数据作为重要输入数据，对智能汽车
的人机交互设计优化及评价进行研究，为智能汽车座舱设计落地，提供人因学和认知学
研究基础。

7.2 主要创新点
汽车座舱设计长久以来多从设计美学、功能、品牌传播等角度自上而下进行设计与
开发，然而目前正在经历从传统汽车的驾驶操控为主导，到以娱乐化、智能化、网联化
的智能汽车人机交互转变，这种变化导致车内人机交互行为、信息布局、界面设计都发
生重大变化，以往的很多基于传统汽车的理论方法，并不能很好的移植到智能汽车上来，
基于此，本文从人因学和认知学角度出发，试图从底层的人机交互行为和认知理论自下
而上辅助智能汽车座舱人机交互设计与评价，本文主要创新点如下：

1）基于情境感知、认知心理学等基础理论，结合人机交互行为、生理及心理实验研
究与数学模型搭建，提出了较为完整的智能汽车座舱人机交互认知量化研究体系，为当

122
 总结与展望

前智能汽车的布局和人机交互界面设计与研究提供方法体系支撑。

2）分析了智能汽车目标用户座舱内的主要人机交互行为特征，基于人机交互行为
建立了智能汽车座舱情境认知模型，并提出智能汽车座舱人机交互行为分析方法，为智
能汽车的人机交互行为模式分析提供方法依据。

3）设计并进行了智能汽车用户人机交互视觉认知实验研究，通过实验研究了智能
汽车座舱人机交互布局和中控人机交互界面视觉认知机制；基于认知负荷相关理论，设
计并进行了智能汽车座舱人机交互脑认知研究实验，系统研究了智能汽车座舱人机交互
界面不同设计变量对用户认知绩效的影响，解释了智能汽车中控数字界面设计变量与认
知绩效的关系。

4）基于人机交互行为数据和眼动数据，提出了基于多目标粒子群算法的智能汽车
座舱布局人机交互评价方法，构建设计变量与设计评价的数学模型，基于视觉认知数据
和脑认知数据，提出基于贝叶斯网络算法的中控交互界面设计评价方法，为当前智能汽
车座舱布局和人机交互界面设计评价提供新的方法。

7.3 研究展望
智能数字化座舱是用户体验的载体，内容更为丰富的大型全液晶仪表盘、全面进入
触控时代的中控和车载信息娱乐系统、ADAS 高级驾驶辅助系统、集成 HUD 或增强型
现实系统、车联网模块等组成了一套完整体系，为驾驶员及乘客在座舱内营造全新的用
户体验。然而，技术的影响需要“人”本身的感知和体验，如果想最大化的将新技术赋
能用户体验，需要底层的人因学、认知学和心理学理论支撑。基于此，本文研究了智能
汽车座舱人机交互行为模式和认知机制，基于交互行为和认知机制及数学模型，提出了
智能汽车座舱人机交互设计评价方法。由于作者自身能力与精力的局限，论文中不免对
一些问题研究的不够透彻，本文的相关研究仅仅是对智能汽车用户体验和人机交互领域
的探索性研究，在未来的工作中，可以从下文的若干方向进行更加深入的探索。

1）打通智能汽车的传感器与人的生理数据接口，将更多通道的生理数据进行整合。
在后续研究中，仍然需要通过对多通道生理数据进行分析，挖掘影响用户人机交互的更
多指标和潜在要素，为汽车座舱设计和评价提供大数据支持。

2）论文重点研究了智能汽车座舱中人车交互行为模式及规律及脑电、眼动认知数据，但
是由于样本量和测试设备等实验条件的限制，未能全面的对用户情绪、信任、偏好等话
题进行考量，肌电、表情识别等没有引入本研究。此外，人机交互动作的顺序对出错率、
人机交互效率有一定影响，智能汽车的界面显示内容对用户的脑电认知也有较大影响，
但本文在研究重点聚焦于动作的复杂度和定性分析以及设计变量对脑电的影响，后续的
工作中将考虑加入更多特征指标进行研究。

123
 西北工业大学博士学位论文

3）本文提出的智能汽车座舱人机交互设计评价方法，主要局限于静态的人机交互
界面和布局进行评价研究，缺乏对人机交互技术、人机交互流程、人机交互动态展示等
动态和持续的人机交互行为进行研究。

124
 参考文献

参考文献

[1] Moradi A, Vagnoni E. A multi-level perspective analysis of urban mobility system dynamics:
What are the future transition pathways?[J]. Technological Forecasting and Social Change,
2018, 126: 231-243.
[2] Montes S A, Introzzi I M, Ledesma R D, et al. Selective attention and error proneness while
driving: Research using a conjunctive visual search task[J]. Avances en Psicología
Latinoamericana, 2016, 34(2): 195-203.
[3] Moeller B, Zoppke H, Frings C. What a car does to your perception: Distance evaluations
differ from within and outside of a car[J]. Psychonomic Bulletin & Review, 2016, 23(3):781-
788.
[4] Koopman P, Wagner M. Autonomous vehicle safety: An interdisciplinary challenge[J].
IEEE Intelligent Transportation Systems Magazine, 2017, 9(1): 90-96.

[5]曾庆抒,赵江洪.电动汽车内室软硬人机界面的整合设计[J].包装工程，2015，36(08)：
47-50+59.

[6] Harvey C, Stanton N A. Usability evaluation for in-vehicle systems[M]. Crc Press, 2016.
[7] Azpilicueta L, Vargas-Rosales C, Falcone F. Intelligent vehicle communication:
Deterministic propagation prediction in transportation systems[J]. IEEE Vehicular Technology
Magazine, 2016, 11(3): 29-37.

[8]罗仕鉴.科技设计驱动变革[J].包装工程,2017,38(24):30-36.

[9] Ji X, Zhang G, Chen X, et al. Multi-Perspective Tracking for Intelligent Vehicle[J]. IEEE
Transactions on Intelligent Transportation Systems, 2018, 19(2):518-529.
[10] Weng F, Angkititrakul P, Shriberg E E, et al. Conversational in-vehicle dialog systems: The
past, present, and future[J]. IEEE Signal Processing Magazine, 2016, 33(6): 49-60.
[11] Gkikas N. Automotive Ergonomics: Driver-Vehicle Interaction[M]. CRC Press, 2016.

[12]Calhoun G L, Ruff H A, Behymer K J, et al. Human-autonomy teaming interface design

considerations for multi-unmanned vehicle control[J]. Theoretical issues in ergonomics science,
2018, 19(3): 321-352.

[13]François M, Osiurak F, Fort A, et al. Automotive HMI design and participatory user
involvement: review and perspectives[J]. Ergonomics, 2016, 60(4):541-552.

[14]吕能超,秦羚,罗毅.先进驾驶辅助系统的接受程度及其影响因素分析[J].交通信息

125
 西北工业大学博士学位论文

与安全, 2017, 35(6): 54-59.

[15]李有观.未来的新型汽车[J].智能系统学报,2005(4):35-35.

[16]Jeannerod M, Jacob P. Visual cognition: a new look at the two-visual systems model[J].
Neuropsychologia, 2005, 43(2): 301-312.
[17] De Nadai S, D'incàM, Parodi F, et al. Enhancing safety of transport by road by on-line
monitoring of driver emotions[C]. System of Systems Engineering Conference (SoSE), 2016
11th, 2016: 1-4.
[18] Tremblay S. A cognitive approach to situation awareness: theory and application[M].
Routledge, 2017.

[19]杨君宇,项忠霞,贡小雷,赵天娇.微建筑视角下无人驾驶汽车舱内视知觉设计研究
[J].包装工程,2018,39(12):10-14.

[20]Vaa T. Some comments on the definition of aggression and aggressive driving behaviour[C].
Road Safety Three Continents in Pretoria, South Africa, 20-22 September 2000. Statens väg-
och transportforskningsinstitut, 2001: 181-195.
[21]Salvucci D D, Boer E R, Liu A. Toward an integrated model of driver behavior in cognitive
architecture[J]. Transportation Research Record, 2001, 1779(1): 9-16.
[22]Misener J A, Shladover S E. PATH investigations in vehicle-roadside cooperation and
safety: A foundation for safety and vehicle-infrastructure integration research[C]. 2006 IEEE
Intelligent Transportation Systems Conference. IEEE, 2006: 9-16.
[23]Schieber F, Schlorholtz B, McCall R. Visual requirements of vehicular guidance[J]. Human
factors of visual and cognitive performance in driving, 2009: 31-50.
[24]Pentland A, Liu A. Modeling and prediction of human behavior[J]. Neural computation,
1999, 11(1): 229-242.
[25]James L. Aggressive driving and road rage: Dealing with emotionally impaired drivers[J].
Text of Congressional Testimony on Aggressive Drivers, 1997.
[26]Georgeon O L, Henning M, Bellet T, et al. Creating cognitive models from activity analysis:
A knowledge engineering approach to car driver modeling[C]. 8th International Conference on
Cognitive Modeling (ICCM 2007), 2007: 26.
[27]Salvucci D D. Modeling driver behavior in a cognitive architecture[J]. Human factors, 2006,
48(2): 362-380.

[28]刘雁飞,吴朝晖.驾驶 ACT-R 认知行为建模[J].浙江大学学报(工学版),2006,

126
 参考文献

40(10):1657-1662.

[29]梁燕飞,何汉武,郑德涛等. 基于优势关系粗糙集的驾驶行为研究[J]. 武汉理工大

学学报(交通科学与工程版), 2008, 32(2):271-274.

[30]李洪强,程国柱,张琨.不良汽车驾驶行为聚类与处罚形式及标准建议[J].交通信息
与安全,2009,27(05):94-98.

[31]Zhang W, Tsimhoni O, Sivak M, et al. Road safety in China: analysis of current

challenges[J]. Journal of safety research, 2010, 41(1): 25-30.
[32]Schilit B, Adams N, Want R. Context-aware computing applications[C].1994 First
Workshop on Mobile Computing Systems and Applications, 1994: 85-90.
[33] Christiansen N. Is there any body out there: context awareness in a virtual organization[C],
CH12000 conference, 2000.
[34]Schmidt A, Aidoo K A, Takaluoma A, et al. Advanced interaction in context[C].
International Symposium on Handheld and Ubiquitous Computing, 1999: 89-101.
[35]Dey A K, Salber D, Abowd G D, et al. The conference assistant: Combining context-
awareness with wearable computing[C]. International Symposium on Wearable Computers.
IEEE, 1999.
[36]Carter S, Mankoff J, Heer J. Momento: support for situated ubicomp experimentation[C].
Proceedings of the SIGCHI conference on Human factors in computing systems, 2007: 125-
134.
[37] Endsley M R. Toward a theory of situation awareness in dynamic systems[J].Human
factors, 1995, 37(1): 32-64.

[38]顾君忠.情景感知计算[J].华东师范大学学报(自然科学版),2009(5):1-20.

[39]于洁潇.基于 RFID 的情境感知关键技术研究[D].天津大学, 2010.

[40]韩立,刘正捷,李晖等.基于情境感知的远程用户体验数据采集方法[J]. 计算机学
报, 2015(11):2234-2246.

[41]Kang D-O, Lee H-J, Ko E-J, et al. A wearable context aware system for ubiquitous
healthcare[C]. 2006 International Conference of the IEEE Engineering in Medicine and
Biology Society. IEEE, 2006: 5192-5195.
[42]Biem A, Bouillet E, Feng H, et al. IBM infosphere streams for scalable, real-time,
intelligent transportation services[C]. Proceedings of the 2010 ACM SIGMOD International
Conference on Management of data, 2010: 1093-1104.

127
 西北工业大学博士学位论文

[43]Keralia D, Vyas K K, Deulkar K. Google project tango–a convenient 3D modeling device[J],

International Journal of Current Engineering and Technology, 2014, 4: 3139-3142.

[44] 曾 乐 .基 于情 境感 知 的 汽车 人机 交 互界 面 设 计研 究 [J]. 内燃 机 与 配件 ， 2019

(02):167-168.

[45]罗威.SCAPE:一个智能汽车空间原型[A].山东大学计算机科学与技术学院.第三届
和谐人机环境联合学术会议（HHME2007）论文集[C].山东大学计算机科学与技术学院:
中国计算机学会多媒体技术专业委员会,2007:6.

[46]谭浩,谭征宇,景春晖等.汽车人机交互界面设计[M].电子工业出版社,2015:315-
321.

[47]张茫茫.基于汽车的多主体多通道交互模型研究[J].包装工程,2017,38(20):7-12.

[48] Vogel F. The genetic basis of the normal human electroencephalogram (EEG)[J].
Humangenetik, 1970, 10(2): 91-114.
[49] Sutton S, Braren M, Zubin J, et al. Evoked-potential correlates of stimulus uncertainty[J],
Science, 1965, 150(3700): 1187-1188.

[50]高晓卿, 王永跃, 葛列众. 眼动技术与脑电技术的结合--一种认知研究新方法[J].

人类工效学, 2005,11(1):36-37.

[51] Levy P, Yamanaka T. Design with event-related potentials: a Kansei information approach
on CMC design[J]. International Journal of Product Development, 2009, 7(1): 127.

[52]唐帮备,郭钢,王凯等.联合眼动和脑电的汽车工业设计用户体验评选[J].计算机集
成制造系统,2015,21(6).

[53] Smith-Atakan S. Human-computer interaction[M]. Cengage Learning EMEA, 2006.

[54] Krum D M, Faenger J, Lathrop B, et al. All roads lead to CHI: interaction in the
automobile[C]. CHI'08 Extended Abstracts on Human Factors in Computing Systems, 2008:
2387-2390.
[55] Schmidt A, Dey A K, Kun A L, et al. Automotive user interfaces: human computer
interaction in the car[C]. CHI'10 Extended Abstracts on Human Factors in Computing Systems,
2010: 3177-3180.

[56]吴刚,徐力.3D 显示在车载导航娱乐信息系统中的界面设计的价值与应用[J].设
计,2016,(23):136-137.

[57]王福恒,覃京燕,李威. 人一车信息交互系统设计[J].包装工程,2009(3):155-157.

128
 参考文献

[58]曾庆抒,赵江洪,谭浩.汽车人机界面交互设计的情景板工具与方法[J].包装工程,
2014(22):22-26.

[59] Wierwille W. An initial model of visual sampling of in-car displays and controls[J], Vision
in vehicles, 1993, 4: 271-280.
[60]Paas F, Renkl A, Sweller J. Cognitive load theory and instructional design: Recent
developments[J]. Educational psychologist, 2003, 38(1): 1-4.
[61] Sweller J. Cognitive load theory, learning difficulty, and instructional design[J]. Learning
and instruction, 1994, 4(4): 295-312.
[62] Paas F, Renkl A, Sweller J. Cognitive load theory: Instructional implications of the
interaction between information structures and cognitive architecture[J]. Instructional science,
2004, 32(1): 1-8.
[63] Baddeley A. Working memory[J]. Science, 1992, 255(5044): 556-559.
[64] Baddeley A. Working memory: looking back and looking forward[J]. Nature reviews
neuroscience, 2003, 4(10): 829.
[65] Paas F G W C, Van Merriënboer J J G, Adam J J. Measurement of cognitive load in
instructional research[J]. Perceptual and motor skills, 1994, 79(1): 419-430.
[66] Potter S S, Bressler J R. Subjective workload assessment technique (SWAT): a user's
guide[R]. SYSTEMS RESEARCH LABS INC DAYTON OH, 1989.
[67] Hart S G, Staveland L E: Development of NASA-TLX (Task Load Index): Results of
empirical and theoretical research[M]. Advances in psychology. North-Holland, 1988, 52: 139-
183.
[68] Tsang P S, Velazquez V L. Diagnosticity and multidimensional subjective workload
ratings[J]. Ergonomics, 1996, 39(3): 358-381.
[69] Neely A, Gregory M, Platts K. Performance measurement system design: a literature
review and research agenda[J]. International journal of operations & production management,
1995, 15(4): 80-116.
[70] Ganster D C, Crain T L, Brossoit R M. Physiological measurement in the organizational
sciences: A review and recommendations for future use[J]. Annual Review of Organizational
Psychology and Organizational Behavior, 2018, 5: 267-293.
[71] McBride S D, Morton A J. Visual attention and cognitive performance in sheep[J]. Applied
Animal Behaviour Science, 2018, 206: 52-58.
[72] Anderson P, He X, Buehler C, et al. Bottom-up and top-down attention for image

129
 西北工业大学博士学位论文

captioning and visual question answering[C]. Proceedings of the IEEE Conference on

Computer Vision and Pattern Recognition. 2018: 6077-6086.
[73] Senaratne H, Mueller M, Behrisch M, et al. Urban mobility analysis with mobile network
data: A visual analytics approach[J]. IEEE Transactions on Intelligent Transportation Systems,
2018, 19(5): 1537-1546.
[74] Li Y-J, Yang R. Research on Information Interfaces Visual Search Efficiency and Matching
Mechanism Based on Similarity Theory[C]. International Conference on Human-Computer
Interaction, 2018: 183-190.
[75]Maunsell J H R, Treue S. Feature-based attention in visual cortex[J]. Trends in
neurosciences, 2006, 29(6): 317-322.

[76]赵晓华,房瑞雪,毛科俊,荣建.基于生理信号的驾驶疲劳声音对策有效性实验[J].
西南交通大学学报,2010,45(03):457-463.
[77] Zhao X, Xu W, Ma J, et al. An analysis of the relationship between driver characteristics
and driving safety using structural equation models[J]. Transportation Research Part F: Traffic
Psychology and Behaviour, 2019, 62: 529-545.

[78]陈晓皎, 薛澄岐, 陈默等.基于眼动追踪实验的数字界面质量评估模型[J].东南大

学学报（自然科学版）, 2017,47(01):38-42.

[79]Oakley D A, Plotkin H C. Brain, behaviour and evolution[M]. Routledge, 2018.

[80] Lin C T, Chen Y C, Wu R C, et al. Assessment of Driver's Driving Performance and

Alertness Using EEG-based Fuzzy Neural Networks[J]. IEEE International Symposium on
Circuits and Systems, 2005: 152-155.

[81]李颖洁,樊飞燕, 陈兴时. 脑电分析在认知研究中的进展[J]. 北京生物医学工程,

2006, 25(3):321-324.

[82]伍国锋,张文渊.脑电波产生的神经生理机制[J].临床脑电学杂志,2000(3):188-
190.

[83]谢松云,张振中,杨金孝等.脑电信号的若干处理方法研究与评价[J].计算机仿
真,2007,24(2):326-330.

[84]Horat S K, Herrmann F R, Favre G, et al. Assessment of mental workload: a new

electrophysiological method based on intra-block averaging of ERP amplitudes[J].
Neuropsychologia, 2016, 82: 11-17.

[85]Rugg M D, Coles M G H. Electrophysiology of mind: Event-related brain potentials and

130
 参考文献

cognition[M]. Oxford University Press, 1995.

[86]牛亚峰,薛澄岐,彭宁玥等.基于 ERP 技术的数字界面布局认知与评估[J].东南大学

学报（自然科学版）,2016,46(3):470-475.

[87]张家瑞,王刚.基于脑电信号的情感识别研究[J].计算机应用研究,2019,(11):1-6.

[88]岳琪,徐忠亮,马琳,李海峰.脑电信号成分稀疏分析范式及其可行证明[J].信号处
理,2018,34(08):923-929.

[89] 彭 军 强 , 吴 平 东 , 殷 罡 . 疲 劳 驾 驶 的 脑 电 特 性 探 索 [J]. 北 京 理 工 大 学 学 报 ,
2007,27(7):585-589.

[90]马颖颖,张泾周,吴疆.脑电信号处理方法[J].北京生物医学工程, 2007(01):99-
102.

[91] Proctor R W, Van Zandt T. Human factors in simple and complex systems[M]. CRC press,
2018.
[92] Lyell D, Magrabi F, Coiera E. The effect of cognitive load and task complexity on
automation bias in electronic prescribing[J]. Human Factors, 2018, 60(7): 1008-1021.
[93] Wood L E: Introduction: Bridging the design gap[M]. User Interface Design. CRC Press,
2018: 1-14.
[94] Ham D H, Park J, Jung W. Model-based identification and use of task complexity factors
of human integrated systems[J]. Reliability Engineering & System Safety, 2012, 100: 33-47.
[95] Byström K, Järvelin K. Task complexity affects information seeking and use[J].
Information processing & management, 1995, 31(2): 191-213.

[96] 张力,刘雪阳,洪俊等.基于熵的数字化人机交互复杂度研究[J].中国安全科学学
报, 2015,25(10):65-70.

[97]汪海波,薛澄岐,史铭豪.自动化影响下的复杂系统数字界面设计研究[J].包装工
程,2014,(4).

[98] Endsley M R. Situation awareness global assessment technique (SAGAT)[C]. Proceedings

of the IEEE 1988 National Aerospace and Electronics Conference. IEEE, 1988: 789-795.
[99]Pruitt J, Grudin J. Personas:practice and theory[C]. Conference on Designing for User
Experiences, 2003: 1-15.
[100]Rodrigues G N, Tavares C J, Watanabe N, et al. A persona-based modelling for contextual
requirements[C]. International Working Conference on Requirements Engineering: Foundation

131
 西北工业大学博士学位论文

for Software Quality. Springer, Cham, 2018: 352-368.

[101] Shannon C E. A mathematical theory of communication[J]. Bell system technical journal,
1948, 27(3): 379-423.

[102]胡科伟,夏如艇,林文君,余琳琳,倪莹莹.汽车驾驶员视觉注意特性及信息处理结
构模型的构建[J].中国科技信息,2013(21):166-167.

[103]Pitts M J, Burnett G, Skrypchuk L, et al. Visual–haptic feedback interaction in automotive

touchscreens[J]. Displays, 2012, 33(1): 7-16.

[104]李晶,薛澄岐,史铭豪,牛亚峰,王海燕.基于信息多维属性的信息可视化结构[J].
东南大学学报(自然科学版),2012,42(06):1094-1099.

[105]邵将,薛澄岐,王海燕,汤文成,周小舟,陈默,陈晓皎.基于图标特征的头盔显示界
面布局实验研究[J].东南大学学报(自然科学版),2015,45(05):865-870.

[106]薛澄岐.复杂信息系统人机交互数字界面设计与测评方法研究[C].中国空间科学
学会空间生命专业委员会第二十届学术研讨会暨中国宇航学会航天医学工程与空间生
物学专业委员会第四届学术研讨会论文集.东南大学,2014:157-157.

[107]张坤,崔彩彩,牛国庆,景国勋.安全标志边框形状及颜色的视觉注意特征研究[J].
安全与环境学报,2014,14(06):18-22.

[108]Courtney S M. Attention and cognitive control as emergent properties of information

representation in working memory[J]. Cognitive, Affective, & Behavioral Neuroscience, 2004,
4(4): 501-516.

[109]Edquist J, Rich A N, Brinkman C, et al. Do synaesthetic colours act as unique features in

visual search?[J]. Cortex, 2006, 42(2): 222-231.

[110]Feldmann ‐ W üstefeld T, Uengoer M, Schubö A. You see what you have learned.
Evidence for an interrelation of associative learning and visual selective attention[J].
Psychophysiology, 2015, 52(11): 1483-1497.

[111] 黄 玲 , 李 梦 莎 , 王 丽 娟 , 张 喜 淋 . 视 觉 选 择 性 注 意 的 神 经 机 制 [J]. 生 理 学
报,2019,71(01):11-21.

[112]Harvey B M, Dumoulin S O. Visual motion transforms visual space representations

similarly throughout the human visual hierarchy[J]. Neuroimage, 2016, 127: 173-185.

[113]牛亚峰,薛澄岐,王海燕,李晶.复杂系统数字界面中认知负荷的脑机制研究[J].工
业工程与管理,2012,17(06):72-75+82

132
 参考文献

[114]王 刊. 观察运动 与想象运 动范式的 脑 电活动相 关性研究 [J]. 电子设 计工程 ,

2015,(6):24-26.

[115]张宁宁,王宏,王剑.基于 ERP 方法的白/黑色轿车诱发脑电分析 [J].汽车工

程,2010,32(9):814-817.

[116]Brady L, Phillips C. Aesthetics and usability: A look at color and balance[J]. Usability
News, 2003, 5(1): 2-5.

[117] 孙 博 文 , 杨 建 明 , 孙 远 波 . 汽 车 人 机 交 互 界 面 层 级 设 计 研 究 [J]. 机 械 设
计,2019,36(02):121-125.

[118]李文博.智能网联汽车 HMI 产品人机交互用户体验测试评价研究[D].重庆大学,

2017.

[119]王亚辉,余隋怀.基于多目标粒子群优化算法的汽车造型设计决策模型[J].计算机
集成制造系统, 2017,23(4):681-688.

[120]王永攀,杨江平,邓翔等.基于贝叶斯网络的复杂装备维修质量评价模型[J].系统
工程与电子技术, 2017,39(3):569-576.
[121]于劲松,沈琳,唐荻音,刘浩.基于贝叶斯网络的故障诊断系统性能评价[J].北京航
空航天大学学报,2016,42(01):35-40.

133
西北工业大学博士学位论文

134
 致谢

致 谢

本文是在恩师余隋怀教授的悉心指导下完成。老师广博的学识、独到的见解、敏锐
的洞察力和严谨的做事态度使我在博士期间深受感染和启发，深深地影响着我每一天的
做事方式和做事态度。恩师谦逊的为人、博大的文化修养和广阔的胸襟，都对我产生了
深刻的影响，也将是我终生享有的巨大财富。此论文完成之际，向恩师表示崇高的敬意
和由衷的感谢，祝愿恩师幸福安康！
感谢工业设计研究所给我提供的良好学习条件和出国交流的机会，并且感谢各位老
师对我的诸多帮助，感谢陈登凯教授、苟秉宸教授、王淑侠教授和初建杰副教授、于明
玖副教授在科研工作和基金申请写作方面对我的帮助和悉心指导，在此特别感谢初老师，
在毕业论文选题和撰写、平衡学业与生活等各个方面都提供了大量宝贵的意见和帮助，
同时感谢于明玖老师在学业各个阶段的帮助和指导。
感谢工业设计研究所的各位同窗一直以来给予我的帮助与包容，是你们的鼓励和支
持帮助我度过了最艰难的时光。另外，感谢我的舍友韩青师兄，感谢在我博士一年级的
时候就提醒我尽早接触科研，每次论文修改，都能得到师兄宝贵的建议和意见。此外还
要感谢我的朋友周岩，每次压力很大都能得到来自朋友的宽慰。
在论文工作期间，得到加拿大滑铁卢大学先进人机交互设计实验室 Catherine Burns
教授邀请进行了半年的短期访学，感谢 Catherine Burns 教授和实验室的所有同学，他们
在学术上和生活上给了我很大的帮助，论文中很多关键数据和实验都是 Catherine Burns
教授的指导下完成，在实验中给予我充分的资金支持和实验指导。另外，感谢在加拿大
期间陪伴在我身边并真诚对待我的各位朋友。
感谢我的父母、家人和亲人们，是你们无私的爱和无微不至的关心，才能让我安心
地完成博士课题，你们毫无保留的支持是我前行的动力，你们是我最坚强的后盾。在此
特别感谢我的爱人马宁，感谢你对我无尽的关爱和包容，感谢在我学业和事业的每一个
转折点，都能得到你的陪伴。
最后感谢各位在百忙之中抽出时间评审本论文的专家，是你们的意见，让我的博士
论文更加完善。
感谢你们对我生活和工作上的支持、鼓励和帮助，愿大家都能拥有一个幸福美满的
人生。

135
136
 攻读博士学位期间发表的学术论文和参加科研情况

攻读博士学位期间发表的学术论文和参加科研情况

1. 攻读博士学位期间发表的学术论文
[1] Wang Y, Yu S, Xu T. A user requirement driven framework for collaborative design
knowledge management[J]. Advanced Engineering Informatics, 2017, 33: 16-28. (SCI, EI 检
索, 影响因子 3.772，对应论文第 1 章)
[2] Wang Y, Yu S, Ma N. A requirement-scenario-experience framework for evaluating
wearable and fashionable design: Presenting underlying factors of user loss[J]. International
Journal of Industrial Ergonomics, 2018, 68: 137-148. (SCI, EI, SSCI 检索, 影响因子 1.429，
对应论文第 3 章)。
[3] Wang Y, Yu S. DESIGN FOR DYNAMIC REQUIREMENT AND DIVERSE USER
EXPERIENCE. In DS 84: Proceedings of the DESIGN 2016 14th International Design
Conference, 2016: 553-560. (EI 检索，对应论文第 3 章)
[4] Wang Y, Yu S, Wang J, et al. INTRODUCING AN EVALUATION FRAMEWORK FOR
WEARABLE DEVICES DESIGN: EXPLAIN REASONS OF LOW USER ADOPTION[C].
Proceedings of the DESIGN 2018 15th International Design Conference. 2018: 2357-2368. (EI
检索，对应论文第 6 章)
[5] 王亚辉,余隋怀.基于多目标粒子群优化算法的汽车造型设计决策模型[J].计算机集
成制造系统,2017,23(04):681-688. (EI 检索，对应论文第 6 章)。
[6] 王亚辉, 余隋怀, 陈登凯等.案例驱动的协同设计知识管理模型及实现[J].计算机集
成制造系统,2018,24(03):741-751. (EI 检索，对应论文第 6 章)。
[7] 王亚辉，余隋怀，初建杰.基于脑机接口的感知用户界面研究（2015）.人-机-环境系
统工程学术交流会议论文集.(对应论文第 5 章)。
[8] Li, Y., Dikmen, M., Hussein, T. G., Wang, Y., & Burns, C. To Cross or Not to Cross:
Urgency-Based External Warning Displays on Autonomous Vehicles to Improve Pedestrian
Crossing Safety. ACM Automotive UI conference 2018. (EI 检索)。
[9] Chen, D., Fan, Y., Li, W., Wang, Y., & Zhang, S. Human reliability prediction in deep-sea
sampling process of the manned submersible. Safety Science, 112, 1–8. (SCI, EI 检索, 影响
因子 = 2.835)。

2.攻读博士学位期间参加的主要科研项目
(1) 国家科技支撑计划项目，工业设计云服务平台关键技术研究（2015BAH21F01），2015
年 1 月至 2017 年 12 月主要承担智能汽车座舱界面设计与认知匹配技术研究。

137
 攻读博士学位期间发表的学术论文和参加科研情况

(2) 国 家 重点研发专项子课题，面向创新创业的 3D 打印云服务平台研发及应 用

（2017YFB1104205），2017 年 9 月至今，主要承担智能设计与决策推送技术研究工作。

(3) 2016 年 1 月至今，“工信部民用飞机专项科研项目（MJ-2015-F-018）”，主要承

担客舱人机工效设计与评价、人机交互认知机制相关研究。

138