DOI :

10．
162
63／j．cnki．
23－
107
1／h．
200
7．0
5．0
34
2007年第 5期 外语学刊 0
　207‚Ｎｏ
．5
　　　　　　　　 　　　　　　　　　
总第 138期 ＦＯＲＥＩ
ＧＮＬＡＮＧＵＡＧＥＲＥＳＥＡＲＣＨ Ｓ
ｅｒｉ
ａ ．
ｌＮｏ13
8

○话语分析

编者按：话语分析不仅是语言学关注的对象‚而且是语言哲学、后现代主义等许多人文科学关注的焦点。
目前‚话语分析可以区分为批评话语分析和积极话语分析。其实‚话语分析应该以话语为对象‚或者以
语言本身为目的‚或者以人及人的世界为目的。前者属于语言学‚后者属于语言哲学‚两者相互联系‚相
互支撑。朱永生先生的文章为我国话语分析的开展指明了发展方向‚而丁建新、廖益清等先生也从不同
角度出发‚在话语分析领域进行着细致的耕耘。

多模态话语分析的理论基础与研究方法

朱永生
（复旦大学‚上海 2
004
33）

提　要：迄今为止的话语分析基本上局限于语言本身‚即只注意语言系统和语义结构本身及其与社会文化和心理认
知之间的关系‚忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世
纪 90年代‚西方兴起的多模态话语分析‚则可以在很大程度上帮助人们克服这些局限性。本文将论述与多模态话语分
析紧密相关的 4个问题：（1）多模态话语的产生；（2）多模态话语的定义；（3）多模态话语分析的性质和理论基础；（4）多
模态话语分析的内容、方法和意义。
关键词：多模态话语分析；理论基础；研究方法
中图分类号：Ｂ089　　　　　文献标识码：Ａ　　　　　文章编号：
1000－0100（2007）05－0082－5

Ｔｈｅ
ｏｒｙａ
ｎｄＭｅ
ｔｈｏ
ｄｏｌ
ｏｇｙｏ
ｆＭｕｌ
ｔｉ
ｍｏｄａ
ｌＤｉ
ｓｃｏ
ｕｒｓ
ｅＡｎａ
ｌｙｓ
ｉｓ
Ｚｈ
ｕＹｏ
ｎｇ-
ｓｈｅ
ｎｇ
（Ｆｕｄａ
ｎＵｎｉ
ｖｅｒ
ｓｉｔ
ｙ‚Ｓｈａ
ｎｇ ｉ200433‚Ｃｈｉ
ｈａ ｎａ）
Ｔｈｅｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓｔ
ｈａｔｈａ
ｓｂｅ
ｅｎｄｏ
ｎｅｓ
ｏｆａ
ｒｉｓｌ
ａｒｇ
ｅｌｙｒ
ｅｓｔ
ｒｉ
ｃｔｅ
ｄｔｏｌ
ａｎｇ
ｕａｇ
ｅｉｔ
ｓｅｌ
ｆ‚ｉ
．ｅ．ａ
ｔｔｅ
ｎｔｉ
ｏｎｈａ
ｓｂｅ
ｅｎｐａ
ｉｄｔ
ｏｔｈｅ
ｌ
ａｎｇ
ｕａｇ
ｅｓｙ
ｓｔｅ
ｍａｎｄｓ
ｅｍａ
ｎｔｉ
ｃｓｔ
ｒｕｃ
ｔｕｒ
ｅａｎｄｔ
ｈｅｉ
ｒｒｅ
ｌａｔ
ｉｏｎｔ
ｏｃｕｌ
ｔｕｒ
ｅａｎｄｃ
ｏｇｎｉ
ｔｉ
ｏｎ‚ｗｉ
ｔｈｏ
ｔｈｅ
ｒｗａ
ｙｓｏ
ｆｍｅ
ａｎｉ
ｎｇｍａ
ｋｉｎｇｓ
ｕｃｈａ
ｓｉｍ-
ａ
ｇｅ‚ｓ
ｓ ｏ ‚ｃ
ｕｎｄｓ ｏ
ｌｏｕｒ
ｓａｎｄｆ
ｌａｓ
ｈｅｓｉ
ｇｎｏ
ｒｅｄ．Ｔｈｉ
ｓｈａ
ｓｍａ
ｄｅｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓｆ
ａｒｆ
ｒｏｍｃ
ｏｍｐｒ
ｅｈｅ
ｎｓｉ
ｖｅａ
ｎｄｅ
ｘｈａ
ｕｓｔ
ｉｖ．Ｍｕｌ
ｅ ｔｉ
ｍｏｄａ
ｌ
ｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓ‚ｗｈｉ
ｃｈｓ
ｔａｒ
ｔｅｄｉ
ｎｔｈｅ90ｓｏ
ｆｔｈｅｌ
ａｓｔｃ
ｅｎｔ
ｕｒｙｉ
ｎｔｈｅｗｅ
ｓｔ‚ｃ
ａｎｓ
ｏｌｖ
ｅｔｈｉ
ｓｐｒ
ｏｂｌ
ｅｍｔ
ｏａｇ
ｒｅａ
ｔｅｘ
ｔｅ ．Ｔｈｉ
ｎｔ ｓｐａ
ｐｅｒ
ａ
ｔｔｅ
ｍｐｔ
ｓｔｏｄｉ
ｓｃｕｓ
ｓｆｏ
ｕｒｉ
ｓｓｕｅ
ｓｃｌ
ｏｓｅ
ｌｙｒ
ｅｌａ
ｔｅｄｔ
ｏｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓ：1） ｗｈｅ
ｒｅｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅｃｏ
ｍｅｓｆ
ｒｏｍ；2）
ｈｏ
ｗｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅｉｓｄｅ
ｆｉ ｄ；3） ｗｈａ
ｎｅ ｔｉｓｔ
ｈｅｎａ
ｔｕｒ
ｅａｎｄｔ
ｈｅｏ
ｒｅｔ
ｉｃａ
ｌｂａ
ｓｉｓｏ
ｆｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓ；ａ
ｎｄ4） Ｗｈａ
ｔ
ｉ
ｓｔｈｅｃ
ｏｎｔ
ｅ ‚ｍｅ
ｎｔ ｔｈｏ
ｄｏｌ
ｏｇｙａ
ｎｄｓ
ｉｇｎｉ
ｆｉ
ｃａｎｃ
ｅｏｆｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓ．
Ｋｅ
ｙｗｏｒ
ｄｓ：ｍｕｌ
ｔｉ
ｍｏｄａ
ｌｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎａ
ｌｙｓ
ｉｓ；ｔ
ｈｅｏ
ｒｅｔ
ｉｃａ
ｌｂａ
ｓｉ；ｍｅ
ｓ ｔｈｏ
ｄｏｌ
ｏｇｙ

　　1　引言 言为研究对象‚即只注意语言系统和语义结构本
自美国语言学家 Ｈａ
ｒｒｓ于 2
ｉ 0世纪 5
0年代初 身及其与社会文化和心理认知之间的关系‚忽视
提出话语分析 （ｄ
ｉｓｃ
ｏｕｒ
ｓｅａ
ｎａｌ
ｙｓｓ）这一研究方向
ｉ 诸如图象、声音、颜色、动漫等其他意义表现形式。
以来‚世界各地的话语分析家作出了很大努力‚提 0世纪
这就使得话语分析带有较大的局限性。2
出了各种各样的话语分析理论和方法‚通过大量 9
0年代西方兴起的多模态话语分析 （ｍｕ
ｌｔｉ
ｍｏｄ
ａｌ
实例分析‚解剖了话语活动内在的规律以及话语 ｄ
ｉｓｃ
ｏｕｒ
ｓｅａ
ｎａｌ
ｙｓｓ）‚
ｉ 则可以在很大程度上帮助人
活动与意识形态和认知模式之间的关系。 （朱永 们克服这些局限性。
生2
003）然而‚这些理论和方法‚基本上都是以语 本文将论述与多模态话语分析紧密相关的 4
82
2
007年　　　　　　　 　朱永生　多模态话语分析的理论基础与研究方法　 　　　　　　　第 5期

个问题：（1）多模态话语的产生；（2）多模态话语 交际所使用的技术 （ｔ
ｅｃｈ
ｎｏｌ
ｏｇｙ）‚从严格的语言学
的定义；（3）多模态话语分析的性质和理论基础； 和符号学意义上来看‚算不上一个术语。模态和
（4）多模态话语分析的内容、方法和意义。 情态一样‚在英语中都叫做 ｍｏ
ｄａｌ
ｉｔ
ｙ‚但两者所指
不同。情态指语言系统中讲话者对事物的或然性
2　多模态话语的产生 （ｐ
ｒｏｂ
ａｂｉ
ｌｉ
ｔｙ）进行判断和事物的必要性 （ｎ
ｅｃｅ
ｓｓ-
ｉ
2．
1感知模态的产生 ｙ）表明态度的语义系统‚
ｔ 而模态则指交流的渠道
生命科学的研究成果告诉我们‚生命体在演 和媒介‚包括语言、技术、图象、颜色、音乐等符号
化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等 系统。
5种不同的感知通道 （ｓ
ｅｎｓ
ｏｒｙｃ
ｈａｎ
ｎｅｌ）：（1）靠眼
睛获得的视觉通道 （ｖ
ｉｓｕ
ａｌｃ
ｈａｎ
ｎｅｌ）；（2）靠耳朵 3　多模态话语的性质和识别标准
获得的听觉通道 （ａ
ｕｄｉ
ｔｉ
ｖｅｃ
ｈａｎ
ｎｅｌ）；（3）靠皮肤获 我们认为‚多模态话语就其性质而言是人类
得的触觉通道 （ｔ
ａｃｔ
ｉｌ
ｅｃｈ
ａｎｎ
ｅｌ）；（4）靠鼻子获得 感知通道在交际过程中综合使用的结果。因此‚
的嗅觉通道 （ｏ
ｌｆ
ａｃｔ
ｏｒｙｃ
ｈａｎ
ｎｅｌ）；（5）靠舌头获得 多模态话语分析不应该局限于语言学的研究范
的味觉通道 （ｇ
ｕｓｔ
ａｔ
ｏｒｙｃ
ｈａｎ
ｎｅｌ）。这些通道是 生 围‚而应该是跨学科的。事实上‚经过十多年的发
命体与周围环境进行信息交换的界面和路径。在 展‚多模态分析已经超越了语言学的藩篱‚扩展到
残酷的物竞天择面前‚这些感知通道能否相互作 符号学、哲学、社会学、人类学、政治学、新闻学、心
用‚对周围的一切作出迅速而有效的反应‚直接影 理学、法学、美学和医学等领域‚研究对象也从语
响生命体的生存和繁衍。生物学家们认为‚上述 言文字扩展到音乐、图片、影像、网页设计和建筑
5种感知渠道的获得分别导致以下 5种交际模态 风格等多种社会符号系统。
的产生：视觉模态 （ｖ
ｉｓｕ
ａｌｍｏ
ｄａｌ
ｉｙ）、
ｔ 听觉模态 （ａ
ｕ- 多模态话语如何识别？我们认为‚不外乎两
ｄ
ｉｔｉ
ｖｅｍｏ
ｄａｌ
ｉｙ）、
ｔ 触觉模态 （ｔ
ａｃｔ
ｉｌ
ｅｍｏ
ｄａｌ
ｉｙ）、
ｔ 嗅觉 个判断标准。
模态 （ｏ
ｌｆ
ａｃｏ
ｔｒｙｍｏ
ｄａｌ
ｉｙ）和 味 觉 模 态 （ｇ
ｔ ｕｓｔ
ａｔ
ｏｒｙ 第一条标准是看涉及的模态种类有多少‚这
ｍｏ
ｄａｌ
ｉｙ）。
ｔ 是当前语言学界普遍认可的标准。只使用一种模
在上述模态中‚与话语分析关系最紧密的是 态的 话 语 叫 做 “单 模 态 话 语 ” （ｍｏ
ｎｏｍｏ
ｄａｌｄ
ｉｓ-
视觉模态和听觉模态。近年来‚由于科学技术的 ｃ
ｏｕｒ
ｓｅ）‚如使用听觉模态收听新闻广播或使用视
发展‚触觉模态、嗅觉模态和味觉模态也开始用于 觉模态阅读小说。同时使用两种或两种以上模态
话语交际。这里仅以触觉模态为例‚随着数据手 的 话 语 叫 做 “多 模 态 话 语 ” （ｍｕ
ｌｔｉ
ｍｏｄ
ａｌｄ
ｉｓ-
套 （ｄ
ａｔａ
ｇｌｏ
ｖｅ）的问世‚人们可以依靠传递手指的 ｃ
ｏｕｒ
ｓｅ）‚也有人把同时使用两种模态的话语叫做
弯曲角度‚打出各种各样的三维手势‚把语言和手 “双模态话语 ” （ｂ
ｉｍｏ
ｄａｌｄ
ｉｓｃ
ｏｕｒ
ｓｅ）。同时使用两
势结合起来‚从而使人机对话更加接近于自然的 种模态的例子有使用可视电话进行交际时‚交际
人际对话。 双方都需要用耳朵听对方的讲话内容‚用眼睛看
2．
2模式、媒介与模态的差别 对方的表情变化和手势变化。同时使用三种或三
在多 模 态 话 语 分 析 中‚模 式 （ｍｏ
ｄｅ）、媒 介 种以上模态的例子很多。在日常生活中‚我们使
（ｍｅ
ｄｉｍ） 与模态 （ｍｏ
ｕ ｄａｌ
ｉｙ）三个词语经常出现。
ｔ 用手机交流时‚需要用耳朵听‚用嘴讲‚用笔写信
由于彼此之间在意义上有一定的联系‚但界限并 息‚用手发信息；电脑上网时‚需要用眼睛看屏幕
不十分明确‚容易造成混乱和误解‚有必要对它们 上显示的文字和图象‚用耳朵听文字的录音和图
各自的含义进行说明。 象发出的声音‚在技术允许的条件下还可以用鼻
一般来说‚模式指系统功能语言学家所说的 子闻到电脑里发出的某种气味。技术含量更高的
与话语范围 （ｆ
ｉｅ
ｌｄｏ
ｆｄｉ
ｓｃｏ
ｕｒｅ）和话语基调 （ｔ
ｓ ｅｎｏ
ｒ 是美 ＡＴＴ贝尔实验室设计的 Ｈｕ
ＭａＮｅ
ｔ系统‚这个
ｏ
ｆｄｉ
ｓｃｏ
ｕｒｅ）并列的语境三要素之一的话语模式
ｓ 系统能使异地客户召开会议时同时获得声音、文
（ｍｏ
ｄｅｏ
ｆｄｉ
ｓｃｏ
ｕｒｅ）‚意 指 交 流 渠 道 （ｃ
ｓ ｈａｎ
ｎｅｌｏ
ｆ 字、数据和图象。
ｃ
ｏｍｍｕ
ｎｉｃ
ａｔｉ
ｏｎ）‚如口头模式 （ｓ
ｐｏｋ
ｅｎｍｏ
ｄｅ）、书面 第二条标准是看涉及的符号系统有多少。有
模式 （ｗｒ
ｉｔ
ｔｅ
ｎｍｏ
ｄｅ）、电子模式 （ｅ
ｌｅｃ
ｔｒｏ
ｎｉｃｍｏ
ｄｅ） 些话语虽然只涉及一种模态‚但包含两个或两个
等。这些模式的使用和变化在一定程度上影响信 以上的符号系统‚如连环画虽然只涉及视觉模态‚
息的 流 动 （ｉ
ｎｆｏ
ｒｍａ
ｔｉ
ｏｎｆ
ｌｏ
ｗ）‚最 终 影 响 语 篇 性 但既有文字又有图画；广播小说虽然只涉及听觉
（ｔ
ｅｘｔ
ｕｒｅ） （语篇应该具备的特征 ）。媒介指语言 模态‚但既有文字内容又有背景音乐。我们也把
83
2
007年　　　　　　　 　朱永生　多模态话语分析的理论基础与研究方法　 　　　　　　　第 5期

这些话语看作是多模态话语。 （至于手势语、面 叫多模态语篇；（2）如何对这些语篇进行转录和

部表情和身势语等副语言 （ｐ
ａｒａ
ｌａｎ
ｇｕａ
ｇｅ）‚我们既 分析；（3）对多模态语篇进行分析或建立多模态
可以把它们看作语言‚也可以看作另一种模态。） 语篇语料库时需要哪些技术；（4）把多媒体的意
义生成资源 （ｍｅ
ａｎｉ
ｎｇ-
ｍａｋ
ｉｎｇｒ
ｅｓｏ
ｕｒｃ
ｅｓ）综合应用
4　多模态话语分析的理论基础 到超级语篇 （ｈ
ｙｐｅ
ｒｔｅ
ｘｔ）后怎样才能使我们的意义
虽然多模态话语分析也从皮尔斯等人的符号 生成潜能 （ｍｅ
ａｎｉ
ｎｇ-
ｍａｋ
ｉｎｇｐ
ｏｔｅ
ｎｔｉ
ａｌ）成倍地增加；
学理论中吸取了媒介、对象、解释三位一体等理 （5）在我们所处的电子学习时代‚如何使语言研
念‚但其主要理论基础却是 Ｈａ
ｌｌ
ｉｄａ
ｙ创立的系统 究与多模态和多媒体联系起来；（6）多模态话语
功能语言学 （Ｈａ
ｌｌ
ｉｄｙ1
ａ 9
78‚1
985／
199
4 ；Ｈａ
ｌｌ
ｉｄａ
ｙ 分析能以什么方式、在多大程度上给语言学带来
＆Ｍａ
ｔｔ
ｈｉｅ
ｓｓｎ2
ｅ 0
04）。具体地说‚多模态话语分析 新的变化。 （Ｂａ
ｌｄｒ
ｙ＆Ｔｈｉ
ｂａｕ
ｌｔ20
06）
从系统功能语言学那里接受了语言是社会符号 此外‚Ｌｅ
Ｖｉｎ
ｅ＆ Ｓ
ｃｏｌ
ｌｎ （2
ｏ 004）主张在社会、
（ｓ
ｏｃｉ
ａｌｓ
ｅｍｉ
ｏｔ
ｉｃ）和意义 潜 势 （ｍｅ
ａｎｉ
ｎｇｐ
ｏｔｅ
ｎｔｉ
ａｌ） 教育和工作场所等不同的语境中开展多模态化话
的观点‚认为语言以外的其他符号系统也是意义 语分析 （胡壮麟 2
007）。Ｏ’Ｈａ
ｌｌ
ｏｒａ
ｎ＆Ｊ
ｅｗｉ
ｔｔ则认
的源泉；接受了系统理论‚认为多模态话语本身也 为‚语言学家应该关注多模态语篇与多种交际模
具有系统性；接受了纯理功能假说 （ｍｅ
ｔａｆ
ｕｎｃ
ｔｉ
ｏｎ 式合成 （如语言、动态图象和静态图象‚外加三维
ｈ
ｙｐｏ
ｔｈｅ
ｓｉｓ）‚认为多模态话语与只包含语言符号 物体 ）的 话 语 之 间 在 意 义 表 达 和 理 解 上 的 关 系
的话语一样‚也具有多功能性‚即同时具有概念功 （Ｏ’Ｈａ
ｌｌ
ｏｒａ
ｎ＆Ｊ
ｅｗｉ
ｔｔ20
06）。研究的具体内容包
能、人际功能和语篇功能；接受了语域 （ｒ
ｅｇｉ
ｓｔ
ｅｒ） 括这些模态的步骤 （ｐ
ｈａｅ）、
ｓ 过渡 （ｔ
ｒａｎ
ｓｉｔ
ｉｎ）、
ｏ 摄
理论‚认为语境因素和多模态话语的意义解读之 影 （ｃ
ａｍｅ
ｒａ）、身体移动 （ｂ
ｏｄｙｍｏ
ｖｅｍｅ
ｎｔ）、印刷版
间有着密不可分的联系。 式 （ｔ
ｙｐｏ
ｇｒａ
ｐｈｙ）以及这些模态的选择和使用是如
由于多模态话语分析深受系统功能语言学和 何引导读者理解语篇和语境意义的。正如信息学
符号学的影响‚我们可以把它叫做系统功能符号 家在发明和应用多模态技术时不仅要使多模态相
学 （ｓ
ｙｓｔ
ｅｍｉ
ｃ-ｆ
ｕｎｃ
ｔｉ
ｏｎａ
ｌｓｅ
ｍｉｏ
ｔｉ
ｃｓ）。系统功能语言 互结合而且相互配合‚语言学家在进行多模态话
学则可看作系统功能符号学的一个分支。 语分析时不仅要研究每个模态本身对话语意义的
产生有何作用‚而且要研究所涉及的所有模态之
5　多模态话语分析的内容、方法与意义 间是如何互动‚从而使语篇获得更多的意义 （ｅ
ｎ-
5．
1内容 ｈ
ａｎｃ
ｅｄｍｅ
ａｎｉ
ｎｇ）的。
把语言学理论应用于符号学 （尤其是视觉符 5．
2方法
号研究 ）研究早就开始了。例如‚布拉格学派把 要正确解读多模态话语的意义‚须要掌握两
“前景化 ” （ｆ
ｏｒｅ
ｇｒｏ
ｕｎｄ
ｉｎｇ）概念应用于美术、戏剧、 个要领。
电影和服饰研究；巴黎学派把索绪尔有关 “语言 ” 第一个要领是确定不同成分之间的语法关
与 “言语 ”、“能指 ”和 “所指 ”、“任意 ”与 “理据 ”等 系。一讲到语法‚人们自然会想到如何把单词连
理论应用于绘画、摄影、时装、电影和音乐研究；批 成句子的规则‚很少考虑到视觉符号系统中单个
评语言学派和系统功能符号学派把 Ｈａ
ｌｌ
ｉｄａ
ｙ的系 元素相互组合时是否也有章可循。回顾符号学的
统功能语言学理论应用于新闻、文学和音乐等领 研究历史‚视觉符号 （ｖ
ｉｓｕ
ａｌｓ
ｅｍｉ
ｏｔ
ｉｃ）研究占据了
域的研究等。 十分重要的地位‚但这类研究基本上都集中在图
多模态话语分析关心的课题很多‚
学者们的看 象、人物、事物和地点等元素的外延和内涵以及象
法也不尽相同。这里仅列举几种有代表性的意见。 征意义上‚这在很大程度上相当于语言学中的词
Ｓ
ｉｍｐ
ｓｏｎ对一次以多模态化为主题的国际应 汇研究‚符 号 之 间 的 “语 法 ”关 系 被 忽 视 了。那
用语言学研究会的议题进行归纳‚指出多模态话 么‚如何确定多模态话语的语法关系呢？Ｋｒ
ｅｓｓ＆
语分析主要涉及如下几个方面：（1）多模态化和 Ｌｅ
ｅｕｗｅ
ｎ认为‚图象中的视觉符号不仅可以反映
新的媒体；（2）在学术和教育情境下的多模态化 客观世界和主观世界发生的各种事件‚而且可以
的应用；（3）多模态化与识读实践；（4）多模态化 表现各种各样的人际关系‚与此同时视觉符号内
语料库的建立；（5）多模态化和类型学；（6）多模 部也 是 一 个 有 机 的 连 贯 的 整 体‚因 此 可 以 借 用
态化话语分析及其理论问题。 （Ｓ
ｉｍｐ
ｓｏｎ2
003） Ｈａ
ｌｌ
ｉｄａ
ｙ的语言三大功能假说‚分别从概念功能、
Ｂａ
ｌｄｒ
ｙ＆Ｔｈｉ
ｂａｕ
ｌｔ则列出 6个课题：（1）什么 人际功能和语篇功能三个不同的层面分析图象等
84
2
007年　　　　　　　 　朱永生　多模态话语分析的理论基础与研究方法　 　　　　　　　第 5期

视觉符号的语 义 关 系 （Ｋｒ
ｅｓｓ＆ Ｌｅ
ｅｕｗｅ
ｎ20
03）。 符号资源完成意义建构 （Ｋｒ
ｅｓｓｅ
ｔａｌ2
001）。这就
在概念意义层面上‚我们可以探讨不同的图象之 是说‚自然状态下发生的话语活动往往具有多模
间或同一个图象中不同成分之间有何联系‚哪个 态性 （ｍｕ
ｌｔｉ
ｍｏｄ
ａｌｉ
ｔｙ）。以前由于科学技术的限制‚
成分相当于及物系统中的行为者 （ａ
ｃｔｒ）‚
ｏ 哪个成 很少有人从多模态角度分析话语。如今‚随着多
分充当对象 （ｇ
ｏａｌ）‚哪 个 成 分 表 示 环 境 （ｃ
ｉｒｃ
ｕｍ- 媒体技术和语料库的迅速发展‚对自然话语进行
ｓ
ｔａｎ
ｃｅ）。在人际意义层面上‚我们可以探讨图象 多模态研究已经成为可能。
中参与者之间的社会关系、图象设计者的交际目 多模态话语分析的意义在于它可以将语言和
的以及图象解读者本身对图象内容的 介 入 （ｉ
ｎ- 其他相关的意义资源整合起来 （Ｇｉ
ｂｂｎ2
ｏ 0
00）‚它
ｖ
ｏｌｖ
ｅｍｅ
ｎｔ）程度。在语篇意义层面上‚我们可以根 不仅可以看到语言系统在意义交换过程中所发挥
据同一个图象中不同成分之间或不同图象之间所 的作用‚而且可以看到诸如图象、音乐、颜色等其
处的相对位置 （如上下、前后、中心边缘关系 ）等 他符号系统在这个过程中所产生的效果‚从而使
版面安排的具体情况‚分析多模态话语的信息分 话语意义的解读更加全面、更加准确‚进而发现人
布 （ｉ
ｎｆｏ
ｒｍａ
ｔｉ
ｏｎｄ
ｉｓｔ
ｒｉ
ｂｕｔ
ｉｎ）‚
ｏ 确认哪些成分是已知 类如何综合使用多种模态达到社会交际的目的。
信息 （ｇ
ｉｖｅ
ｎｉｎ
ｆｏｒ
ｍａｔ
ｉｎ）‚
ｏ 哪些成分是新信息 （ｎ
ｅｗ 可以说‚这类话语分析既可以推动我们对语言学
ｉ
ｎｆｏ
ｒｍａ
ｔｉ
ｏｎ）‚从而认清哪些信息是多模态话语的 的研究‚同时也可以加深对符号学的认识 （胡壮
起点 （ｐ
ｏｉｎ
ｔｏｆｄ
ｅｐａ
ｒｔｕ
ｒｅ）‚哪些信息是多模态话语 麟2
007）。
想要传递的信息焦点 （ｉ
ｎｆｏ
ｒｍａ
ｔｉ
ｏｎｆ
ｏｃｓ）。
ｕ
第二个要领是要弄清文字和图象之间的关 6　不足之处与今后走向
系。这方面‚学术界的看法不尽相同。如 Ｂａ
ｒｔｈ
ｅｓ 多模态话语分析目前还处于起始阶段‚在如
认为‚图象和文字说明是关联的‚然而由于图象本 下三个方面存在一些不足。第一‚语法分析的主
身的意义飘忽不定‚必须借助文字说明才能确定 观性太强。以文本为基础的语法分析‚尽管也需
（Ｂａ
ｒｔｈ
ｅｓ1
967‚1
977）。而 Ｋｒ
ｅｓｓ＆ Ｌｅ
ｅｕｗｅ
ｎ却认 要分析者对句子意义结构的理解‚但一般都可以
为‚图象和文字说明是有联系的‚但并不依赖文字 提供严格意义上的语法依据‚而多模态话语分析
说明‚因为它本身既是有组织的 （ｏ
ｒｇａ
ｎｉｚ
ｅｄ）‚又是 中的语法分析由于缺乏严格语法意义上的标记和
有结构 的 （ｓ
ｔｒ
ｕｃｔ
ｕｒｄ） （Ｋｒ
ｅ ｅｓｓ＆ Ｌｅ
ｅｕｗｅ
ｎ20
06）。 线性关系‚因此带有很强的主观性‚即在很大程度
这就要求我们对两者的互补作用进行深入的研 上依靠分析者本人对不同组成部分之间语义关系
究。此外‚Ｋｒ
ｅｓｓ＆ Ｌｅ
ｅｕ ｎ还告戒我们‚“视觉结
ｗｅ 的理解。在面对同样两个或更多的成分时‚不同
构并不只是对‘现实 ’结构进行复制。恰恰相反‚ 的人可能会因为文化背景不同、知识结构不同‚甚
它们生成的现实世界的各种图象‚与那些生成、传 至解读动机不同进行不同的分析‚从而得出不同
播和阅读这些图象的社会机构的利益是紧紧联系 的结论。第二‚与第一个不足之处相关的是各种
在一起的。它们是表达意识形态的。视觉结构绝 模态之间的互动关系和互补作用难以确定。多模
不只是形式的‚它们在语义上也是非常重要的 ” 态话语中往往由多种系统构成‚而每个系统中又
（Ｋｒ
ｅｓｓ＆Ｌｅ
ｅｕ ｎ2
ｗｅ 0
06：
47）。这意味着图象和语 有很多单个的成分。这些成分当中‚哪些对解读
言一样‚对社会现实和心理现实既具有复制作用‚ 有价值‚哪些没有价值‚也是不容易确定的因素。
又具有重新建构的作用。 第三‚迄今为止‚从事多模态话语分析的绝大多数
5．
3意义 是系统功能语言学家‚而多模态话语分析是跨学
回顾迄今为止的话语分析‚几乎都是以文本 科的‚仅仅依靠语言学的一个流派是远远不够的。
为基础 的。这 可 能 是 一 个 方 向 性 的 错 误。Ｓ
ａｕ- 只有其他学科的学者共同参与‚多模态话语的意
ｓ
ｓｕｅ（1
ｒ 916）早就明确指出‚实际使用的话语才是 义才能得到更加全面而正确的解读。
语言学真正须要研究的对象‚基于文本的语言形 值得高兴的是‚虽然多模态技术还处于研发
式和结构研究并不能从根本上解决语言学家想要 阶段‚但已经对多模态话语的收集、转录和分析以
解决的问题。Ｈａ
ｌｌ
ｉｄｙ（1
ａ 978）‚Ｈａ
ｌｌ
ｉｄａ
ｙ＆ Ｈａ
ｓａｎ 及社会交际的方式和作用产生了影响。随着科学
（1
985）‚Ｃｈ
ａｆｅ（1
994）等人 也 持 有 相 同 的 观 点。 技术的进一步发展‚人们认识世界的水平将越来
我们认为有必要将语言研究的重心转移到自然状 越高。根据现有的资料‚我们可以预测‚多模态话
态下的话语上来‚特别是现场即席口语会话。而 语分析将呈现两个比较明显的趋势。第一个趋势
人们在具体的社会情境中‚总是运用多种多样的 是对多模态互补作用的更加关注‚如语篇与图象
85
2
007年　　　　　　　 　朱永生　多模态话语分析的理论基础与研究方法　 　　　　　　　第 5期

的互补‚说话与手势的互补‚面部表情与语音识别 （ｅ
ｄｓ．）‚Ｆｒ
ａｍｉ
ｎｇａｎｄＰｅ
ｒｓｐ
ｅｃｔ
ｉｖ
ｉｓｉ
ｎｇｉ
ｎＤｉ
ｓｃｏ
ｕｒｅ［Ｃ］．
ｓ
（ｓ
ｐｅｅ
ｃｈｒ
ｅｃｏ
ｇｎｉ
ｔｉ
ｏｎ）的互补‚面部表情与语音综合 Ａｍｓ
ｔｅｒ
ｄａｍ‚ＰＡ：Ｊ
ｏｈｎＢｅ
ｎｊａ
ｍｉｎｓＰｕｂ‚2003．
（ｓ
ｐｅｅ
ｃｈｓ
ｙｎｔ
ｈｅｓ
ｉｓ）的互补等。第二个趋势是复杂 Ｌｅ
ｅ ｎ‚ Ｔｈｅ
ｕｗｅ ｎ． Ｔｈｒ
ｏ Ｖａ ｅｅ Ｍｏ
ｄｅｌ
ｓｏｆＩ
ｎｔｅ
ｒｄｉ
ｓｃｉ
ｐｌｉ
ｎａｒ
ｉｔ
ｙ
程度的提高‚如从二维话语分析走向三维话语分 ［Ａ］．Ｉ
ｎＷｏ
ｄａｋ‚Ｒｕｔ
ｈａｎｄＰａ
ｕｌＣｈｉ
ｌｔ
ｏｎ （ｅ
ｄｓ．）‚Ａ
析‚从静态研究走向动态研究等。我们相信‚此类 Ｎｅ
ｗＡｇｅ ｎ （Ｃｒ
ｎｄａｉ ｉｔ
ｉａｌ） Ｄｉ
ｃ ｓｃｏ
ｕｒｓ
ｅＡｎａｌ
ｙｓｓ［Ｃ］．Ａｍ-
ｉ
研究必将进一步推动话语分析乃至整个语言学的 ｓ
ｔｅｒ
ｄａｍ‚ＰＡ：Ｊ
ｏｈｎＢｅ
ｎｊａ
ｍｉｎｓＰｕｂ‚2005．
发展。目前处于落后地位的我国语言学界须要迎 Ｌｅ
ｅ ｎ‚Ｔｈｅ
ｕｗｅ ｎ． Ｔｏ
ｏＶａ ｗａｒ
ｄｓａＳｅ
ｍｉｏ
ｔｉｃ
ｓｏｆＴｙ
ｐｏｇ
ｒａｐｈｙ
头赶上‚做出自己应有的贡献。 ［Ｊ］．Ｉ
ｎｆｏ
ｒｍａｔ
ｉｏｎＤｅ
ｓｉｇｎＪ
ｏｕｒ ‚2006（2）．
ｎａｌ
Ｌｅ
ｅ ｎ‚Ｔｈｅ
ｕｗｅ ｏＶａ
ｎ＆ Ａｄａ
ｍＪａ
ｗｏｒ
ｓ ．ＴｈｅＤｉ
ｋｉ ｓｃｏ
ｕｒｓ
ｅｓｏ
ｆ
参考文献 Ｗａ
ｒＰｈｏ
ｔｏｇ
ｒａ ：Ｐｈｏ
ｐｈｙ ｔｏｊ
ｏｕｒ
ｎａｌ
ｉｓ
ｔｉ
ｃＲｅ
ｐｒｅ
ｓｅｎｔ
ａｔｉ
ｏｎｓｏ
ｆ
胡壮麟．社会符号学研究中的多模态化 ［Ｊ］．语言教学与 ｔ
ｈｅＰａ
ｌｅｓ
ｔｉ
ｎｉｎ-
ａ Ｉ
ｓｒａ
ｅｌｉＷａ
ｒ［Ｊ］．Ｊ
ｏｕｒ
ｎａｌｏ
ｆＬａｎｇｕａｇｅ
研究‚2007（1）． ａｎｄＰｏ
ｌｉｔ
ｉｃ
ｓ‚2003（2）．
朱永生．话语分析 50年 ［Ｊ］．外国语‚2003（3）． Ｌｅ
ｅ ｎ‚Ｔｈｅ
ｕｗｅ ｏｖａ
ｎ＆Ｊ
ｅｗｉ
ｔ‚Ｃａ
ｔ ｒｅ．ＴｈｅＨａｎｄｂ
ｙ ｏｏｋｏ
ｆＶｉ
ｓｕａｌ
Ｂａ
ｌｄｒ
ｙ‚Ａ．＆ Ｐ．Ｊ
．Ｔｈｉ
ｂａｕｌ
ｔ．Ｍｕｌ
ｔｉ
ｍｏｄａｌＴｒ
ａｎｓ
ｃｒｉ
ｐｔｉ
ｏｎａｎｄ Ａｎａｌ
ｙｓｓ［Ｍ ］．Ｌｏ
ｉ ｎ：Ｓａ
ｎｄｏ ｇｅ‚2001．
Ｔｅ
ｘｔＡｎａｌ
ｙｓｓ［Ｍ ］．Ｌｏ
ｉ ｎ：Ｅｑｕｉ
ｎｄｏ ｎｏｘＰｕｂｌ
ｉｓ
ｈｉ ‚2006．
ｎｇ Ｌｅ ‚Ｊ
ｍｋｅ ａ
ｙ．Ｍｕｌ
ｔｉ
ｐｌｙ
ｉｎｇＭｅ
ａｎｉ
ｎｇ：Ｖｉ
ｓｕａ
ｌａｎｄＶｅ
ｒｂａ
ｌＳｅ
ｍｉ-
Ｂａ
ｒｔｈｅ
ｓ‚Ｒ．Ｅｌ
ｅｍｅ
ｎｔｓｏ
ｆＳｅ
ｍｉｏ
ｌｏｇｙ［Ｍ ］．Ｌｏ ｎ：Ｃａ
ｎｄｏ ｐｅ‚ ｏ
ｔｉｃ
ｓｉｎＳｃ
ｉｅｎｔ
ｉｆ
ｉｃＴｅ
ｘｔ［Ａ］．Ｉ
ｎＪ．Ｒ．Ｍａ
ｒｔｉ
ｎａｎｄＲｏ
ｂｅｒ
ｔ
1967． Ｖｅ
ｅｌ（ｅ
ｄｓ．）‚Ｒｅ
ａｄｉ
ｎｇＳｃ
ｉｅｎｃ
ｅ：Ｃｒ
ｉｔ
ｉｃ
ａｌａｎｄＦｕｎｃ
ｔｉ
ｏｎａｌ
Ｂａ
ｒｔｈｅ
ｓ‚ Ｒ． Ｉ -
ｍａｇｅＭｕｓ
ｉｃ-
Ｔｅｔ［ Ｍ ］． Ｌｏ
ｘ ｎ： Ｆｏ
ｎｄｏ ｎｔａ
ｎａ‚ Ｐｅ
ｒｓｐ
ｅｃｔ
ｉｖ
ｅｓｏ
ｎＤｉ
ｓｃｏ
ｕｒｓ
ｅｓｏ
ｆＳｃ
ｉｅ ｅ［Ｃ］．Ｌｏ
ｎｃ ｎ／Ｎｅ
ｎｄｏ ｗ
1977． Ｙｏ
ｒｋ：Ｒｏ
ｕｔｌ
ｅｄｇ
ｅ‚1998．
Ｃｈａ
ｆｅ‚Ｗ．Ｄｉ
ｓｃｏ
ｕｒｓ
ｅ‚Ｃｏ
ｎｓｃ
ｉｏｕｓ
ｎｅｓ
ｓ ｍｅ［Ｍ ］．Ｃｈｉ
‚ａｎｄＴｉ ｃａ- Ｌｅ
Ｖｉ ‚Ｐｈｉ
ｎｅ ｌｉ
ｐ＆ Ｒｏ
ｎＳｃ
ｏｌｌ
ｏｎ．Ｄｉ
ｓｃｏ
ｕｒｓ
ｅａｎｄＴｅ
ｃｈｎｏ
ｌｏ ：
ｇｙ
ｇ
ｏ：Ｕｎｉ
ｖｅｒ
ｓｉｔ
ｙｏｆＣｈｉ
ｃａｇ
ｏＰｒ
ｅｓ‚1994．
ｓ Ｍｕｌ
ｔｉ
ｍｏｄａｌＤｉ
ｓｃｏ
ｕｒｓ
ｅＡｎａｌ
ｙｓｓ［Ｍ ］．Ｗａ
ｉ ｓｈｉ
ｎｇｔ
ｏｎＤＣ：
Ｇｉ ｎ‚Ｄａ
ｂｂｏ ｆｙｄｄ‚Ｉ
ｎｇｅＭｅ
ｒｔｉ
ｎｓ＆Ｒｏ
ｇｅｒＫ．Ｍｏ
ｏｒ．Ｈａｎｄｂ
ｅ ｏｏｋ Ｇｅ
ｏｒｇ
ｅｔｏ
ｗｎＵｎｉ
ｖｅｒ
ｓｉｔ
ｙＰｒ
ｅｓ‚2004．
ｓ
ｏ
ｆＭｕｌ
ｔｉ
ｍｏｄａｌａｎｄＳｐ
ｏｋｅ
ｎＤｉ
ａｌｏ
ｇｕｅＳｙ
ｓｔｍｓ［Ｍ ］．Ｂｏ
ｅ ｓ- Ｏ’Ｈａ
ｌｌｏ
ｒａｎ‚Ｋ．Ｌ．Ｉ
ｎｔｅ
ｒｄｅ
ｐｅｎｄｅ
ｎｃ‚Ｉ
ｅ ｎｔ
ｅｒａ
ｃｔｉ
ｏｎａ
ｎｄＭｅ
ｔａ-
ｔ
ｏｎ：Ｋｌ
ｕｗｅ
ｒＡｃ
ａｄｅ
ｍｉｃＰｕｂｌ
ｉｓ
ｈｅｒ
ｓ‚2000． ｐｈｏ
ｒｉｎＭｕｌ
ｔｉ
ｓｅｍｉ
ｏｔｉ
ｃＴｅ
ｘｔｓ［Ｊ］．Ｓｏ
ｃｉａｌＳｅ
ｍｉｏ
ｔｉｃ
ｓ‚1999
Ｈａ
ｌｌｉ
ｄａ‚Ｍ．Ａ．Ｋ．ＬａｎｇｕａｇｅａｓａＳｏ
ｙ ｃｉａｌＳｅ
ｍｉｏ
ｔｉｃ ［Ｍ ］． （3）．
Ｌｏ ｎ：Ａｒ
ｎｄｏ ｎｏｄ‚1978．
ｌ Ｏ’Ｈａ
ｌｌｏ
ｒａｎ‚Ｋ．Ｌ．＆ Ｊ
ｅｗｉ
ｔ‚Ｃａ
ｔ ｒｅ．Ｍｕｌ
ｙ ｔｉ
ｍｏｄａｌＤｉ
ｓｃｏ
ｕｒｓ
ｅ
Ｈａ
ｌｌｉ
ｄａ‚Ｍ．Ａ．Ｋ．ＡｎＩ
ｙ ｎｔｒ
ｏｄｕｃ
ｔｉ
ｏｎｔ
ｏＦｕｎｃ
ｔｉ
ｏｎａｌＧｒ
ａｍｍａｒ Ａｎａｌ
ｙｓｉ
ｓ：Ｓｙ
ｓｔｅ
ｍｉｃＦｕｎｃ
ｔｉ
ｏｎａｌＰｅ
ｒｓｐ
ｅｃｔ
ｉｖ
ｅｓ［Ｍ ］． Ｎｅ
ｗ
［Ｍ ］．Ｌｏ ｎ：Ａｒ
ｎｄｏ ｎｏｄ‚1985／
ｌ 1994． Ｙｏ
ｒｋ：Ｃｏ
ｎｔｉ
ｎｕｕｍＩ
ｎｔｅ
ｒｎａ
ｔｉｏ
ｎａｌＰｕｂｌ
ｉｓ
ｈｉｎｇＧｒ
ｏｕｐ‚2006．
Ｈａ
ｌｌｉ
ｄａ‚Ｍ．Ｍ．Ｋ．＆ Ｃ．Ｍａ
ｙ ｔｔｈｉ
ｅｓｓ
ｅｎ．ＡｎＩ
ｎｔｒ
ｏｄｕｃ
ｔｉ
ｏｎｔ
ｏ Ｏ’Ｔｏ
ｏｌｅ’ｓ
．ＴｈｅＬａｎｇｕａｇｅｏ
ｆＤｉ
ｓｐｌ
ａｙｅ ｔ［Ｍ ］．Ｆａ
ｄＡｒ ｉｒｌ
ｅｉｈ-
ｇ
Ｆｕｎｃ
ｔｉ
ｏ ａｍｍａｒ［Ｍ ］．Ｌｏ
ｎａｌＧｒ ｎ：Ａｒ
ｎｄｏ ｎｏｄ‚2004．
ｌ Ｄｉ
ｃｋｅ
ｎｓｏ
ｎＵｎｉ
ｖｅｒ
ｓｉｔ
ｙＰｒ
ｅｓ‚1994．
ｓ
Ｋｒ
ｅｓ‚Ｇ．＆ Ｌｅ
ｓ ｅ ｎ‚Ｔｈｅ
ｕｗｅ ｎ．Ｍｕｌ
ｏＶａ ｔｉ
ｍｏｄａｌＤｉ
ｓｃｏ
ｕｒｓ
ｅ： Ｒｏ
ｙｃ‚Ｔｅ
ｅ ｒｒｙＤ．Ｓｙ
ｎｅｒ
ｇｙｏ
ｎｔｈｅＰａ
ｇｅ：Ｅｘ
ｐｌｏ
ｒｉｎｇＩ
ｎｔｅ
ｒｓｅ
ｍｉ-
ＴｈｅＭｏ
ｄｅｓａｎｄＭｅ
ｄｉａｏ
ｆＣｏ
ｎｔｅ
ｍｐｏ
ｒａｒ
ｙＣｏ
ｍｍｕｎｉ
ｃａｔ
ｉｏｎ ｏ
ｔｉｃＣｏ
ｍｐｌ
ｅｍｅ
ｎｔａ
ｒｉｔ
ｙｉｎ Ｐａ
ｇｅ-
ｂａｓ
ｅｄ Ｍｕｌ
ｔｉ
ｍｏｄａ
ｌＴｅ
ｘｔ
［Ｍ ］．Ｌｏ ｎ：Ａｒ
ｎｄｏ ｎｏｄ‚2003．
ｌ ［Ａ］．Ｉ
ｎＪＡＳＦＬＯｃ
ｃａｓ
ｉｏｎａｌＰａｐ
ｅｒ ．1［Ｃ］．Ｔｏ
ｓＮｏ ｋｙ：
ｏ
‚Ｇ．＆ Ｌｅ ｎ‚Ｔｈｅ ｎ （2 Ｅｄｉ ‚
ｎｄ
Ｋｒ
ｅｓｓ ｅｕｗｅ ｏＶａ ｔｉ
ｏｎ）．Ｒｅ
ａｄｉ
ｎｇ Ｊ
ａｐａ
ｎＡｓ
ｓｏｃ
ｉａｔ
ｉｏｎｏ
ｆＳｙ
ｓｔｅ
ｍｉｃＦｕｎｃ
ｔｉｏ
ｎａｌＬｉ
ｎｇｕｉ
ｓｔ
ｉｃｓ
Ｉ
ｍａｇｅ
ｓ：ＴｈｅＧｒ
ａｍｍａｒｏ
ｆＶｉ
ｓｕａｌＤｅ
ｓｉｇｎ［Ｍ ］．Ｌｏ ｎ：
ｎｄｏ 1998．
Ｒｏ
ｕｔｌ
ｅｄｇ
ｅ‚2006． Ｓａ
ｕｓｓ
ｕｒ‚Ｆ．ｄｅ
ｅ ．Ｃｏ
ｕｒｓ
ｅｉｎＧｅ
ｎｅｒ
ａｌＬｉ
ｎｇｕｉ
ｓｔ
ｉｓ［Ｍ ］．Ｌｏ
ｃ ｎ-
Ｌｅ
ｅ ｎ‚Ｔｈｅ
ｕｗｅ ｎ．ＡＭｕｌ
ｏＶａ ｔｉ
ｍｏｄａ
ｌＰｅ
ｒｓｐｅ
ｃｔｉ
ｖｅｏ
ｎＣｏ
ｍｐｏ
ｓｉ- ｎ：Ｇｅ
ｄｏ ｒａｌ
ｄＤｕｃ
ｋｗｏ
ｒｔ ．Ｌｔ
ｈ＆Ｃｏ ｄ．‚1916．
ｔ
ｉｏｎ． ［ Ａ ］． Ｉ
ｎ Ｅｎｓ
ｉｎｋ‚ Ｔｉ
ｔｕｓａ
ｎｄ Ｃｈｒ
ｉｓｔ
ｏｐｈ Ｓａ
ｕｅｒ

2006－12－28
收稿日期： 【
责任编辑　王松鹤 】

86