Professional Documents
Culture Documents
The Processin... nce from ERPs - 张政华
The Processin... nce from ERPs - 张政华
不同任务下声调和韵母在诗句中的加工过程——
来自 ERP 的证据 *
张政华 1,2,3 张 航 3 王 兵 4 郑子龙 5 赵黎明 6 李卫君 1,2
(1 辽宁师范大学脑与认知神经科学研究中心,大连 116029) (2 辽宁省脑与认知神经科学重点实验室,大连 116029)
(3 中国人民大学心理学系,北京 110872) (4 辽宁师范大学音乐学院,大连 116029) (5 苏州大学外国语学院,
苏州 215006) (6 教育部人文社会科学重点研究基地天津师范大学心理与行为研究院,天津 300387)
摘 要 声调和韵母是声调语言的重要组成部分,以往研究发现二者对言语理解具有不同程度的影响。本研究采
用 ERP 技 术 , 以 诗 句 韵 律 为 媒 介 , 考 察 普 通 话 母 语 者 在 声 韵 判 断 和 无 任 务 聆 听 两 种 任 务 下 , 声 调 和 韵 母 信 息 的 加
工 过 程 。 结 果 发 现 , 韵 母 违 反 在 两 种 任 务 中 均 诱 发 了 P2 和 LPC, 并 在 声 韵 判 断 任 务 中 诱 发 了 N400; 声 调 违 反 在
声 韵 判 断 任 务 中 诱 发 了 N400 和 LPC。 结 果 表 明 , 听 者 在 两 种 任 务 中 均 能 于 早 期 快 速 识 别 韵 母 信 息 , 并 在 晚 期 完
成再分析和整合,而对声调的语音分析和整合过程依赖于听者主动分配认知资源。
关键词 押韵,声调,韵母,ERP。
分类号 B842
1 引言 有高限制背景)作为材料的研究却发现了相反的
效应(Liu & Samuel, 2007):相比于韵母信息,被
音段信息(如韵母)和超音段信息(如声
试对声调的反应更快。更复杂的是,眼动研究发
调)是言语信号的基本组成部分。在日常的口语
现声调和韵母信息几乎是被同时加工的,且在
交流中,人们需要从连续复杂的语流中快速提取 限 制 词 汇 激 活 方 面 发 挥 着 同 等 作 用 ( Malins &
这两类信息,以便及时和准确地理解说话内容。 Joanisse, 2010)。所以,有关声调和韵母加工优势
基于非声调语言(如英语)的研究发现,相比于 的研究结果仍然存在争议。
超音段信息,音段信息更容易捕获注意资源,对 研究者利用高时间分辨率的 ERP 技术考察声
词 汇 和 语 义 限 制 功 能 更 强 ( Friedrich, Kotz, 调和韵母加工的认知时间进程。Schirmer,Tang,
Friederici, & Alter, 2004)。但不同于非声调语言, Penney,Gunter 和 Chen(2005)使用高完型概率的
声调语言(如汉语)的超音段信息在辨别词汇、 粤语句子分析了最后一个字的声调或韵母违反下
区 分 语 义 方 面 的 功 能 更 强 ( Švarný, 1972)。 所 (如“母鸡今天生病了,所以没有下蛋/单/洞”)
以,不同语言的音段和超音段信息可能存在知觉 的脑电反应,结果发现两类违反均诱发了潜伏期
差异。汉语是典型的声调语言,每个音节(汉 和波幅相似的 N400 和 LPC 成分,表明声调和韵母
字)都由声母、韵母和声调三部分构成,属于超 是同时加工的,对词汇语义整合的影响相当,且
音段信息的声调和属于音段信息的声母和韵母在 在晚期的语义再分析和修复阶段投入同等认知资
理解口语内容方面都具有重要作用。本研究将从 源(Schirmer et al., 2005)
。但后续采用高限制性成
汉语诗句入手,考察声调和韵母的知觉过程。 语作为材料的研究却得出了不同的结果:仅韵母
目前,行为学研究主要采用音韵检测、异同 违反诱发了早期 N1,且韵母违反比声调违反诱发
区分以及词汇决策等任务考察被试对音韵信息的 了波幅更大的 N400,声调违反则比韵母违反诱发
加工。结果发现,声调和韵母信息在识别速度和 了波幅更大的 LPC,表明个体对韵母信息的加工更
辨别度上均存在明显差异,判断错误韵母比判断 快速,消耗的认知资源更少,表现出韵母加工优
错误声调更快、更准确,也不易受干扰(Cutler & 势 ( Hu, Gao, Ma, & Yao, 2012)。 Huang, Liu,
Chen, 1997; Ye & Connine, 1999)。但使用成语(具 Yang,Zhao 和 Zhou(2018)同样以成语为材料,
收稿日期:2021–03–29
* 基金项目:辽宁省教育厅自然科学基金基础项目(LJ2019016);教育部人文社会科学研究基金项目(21YJA190003)
。
通讯作者:李卫君,E-mail:liwj@lnnu.edu.cn。
728
第6期 张政华 等:不同任务下声调和韵母在诗句中的加工过程——来自 ERP 的证据 729
韵母合适( )
“V+T+”+“V+T−”、韵母违反(
“V−T+”+ 40 首的声调和韵母均合适,另外 40 首通过变化第
“ V − T − ”)、 声 调 合 适 (“ V + T + ” + “ V − T + ”) 四句最后一个字的声韵信息生成 13 首声调合适但
和声调违反(“V+T−”+“V−T−”)4 种情况。各 韵母违反、13 首韵母合适但声调违反、14 首声调
情 况 的 关 键 声 学 参 数 见 表 1。 80 首 填 充 材 料 中 , 和韵母均违反的材料。
七言绝句
第一联 第二联
行过萍乡路渐地。(V+T−)
xing2guo4ping2xiang1lu4jian4di4.
行过萍乡路渐搭。(V−T+)
xing2guo4ping2xiang1lu4jian4da1.
行过萍乡路渐大。(V−T−)
xing2guo4ping2xiang1lu4jian4da4.
图 1 实验材料各条件举例
注:V+T+,韵母合适、声调合适;V+T−,韵母合适、声调违反;V−T+,韵母违反、声调合适;V−T−,韵母违反、声调违反。
表1 韵母合适/违反、声调合适/违反四个条件的关键 双耳呈现。在声韵判断任务中,被试需要提前了
声学参数以及 t 检验结果 解七言绝句的声韵规则(即需要判断声调和韵母
韵母 声调
声学参数 t t
两 个 维 度 的 信 息 )。 然 后 根 据 所 听 到 的 诗 句 声 韵
合适 违反 合适 违反
是否合适进行按键反应。在无任务聆听的任务
时长(ms) 402.20 466.18 10.93*** 438.39 429.98 1.40 中,仅要求被试认真听绝句,但会提前告知被试
音高起始值(Hz) 184.81 195.19 1.51 151.66 228.34 12.56*** 在实验结束后需要回忆诗句的信息,以保证被试
音高末值(Hz) 134.81 144.75 2.02* 172.37 107.19 15.95*** 在实验过程中注意力集中。此外,为了了解两组
平均音高(Hz) 154.46 158.22 1.21 138.87 173.82 13.19*** 被试对实验材料的熟悉度和含义的获取程度,实
平均音强(dB) 78.37 77.89 1.89 77.49 78.78 5.59*** 验后会询问被试是否听到了自己熟悉的或可以明
注:*p<0.05,***p<0.001。 确理解含义的诗句。
七言绝句由一名播音专业的男性发音人录 具体流程是,首先屏幕中央呈现 300 ms 的注
制。使用 Praat 软件,将声韵合适诗句中的关键字 视 点 “ + ”, 同 时 播 放 提 示 音 , 随 后 播 放 诗 句 材
(第一联末字)剪切出来,再把声韵违反的关键 料 ( 1500 ms), 注 视 点 “ + ” 不 消 失 直 至 诗 句 材
字剪出后,拼接在对应位置上,形成三类违反条 料播放结束,以减少被试眼动。其中,声韵判断
件(V+T−、V−T+、V−T−)的完整诗句。这种拼 任务要求被试准确且快速地判断诗句声韵是否合
接方法能保证每首绝句的 4 个条件仅在关键字处存 适,并在探测界面出现时进行按键反应,声韵合
在条件间差异。每种任务下,640 首绝句均通过拉 适 按 “ F”, 不 合 适 按 “ J”, 或 反 之 , 按 键 在 被 试
丁方形成 4 个系列,每个系列的 160 首绝句只包含 间进行平衡。探测界面占所有试次的 1/3,剩下的
一种版本。每名被试只听一个系列和 80 首填充材 试次不需要进行按键反应,诗句呈现完后会直接
料。同一条件的实验材料连续呈现不超过三次。 进入 1000~1200 ms 的随机间隔,之后进入下一个
所有实验刺激通过伪随机方式呈现给被试。 试次。无任务聆听条件下会在绝句播放完毕后,
2.3 实验程序 出现“继续”二字,被试按任意键后进入下一个
正式实验在光线柔和、安静舒适的房间内进 试次。反应时间均限制在 8000 ms 以内。每个实验
行。实验材料通过 Panasonic RP-HS47 挂耳式耳机 任务包含 6 个组块,每个组块包含 40 个试次。正
第6期 张政华 等:不同任务下声调和韵母在诗句中的加工过程——来自 ERP 的证据 731
式实验开始前设置练习试次,熟练掌握的被试方
能进行正式实验。
FPz
FP1 FP2
2.4 数据采集和分析 AF7 AF8
GND
采用 ANT 设备(ANT Neuro),国际 10-20 系 AF3 AF4
F7 F8
F6
统 扩 展 的 64 导 电 极 帽 记 录 EEG 信 号 。 采 样 率 为 F5 F3 F1 Fz F2 F4
置于左侧和右侧乳突。电极与头皮之间的阻抗小
T7 C5 C3 C1 Cz C2 C4 C6 T8
于 5 kΩ,在线记录的滤波带通为 0.01~100 Hz。离
线再参考为双侧乳突参考。采用 Brain Vision Analyzer TP7
CP5 CP3 CP1 CPz CP2 CP4 CP6
TP8
2.0 软 件 进 行 数 据 处 理 , 对 数 据 进 行 高 通 为 0.01 M1
P3 P1 Pz P2 P4
M2
P5 P6
P7 P8
Hz 和低通为 30 Hz 的带通滤波。脑电分析锁定的 PO3 PO4
PO5 POz PO6
起始点为每首诗中第一联最后一个字(即第二句 PO7 PO8
O1 O2
Oz
最后一个字)的开始位置,截取此关键位置之前
200 ms 和之后 1500 ms 的数据存为 EEG 数据,并
以关键字开始前的 200 ms 时间段为基线进行基线 图 2 脑电数据分析时的兴趣区
韵母
声韵判断 无任务聆听
F3 Fz F4 F3 Fz F4
−3 μV C3 −3 μV Cz −3 μV C4 −3 μV C3 −3 μV Cz −3 μV C4
500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms
3 3 3 3 3 3
P3 Pz P4 P3 Pz P4
合适
违反 1
−1
150~250 ms 300~500 ms 600~1200 ms 150~250 ms 950~1200 ms
图 3 声韵判断和无任务聆听中听者加工诗句韵母信息的总平均波形和地形图
注:ERP 分析的开始时间为第一联末字开始位置,地形图为韵母违反与韵母合适条件的差异波地形图,灰色阴影部分表示该
时间窗内条件间差异显著。
声调
声韵判断 无任务聆听
F3 F4 F3 Fz F4
C3
−3 μV C3 −3 μV Cz −3 μV C4 −3 μV −3 μV Cz −3 μV C4
500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms 500 1000 ms
3 3 3 3 3 3
P3 Pz P4 P3 Pz P4
合适
1
违反
0
−1
150~250 ms 300~500 ms 600~1200 ms 150~250 ms 950~1200 ms
图 4 声韵判断和无任务聆听中听者加工诗句声调信息的总平均波形和地形图
注:ERP 分析的开始时间为第一联末字开始位置,地形图为声调违反与声调合适条件的差异波地形图,灰色阴影部分表示该
时间窗内条件间差异显著。
韵信息的加工是以策略化的方式进行的,声韵信 析和整合过程必须依赖听者主动分配认知资源。
息违反仅在有意识的加工中才会被意识到。以往 结果表明韵律限制语境(即诗句)会对韵母和声
研究发现听者即使在非主动注意的情况下,声 调加工产生影响,相较于声调信息,听者对诗句
调、韵母信息违反仍会诱发 N400 效应,这可能与 声韵信息中的韵母信息更加敏感。
以往研究使用了成语(Huang et al., 2018)或高语
参 考 文 献
义限制性句子(Schirmer et al., 2005)等语义信息丰
富且易提取的材料有关。该结果也进一步表明本 吴洁敏, 朱宏达. (2001). 汉语节律学. 北京: 语文出版社.
研究中的 N400 可能主要反映了音韵信息加工。 Bornkessel, I., & Schlesewsky, M. (2006). The extended argument
果一致(Hu et al., 2012; Li et al., 2014)。LPC 与错 Chen, Q. R., Zhang, J. J., Xu, X. D., Scheepers, C., Yang, Y. M., &
误探测(Kolk, Chwilla, van Herten, & Oor, 2003)、 Tanenhaus, M. K. (2016). Prosodic expectations in silent reading: ERP
再分析和再注意过程有关(Zhang, Li, Gold, & Jiang, evidence from rhyme scheme and semantic congruence in classic
S c h l e s e w s k y , 2 0 0 6 )。 本 研 究 中 , 更 大 波 幅 的 Coch, D., Grossi, G., Skendzel, W., & Neville, H. (2005). ERP nonword
LPC 反映了被试会投入更多的注意资源重新审查 rhyming effects in children and adults. Journal of Cognitive
听到的内容,并试图将声韵违反的目标词整合到 Neuroscience, 17(1), 168–182, doi: 10.1162/0898929052880020.
语境中去。在无任务聆听时,韵母违反在 Cutler, A., & Chen, H. C. (1997). Lexical tone in Cantonese spoken-word
950~1200 ms 诱发了前部分布的 LPC。这表明,即 processing. Perception & Psychophysics, 59(2), 165–179.
使被试的注意力并未明确指向加工诗句中的声韵
Fan, W., Zhong, Y. P., Li, J., Yang, Z. L., Zhan, Y. L., Cai, R. H., & Fu, X.
信息,听者仍能探测到韵母违反并进行再分析和
L. (2016). Negative emotion weakens the degree of self-reference
整合。这一过程的出现晚于有意识注意的声韵判
effect: Evidence from ERPs. Frontiers in Psychology, 7, 1408.
断任务,也证实了实验任务影响 LPC 效应的潜伏
Friedrich, C. K., Kotz, S. A., Friederici, A. D., & Alter, K. (2004). Pitch
期(Marie et al., 2011)。此外,在无任务聆听时诱
modulates lexical identification in spoken word recognition: ERP and
发的 LPC 分布在前部,不同于主动的声韵判断任
behavioral evidence. Cognitive Brain Research, 20(2), 300–308.
务 ( LPC 分 布 在 中 后 部 ), 可 能 表 明 两 种 任 务 下
Gaskell, M. G., & Marslen-Wilson, W. D. (2002). Representation and
听者加工韵母信息的潜在认知过程不同。与韵母
competition in the perception of spoken words. Cognitive Psychology,
相比,声调违反仅在完成主动的声韵判断任务时
45(2), 220–266, doi: 10.1016/S0010-0285(02)00003-8.
诱发了 LPC。进一步表明在听诗句时,听者对韵母
Geisler, M. W., & Murphy, C. (2000). Event-related brain potentials to
比声调信息更敏感,其只在实验任务明确要求时
attended and ignored olfactory and trigeminal stimuli. International
才会花费更多认知资源加工声调信息。
Journal of Psychophysiology, 37(3), 309–315.
本研究在被试和实验材料方面存在局限。虽
Hu, J. H., Gao, S., Ma, W. Y., & Yao, D. Z. (2012) Dissociation of tone and
然通过口头询问基本确定不同任务的被试对诗歌
声韵知识水平相当,但是并没有对其进行标准化 vowel processing in Mandarin idioms. Psychophysiology, 49(9),
测量。此外,在实验材料上,本研究将韵母部分 1179–1190.
看作一个整体进行违反变化;未来研究可将韵母 Huang, X. J., Liu, X., Yang, J. C., Zhao, Q. W., & Zhou, J. S. (2018). Tonal
Huang, X. J., Yang, J. C., Zhang, Q., & Guo, C. Y. (2014). The time course
5 结论 of spoken word recognition in Mandarin Chinese: A unimodal ERP
工过程不同,佐证了声调和韵母虽然通常同时呈 2014.08.015.
现,但仍然是两个独立的加工单元。听者在两种 Kanske, P., Plitschka, J., & Kotz, S. A. (2011). Attentional orienting
Kolk, H. H. J., Chwilla, D. J., van Herten, M., & Oor, P. J. W. (2003). elicited by failure to agree. Journal of Memory and Language, 34(6),
Structure and limited capacity in verbal working memory: A study with 739–773, doi: 10.1006/jmla.1995.1033.
event-related potentials. Brain & Language, 85(1), 1–36. Perrin, F., & García-Larrea, L. (2003). Modulation of the N400 potential
Li, W. J., Wang, L., & Yang, Y. F. (2014). Chinese tone and vowel during auditory phonological/semantic interaction. Cognitive Brain
processing exhibits distinctive temporal characteristics: An Research, 17(1), 36–47, doi: 10.1016/S0926-6410(03)00078-8.
electrophysiological perspective from classical Chinese poem Rugg, M. D., & Barrett, S. E. (1987). Event-related potentials and the
processing. PLoS ONE, 9(1), e85683. interaction between orthographic and phonological information in a
Li, W. J., Zhang, H., Zheng, Z. L., & Li, X. Q. (2019). Prosodic phrase rhyme-judgment task. Brain and Language, 32(2), 336–361.
priming during listening to Chinese ambiguous phrases in different Schirmer, A., Tang, S. L., Penney, T. B., Gunter, T. C., & Chen, H. C.
experimental tasks. Journal of Neurolinguistics, 51, 135–150. (2005). Brain responses to segmentally and tonally induced semantic
Liu, S. Y., & Samuel, A. G. (2007). The role of Mandarin lexical tones in violations in Cantonese. Journal of Cognitive Neuroscience, 17(1),
lexical access under different contextual conditions. Language and 1–12, doi: 10.1162/0898929052880057.
Cognitive Processes, 22(4), 566–594, doi: 10.1080/01690960600989600. Švarný, O. (1972). Reviewed work: A grammar of spoken Chinese by Yuen
Magne, C., Astésano, C., Aramaki, M., Ystad, S., Kronland-Martinet, R., & Ren Chao. Journal of the American Oriental Society, 92(1), 136–137.
Besson, M. (2007). Influence of syllabic lengthening on semantic Wunderlich, J. L., & Cone-Wesson, B. K. (2001). Effects of stimulus
processing in spoken French: Behavioral and electrophysiological frequency and complexity on the mismatch negativity and other
evidence. Cerebral Cortex, 17(11), 2659–2668. components of the cortical auditory-evoked potential. The Journal of
Malins, J. G., & Joanisse, M. F. (2010). The roles of tonal and segmental the Acoustical Society of America, 109(4), 1526–1537.
information in Mandarin spoken word recognition: An eyetracking Ye, Y., & Connine, C. M. (1999). Processing spoken Chinese: The role of
study. Journal of Memory and Language, 62(4), 407–420. tone information. Language and Cognitive Processes, 14(5–6),
Marie, C., Magne, C., & Besson, M. (2011). Musicians and the metric 609–630.
structure of words. Journal of Cognitive Neuroscience, 23(2), 294–305. Zhang, Q., Li, X. H., Gold, B. T., & Jiang, Y. (2010). Neural correlates of
Osterhout, L., & Mobley, L. A. (1995). Event-related brain potentials cross-domain affective priming. Brain Research, 1329, 142–151.
The Processing of the Tone and the Vowel in Poems Under Different Tasks:
Evidence from ERPs
ZHANG Zhenghua 1,2,3, ZHANG Hang 3, WANG Bing 4, ZHENG Zilong 5, ZHAO Liming 6, LI Weijun 1,2
(1 Research Center of Brain and Cognitive Neuroscience, Liaoning Normal University, Dalian 116029; 2 Key Laboratory of Brain and Cognitive
Neuroscience, Liaoning Province, Dalian 116029; 3 Department of Psychology, Renmin University of China, Beijing 110872; 4 School of
Music, Liaoning Normal University, Dalian 116029; 5 School of Foreign Languages, Soochow University, Suzhou 215006; 6 Key
Research Base of Humanities and Social Sciences of the Ministry of Education, Academy of
Psychology and Behavior, Tianjin Normal University, Tianjin 300387)
Abstract
Tone and vowel are important components of tone language. Previous studies have found that they have different effects on
speech comprehension. The present ERPs study aimed to explore tone and vowel processing in Chinese pomes using prosody
judgment and passive listening tasks. The results showed that the vowel violation elicited P2 and LPC in both tasks and elicited N400
in prosody judgment task, while the tone violation elicited N400 and LPC in prosody judgment task. In conclusion, the current study
suggests that native Mandarin speakers can quickly detect the vowel violation in the prosody information, and complete the
reanalysis and integration of the vowel in the late stage regardless of the kind of task. In contrast to the vowel, the listener only
performs the phonological analysis and reanalysis and integration of the tone in the prosody judgment task which relies on cognitive
resources being allocated actively by the listeners.
Key words rhyming, tone, vowel, ERP.