基于Coh-Metrix的大学英语六级与

托福、雅思阅读语篇难度研究

江进林 对外经济贸易大学 韩宝成 北京外国语大学

摘 要：本研究使用Coh-Metrix工具对近年大学英语六级、托福和雅思的163篇阅读语篇
进行难度对比分析。研究表明：Coh-Metrix能够使用适合二语学习者的可读性
公式对语篇难度进行整体测量，还可通过53个词汇语法和语义特征的计算，从
8个维度（叙事性、句法简约性、词汇具体度、指称衔接、深度衔接、动词衔
接、连接度、时序性）解析语篇难度。研究发现六级阅读语篇整体上比托福和
雅思容易，并在4个维度上与它们存在显著差异。六级阅读语篇的叙事性比托
福和/或雅思更强（话题更为人们所熟悉、口语性更强）、连接度更高（显性附
加连词、转折连词、比较连词更多），而词汇具体度更低（词汇更抽象）、指
称衔接更少（上下文词汇的重叠更少）。我们认为，这种不一致的情况反映了
语篇的复杂性本质，即主题较难的题材可能使用更多的隐性衔接手段对理解进
行补偿；并且，词汇具体度和词汇难度之间存在非线性关系。本研究为考试开
发、阅读分级和教材编写提供了参考依据。

作者简介：江进
主题词：阅读语篇；难度；大学英语六级；托福；雅思
林 ， 对 外 经 济 贸 中图分类号：H319 文献标识码：A 文章编号：1672-9382 (2018)03-0086-10
易 大 学 英 语 学 院 DOI:10.13564/j.cnki.issn.1672-9382.2018.03.017

1 引言
副教授，研究方 英语四、六级考试（以下简称“四、六级”）
向：语言测试、
阅读的研究主要探讨其内容效度（辜向东等，
语料库语言学，
阅读理解是外语考试中不可或缺甚至权重 2009）、答题效度（金艳、吴江，1998；杨
E-m a i l：j i a n g-
Vol.15 No.3 (General Serial No.83)

最高的部分，也是中国学生比较擅长的部分， 卫健，2011）和情感因素（金艳、程李颖，
j i n l i n2014@163.
但在大型国际性考试中，学生仍觉得阅读理解 2013），对直接影响考生成绩的阅读语篇难
c om。韩宝成，北
偏难，而学界鲜有研究报告这些阅读语篇本身 度研究较少，对四、六级和国际性考试中的阅
京外国语大学中国
外语与教育研究中
难在何处。已有研究主要介绍托福和雅思阅读 读语篇进行比较的研究更为鲜见。已有相关研

心教授、博士生导 测试的开发，并从考生背景和考试策略角度进 究通常采用单一的可读性公式对语篇难度进行

May 2018

师，研究方向：语 行效度验证（Freedle & Kostin，1993；Cohen 计算（李跃平、杨廷君，2013），缺乏对语

言测试、外语教育 & Upton，2007；Gomez et al.，2007；Taylor 篇本身客观、全面的测量。本研究拟使用国外
F L C

与教师发展研究。 & Weir，2012；Clapham，1996）。围绕大学 自然语言处理工具Coh-Metrix对六级、托福和

86

雅思考试的阅读语篇进行分析，从多个维度对
三项考试的语篇难度进行比较。目前中国英语
等级量表的相关研究正在进行之中（刘建达，
2017；闵尚超、何莲珍，2016），语言测试
标准（范劲松、金艳，2010）的呼声也越来越
高，而雅思和托福与国际公认的语言能力标准
C E F R对接，因此三项考试的阅读语篇对比研
究可为制定我国统一的外语能力等级量表、建
立统一的外语测评体系提供参考数据。
2 阅读语篇难度和Coh-Metrix
阅读语篇难度指语篇难以阅读和理解的程
度，反过来讲就是可读性（readability）或易
读性（easibility）（McNamara et al.，2014：
①
78，83） 。长期以来，学界采用单一的可读性
指标来测量语篇难度，如弗莱士-金凯德年级水
平（Flesch-Kincaid Grade Level，FKGL）、
阅读能力等级（Degrees of Reading Power，
D R P）和蓝思分级（L e x i l e S c o r e s）。
McNamara et al.（2014：13-15）发现，这些
指标计算出的语篇难度高度相关（r>0.9），
因为它们都包含词长和句长信息。例如，弗莱
士-金凯德年级水平的计算公式为：0.39×
句子的平均单词数＋11.8×单词的平均音节
数-15.59，其基本理念是单词越长，可能越生
僻；句子越长，句法可能越复杂，需要的工作
记忆越多，因而语篇的阅读等级越高。不过，
词长和句长只能反映语篇的一部分表层特征，
即语篇难度的一部分。这些公式忽略了阅读理
解过程涉及的语言表征、结构、策略使用、加
工过程等其他认知层面的因素（McNamara et
al.，2014：79）。Masi（2002）也指出，在
考察语篇是否适合特定读者时，不仅要量化
测量词汇和句法复杂度，还应考虑其他语义
和句法因素如结构嵌入、语篇类型、读者的背
景知识等。
为克服以上不足，美国孟菲斯大学的
McNamara等人研发了一个基于网络的文本分
析工具Coh-Metrix。Coh-Metrix的理论基础是
影响阅读理解的多层面理论框架，包括词汇、
句法、篇章格局（textbase）、指称性情景模
式（situation model）、体裁和修辞结构、
读者和写作者/说话人和听者之间的语用交际
中国外语
六个维度（Graesser & McNamara，2011；
Kintsch，1998）。其中前五个维度都与文本
第15卷 第3期 （总第83期）
2018年5月
特征密切相关，在C o h-M e t r i x中均有体现。
Coh-Metrix的设计初衷是对口头、书面文本的
衔接性进行自动分析，该工具的名称Coh来自
单词c o h e s i o n。不过它的后期设计已超出此
范围，可对一系列语言指标进行测量。C o h-
M e t r i x整合了词性赋码器、模式分类器、句
法分析器、语义分析器等计算语言学和语料
库语言学的多种技术，例如Wo r d N e t中的词
汇语义信息，英国医学研究理事会（Medical
Research Council，MRC）心理语言学数据
库中人工对词汇熟悉度、想象性、具体度、意
义性的评级，CELEX数据库中基于大规模语料
库的词汇频率信息，Charniak句法分析器，潜
语义分析技术（Latent Semantic Analysis，
L S A）等（M c N a m a r a e t a l.，2014：40-
41）。其中，潜语义分析技术是Coh-Metrix的
一大优势，它超越了表层形式特征的统计，通
过奇异值分解来压缩词频-文本矩阵，以此构
建潜藏的文本语义空间，然后计算两个语言单
位所代表的向量夹角的余弦值，即为两者的语
义相似度（桂诗春，2003；Landauer et al.，
2007）。Coh-Metrix将本科层次的语义空间作
为潜语义分析的基础，该语义空间包括TA S A
（Touchstone Applied Science Associates）
语料库中的大量小说、报刊文章等文本。目
前Coh-Metrix 3.0可以对11个模块共106个变
量进行自动分析 ②，这些模块依次是：描述性
统计量、文本易读性主成分得分、指称衔接、
潜语义分析、词汇多样性、连词、情景模式、
句法复杂度、句法型式密度、词汇信息和可读
性。以往研究表明，Coh-Metrix提取的绝大多
数变量都能影响阅读测试的难度（e.g. Freedle
& Kostin，1993；Fortus et al.，1998）。
基于多种自动分析技术，C o h-M e t r i x
改进了以往单一的可读性公式，研制出
C o h-M e t r i x二语可读性指标（C o h-M e t r i x
L2 Readability，RDL2）。其计算公式为：
-45.032＋（52.23×相邻句子实词重叠的平均
数）＋（61.306×句子的平均句法相似度）
＋（22.205×C E L E X数据库中实词的最低对
数词频平均数）（McNamara et al.，2014：
80）。该指标尤其适用于二语学习者，因为
87
 它反映了二语阅读者在词汇、句子和语篇衔
接方面遇到的困难。研究表明，C o h-M e t r i x
二语可读性与日本学生英语完形填空得分的
相关度（r=0.93）高于弗莱士易读性（Flesch
Reading Ease）和弗莱士-金凯德年级水平（r
均为0.86），因此比后两者更有效（Crossley
et al.，2008）。另一项研究表明，Coh-Metrix
二语可读性公式能准确区分59%的阅读材料，
高于弗莱士易读性和弗莱士-金凯德年级水平
（44%~48%）（Crossley et al.，2011）。
由于可读性指标仍然比较简单，Graesser
et al.（2011）使用TASA语料库中的37 520个
文本对C o h-M e t r i x的测量指标进行了主成分
分析（Principal Components Analysis），试
图找出主要构成因素。这些文本的平均长度为
288.6词，相当于一个段落。选用这些文本的
原因有两个：第一，文本的代表性强，涵盖
了美国从幼儿园到12年级可能接触到的文本
片段，包括语言艺术、科学、社会研究、历
史，甚至商业、医疗、家政、工业艺术；第
二，每个文本已有难度指标（D R P）。研究
者排除了Coh-Metrix中无法预测文本变异的指
标，以及与其他特征高度相关（r>0.9）的指
标，最终剩下53个变量。通过主成分分析进
行压缩，最终发现8个主要成分，它们能解释
67.3%的文本变异，并且这些成分与Graesser
& M c N a m a r a（2011）的多层面理论框架基
本吻合：词汇层面对应词汇具体度（w o r d
表1 Coh-Metrix 易读性主成分包含的变量
包含的变量
主成分
正载荷变量
动词、副词、代词、第一人称代词、第三人
称代词的比例；CELEX数据库中所有词汇的
对数词频平均数；CELEX数据库中实词的最
叙事性
低对数词频平均数；句子最低词频；实词的
Vol.15 No.3 (General Serial No.83)
平均熟悉度；否定式的比例；句子间词性相
异度
因果关系动词；意愿动词或意愿副词；段落
句法简约性
May 2018
内句子的平均句法相似度
实词的平均意义性；实词的平均具体度；实
词汇具体度
F L C
词的平均想象性
88
concreteness）；句法层面对应句法简约性
（syntactic simplicity）；篇章格局对应指称
衔接（referential cohesion）；情景模式对应
深度衔接（deep cohesion）、动词衔接（verb
cohesion）、连接度（connectivity）和时序性
（temporality）；体裁和修辞结构对应叙事性
（narrativity）。每个主成分的得分由其内部各变
量（见表1）加权求和得出，权数为各变量的方
差贡献率（即载荷量的平方数）③。在进行相加
时，需要对载荷为负数的变量进行符号转换，
保证各变量的数值越大，文本易读性越高。8
个主成分即为Co h-M e t r i x 3.0提供的易读性
模块。
目前国外主要使用C o h-M e t r i x研究其
测量指标对连贯性和阅读理解的影响（e.g.
M c N a m a r a e t a l.，2010），分析文本之
间的区别、判断文本的语体、体裁和类别
（Crossley et al.，2007；Louwerse et al.，
2004），或者探讨写作语言的特点及其对写
作质量的预测力（Crossley & McNamara，
2012；Crossley et al.，2011）。极少数研究
也使用Coh-Metrix分析考试中的阅读语篇。例
如，Green et al.（2010）使用Coh-Metrix、
WordSmith和VocabProfile工具提取了英国14
本本科教材中42篇学术语篇和42篇雅思阅读
真题的27个量化特征，包括句子平均单词数、
段落平均句子数、主动词前单词数，以及衔接
性、文本抽象程度（如词汇具体度、词汇上义
变量数量
负载荷变量
单词平均音节数；名
词、形容词的比例；
实词的平均习得年 17
龄；名词短语的平均
修饰语数；被动语态
虚词与实词之比；句
子平均单词数；主动 6
词前平均单词数
无 3

包含的变量
主成分
正载荷变量
相邻句子实词重叠的平均数；所有句子实词
重叠的平均数；相邻句子论元重叠的平均
数；所有句子论元重叠的平均数；相邻句子 类 形 符 比 ； 所 有 词 汇
指称衔接
名词重叠的平均数；所有句子词干重叠的平 多样性；动词多样性
均数；已知信息和新信息的LSA；相邻句子
LSA；所有LSA；句子间词汇相异度
所有连词的比例；因果连词的比例；时序连
深度衔接 词的比例；逻辑连词的比例；因果关系衔
接；意愿关系衔接
实词的平均多义性；相邻句子动词重叠的平
动词衔接
均数；相邻句子LSA动词重叠
连接度 附加连词的比例；转折连词的比例
时序性 时序衔接；动词时态重复；动词体重复
度）、Coh-Metrix二语可读性等，然后使用t检
验对两组数据进行了比较。研究者还对文本进
行了内容分析、专家评价等质性考察。研究结
果表明，教材语篇和雅思阅读在词汇具体度、
主题专业性（subject specificity）等少数指
标上存在显著差异，这一方面是由于雅思需要
避免出现文化、话题偏误（bias），另一方面
也因为雅思阅读语篇比少数专业性教材（如法
律）容易。该研究表明Coh-Metrix能够用于对
阅读测试进行效度研究。
在国内，一些研究者指出了已有易读性公
式的不足（李绍山，2000；邢富坤、程东元，
2010），但没有形成有影响力的改进方法。江
进林（2016）对Coh-Metrix的原理和使用方
法进行了深入浅出的介绍。不过，相关实证研
究不到10项，一类是自动评分研究（梁茂成，
2006；杜慧颖、蔡金亭，2013），一类是写
作语言的特征研究，如词汇和衔接手段（桂
林，2010；鲍贵，2011）。在前人研究的基
础上，本研究将使用Coh-Metrix对六级、托福
和雅思阅读语篇的难度进行比较。
3 研究设计
3.1 研究工具
本研究使用Coh-Metrix 3.0对阅读语篇进
中国外语
续表
变量数量
第15卷 第3期 （总第83期）
2018年5月
负载荷变量
13
无 6
无 3
无 2
无 3
行自动分析。网络版Coh-Metrix 3.0可以自动
处理15 000词以内的单个文本。如果文本超过
15 000词，或者需要处理多个文本，其研发团
队可以提供免费服务。文本超过一定数量和长
度则需付费。
3.2 语篇选择
本研究使用的语篇有三组，包括2005—
2013年六级考试的阅读理解文本55篇，以及
新托福和雅思官方样题和真题中的阅读理解文
本各54篇。为使研究结果具有可比性，我们排
除了快速阅读、信息匹配等题型，仅保留阅读
后需做单项选择题的文本。研究者将每篇文本
保存为一个文档，并对三组文本的格式进行了
统一：删除雅思和托福阅读的标题、文本后的
术语（glossary）和英文释义、六级阅读文本
内超纲词汇的汉语释义；使用分段符为段落标
记；将标点符号统一为英文输入，等等。
3.3 数据收集
本研究从Coh-Metrix汇报的11个模块中选
择可读性和易读性数据进行分析。可读性模块
汇报Coh-Metrix二语可读性、弗莱士易读性和
弗莱士-金凯德年级水平。由于后两者都基于
词长和句长计算获得，我们仅采用其中一个。
易读性模块包括8个易读性主成分的z分数和百
89
 表2 三项考试阅读语篇的可读性差异

六级 托福 雅思 Post Hoc
F[2,
指标 (Bonferroni/ MD
M SD M SD M SD 160]
Games-Howell)

六级>托福 7.51**
弗莱士易读性 49.09 10.47 41.58 9.55 43.28 10.29 8.288** 六级>雅思 5.81**
雅思>托福 1.71

六级>托福 2.13**
Coh-Metrix二
12.13 3.49 10.01 2.38 10.57 2.73 7.822** 六级>雅思 1.56*
语可读性
雅思>托福 0.56
注：*表示p <0.05，**表示p <0.01。

分位数。z分数是经过标准化处理的数据，即 性术语更多（Biber，1988）。由此可见，六
每个文本的特征值减去所在文本组的平均数再 级阅读的话题比托福和雅思更为读者所熟悉，
除以标准差。百分位数在0~100%之间，80% 口语特点更明显。
的百分位数表示该文本比80%的文本更容易。 第二，六级阅读语篇的词汇具体度显著低
由于本研究的重点不是单个文本，而是三组文 于托福（M D=0.45）。语篇中实词的比例越
本，我们未使用百分位数。 高、实词的意义越丰富、越能在人们大脑中激
发意象（mental images），词汇具体度的数

4 结果与讨论 值越高，语篇也越容易加工和理解。反之，抽
象的词汇通常代表着难以可视化的概念，因而
单因素方差分析结果（表2）显示，三 更难理解（McNamara et al.，2014：85）。
组语篇在弗莱士易读性和C o h-M e t r i x二语可 第三，六级阅读语篇的指称衔接显著低于
读性上都具有显著差异（F[2，160]=8.288， 托福（MD=1.00）和雅思（MD=0.65），且均
④
7.822，p <0.01）。事后比较（Post Hoc） 值差异在易读性主成分中最大。指称衔接反映
结果进一步表明，六级阅读语篇的易读性 的是随着文本的展开，文中的词汇和观点彼此
显著高于托福（M D=7.51，2.13）和雅思 联系的程度（Graesser et al.，2011：230）。
（MD=5.81，1.56）。 如果一个句子与上一句的词汇重叠极少，则可
图1呈现了三组语篇的易读性z分数。表3 能出现衔接断层（gap），对读者造成加工困
显示，三组语篇在叙事性、词汇具体度、指称 难。由于名词短语对照应和衔接起着重要作
衔接、动词衔接、连接度上具有显著差异。 用，六级阅读语篇需要特别注意名词的衔接。
第一，六级阅读语篇的叙事性显著高于 第四，雅思阅读语篇的动词衔接显著高于
托福（M D=0.61）和雅思（M D=0.43）。叙 托福（MD=0.43）。该指标反映了文本中动词
事文本往往讲述一个故事，包括地点、人物、 重叠的程度。如果文本多次使用相同或意义相
事件等，因此使用的动词、副词、代词更多。 近的动词，事件结构可能更连贯，便于读者理
Vol.15 No.3 (General Serial No.83)

以往研究表明，叙事文本往往带有口语色彩 解文本情景模式。该指标对叙事性文本和低水
（Biber，1988；Clark，1996），其话题通常 平读者更有效（McNamara et al.，2012）。
为人们所熟悉，句子的构成也容易理解。话题 第五，六级阅读语篇的连接度显著高于托
的熟悉度意味着叙述者会使用音节较短、频次 福（M D=0.46）。连接度体现的是文本使用
较高的词汇，这些词汇被儿童习得的年龄也较 显性附加连词（and，moreover等）、转折连
May 2018

早。句子构成简单则表明名词短语的修饰语、 词、比较连词的程度，反映了文本中显性表达
主动词前的单词、被动语态较少。与之相反的 逻辑关系的数量。
F L C

是偏重信息传递的书面文本，这些文本的名词 从表3也可以看出，三组语篇在句法简约

90
 中国外语
第15卷 第3期 （总第83期）
2018年5月
图1 三项考试阅读语篇的易读性 z 分数

表3 三项考试阅读语篇的易读性差异

六级 托福 雅思 Post Hoc
易读性
F[2, 160] (Bonferroni/ MD
主成分 M SD M SD M SD Games-Howell)

六级>托福 0.61**
叙事性 -0.43 0.62 -1.04 0.41 -0.86 0.43 21.286** 六级>雅思 0.43**
雅思>托福 0.18

托福>六级 0.04
句法简约性 -0.34 0.64 -0.30 0.56 -0.51 0.98 1.198 六级>雅思 0.17
托福>雅思 0.21

托福>六级 0.45*
词汇具体度 0.04 0.70 0.48 0.81 0.28 0.85 4.401* 雅思>六级 0.25
托福>雅思 0.20

托福>六级 1.00**
指称衔接 -1.25 0.76 -0.24 0.52 -0.59 0.98 23.616** 雅思>六级 0.65**
托福>雅思 0.35

托福>六级 0.04
深度衔接 0.37 0.71 0.41 0.77 0.59 0.75 1.401 雅思>六级 0.23
雅思>托福 0.18

六级>托福 0.20
动词衔接 -0.27 0.62 -0.48 0.60 -0.04 0.78 5.625** 雅思>六级 0.23
雅思>托福 0.43**

六级>托福 0.46*
连接度 -1.94 0.88 -2.41 1.00 -2.22 0.83 3.547* 六级>雅思 0.27
雅思>托福 0.19

托福>六级 0.05
时序性 -0.71 0.98 -0.67 1.06 -0.61 0.94 0.156 雅思>六级 0.11
雅思>托福 0.06
注：*表示p <0.05，**表示p <0.01。

91
 性、深度衔接、时序性指标上没有显著差异。
第一，句子包含的词汇越少、句法结构越简
单、越为人们所熟悉，则句法越简约，越容易
加工。相反，句子结构的嵌套越多，读者在工
作记忆中需要储存的词汇和观点越多，则句法
越复杂。从句法的角度看，六级阅读语篇与托
福和雅思相当。第二，深度衔接主要反映语篇
在出现因果或逻辑关系的情况下，使用因果性
和意愿性连词的程度。这些连词能够帮助读者
理解事件和行为，否则读者需要从文中推断因
果关系和逻辑关系，加工的难度更大。数据显
示，六级阅读语篇的深度衔接数量与托福、雅
思一致。第三，时序性强的文本包含更多的时
序衔接手段，相同的动词时、体也更多。这样
的文本有助于读者理解情景模式，因而更易
于加工（G r a e s s e r et al.，2011）。数据显
示，六级阅读语篇的时序性指标与托福、雅
思相当。
从以上分析可以得出两个结论。首先，主
题较难的题材可能使用更多的隐性衔接手段。
六级阅读语篇的叙事性和连接度显著高于托福
和/或雅思，而指称衔接显著低于后两者。也就
是说，六级阅读语篇的话题更为人们所熟悉，
使用的显性附加连词（and，moreover等）、
转折连词、比较连词更多，而上下文词汇（尤
其是名词）重叠更少。这种不一致的情况可能
是因为叙事性较低，题材较难的托福、雅思语
篇会采用隐性衔接手段进行弥补。Graesser et
a l. （2011：231）指出，当主题较难，使用
的词汇和表达的观点不为读者所熟悉时，作者
倾向于使用更简单的句法和更多的衔接手段，
以弥补读者理解文本的难度。McNamara et
al.（2012）也发现，信息性较强的文本比语言
艺术类文本中的句法结构更简单、衔接手段更
多，并且学生的年级越高，其阅读材料中的衔
接手段越多，这种不符合预期的现象就是出于
作者对理解进行补偿的心理。
Vol.15 No.3 (General Serial No.83)
其次，词汇具体度和词汇难度可能不是简
单的线性关系。六级阅读语篇的叙事性显著高
于托福和雅思，而词汇具体度显著低于托福，
这种现象也与我们的预期相反。不过，即使是
May 2018
最基本的名词，也有抽象（如thing，person）
和具体（如ball，teacher）之分；很多简单的
F L C
动词也是抽象的（如do，make）。因此我们
92
推测，文本的叙事性越强，词汇可能越容易，
但不一定越具体。为验证这个假设，我们将每
项考试的50多个阅读语篇合并到一个文档，然
后使用Paul Nation开发的Range软件对词汇进
行分析。Range软件的前两个词表包含两千词
族（word families），源自通用英语词表（A
General Service List of English Words）；第
三个词表包含570个词族，源自学术英语词表
（Academic Word List）。词族、第三级类符
和词表外词汇（Not in the lists）通常是可靠
的难度判别标准。由于三组语篇的形符数不
同，类符和词族数量的可比性不强，我们采用
百分比数据来判断词汇难度。表4显示，六级
阅读语篇的第三级类符百分比（15.06%）略
高于托福（14.54%）和雅思（14.43%），而
词表外词汇的百分比（34.19%）远低于托福
（40.78%）和雅思（41.36%）。因此，六
级阅读语篇的词汇整体上比托福和雅思容易，
这与词汇具体度的结论相反，可见词汇具体
度和词汇难度的关系比较复杂。Graesser et
al.（2011）也发现，词汇具体度和年级整体上
是非线性的关系。具体而言，在美国幼儿园到
12年级的自然科学类阅读材料中，词汇随着
年级的增加越来越抽象；语言艺术类阅读材料
的词汇越来越具体；社会研究类阅读材料的词
汇在5年级前越来越具体，5年级后越来越抽
象。可见学科类型是影响词汇具体度的一个
重要变量，今后需要对词汇具体度进行进一步
探讨。
5 结语
本研究表明，六级阅读语篇的难度整体
上低于托福和雅思。具体而言，六级阅读语篇
的叙事性显著高于托福和雅思，可见其话题更
为人们所熟悉，口语性更强。六级阅读语篇的
连接度显著高于托福，表明语篇使用的显性附
加连词（and，moreover等）、转折连词、比
较连词更多，有助于理解。不过，六级阅读语
篇的词汇具体度显著低于托福，表明词汇的意
义更抽象，更难以在读者大脑中激发可视化意
象。六级阅读语篇的指称衔接也显著低于托福
和雅思，表明文中上下文词汇（尤其是名词）
重叠更少，读者加工的困难更大。三项考试在
 中国外语
表4 三项考试阅读语篇的词汇分布报告

考试 词表 形符/% 类符/% 词族

第15卷 第3期 （总第83期）

2018年5月
1 36 081/76.14 1 856/37.37 849

2 2 620/5.53 664/13.37 437

六级
3 3 395/7.16 748/15.06 415

词表外词汇 5 293/11.17 1 698/34.19 ?????

1 53 815/72.59 1 973/31.59 867

2 4 496/6.06 817/13.08 495

托福
3 5 660/7.64 908/14.54 436

词表外词汇 10 160/13.71 2 547/40.78 ?????

1 61 796/74.04 2 199/31.13 911

2 4 916/5.89 924/13.08 558

雅思
3 6 101/7.31 1 019/14.43 483

词表外词汇 10 654/12.76 2 922/41.36 ?????

上述4个易读性主成分上的差异不尽一致，体 语, 有人严格区分, 有人混而用之。本文在定

现了语篇的复杂性本质。例如，六级阅读语篇 义上不作区分。在McNamara et al. (2014: 78,
的叙事性和连接度高于托福和/或雅思，而指 83) 的研究中, 可读性仅采用一个计算公式来
称衔接更低，因为主题较难的题材可能使用更 测量, 而易读性从词汇、句法、衔接等多个
多的隐性衔接手段对理解进行补偿。再如，六 维度进行测量, 两者的本质都是语篇易于阅
级阅读语篇的叙事性高于托福和雅思，词汇也 读和理解的程度。
比托福和雅思容易，而词汇具体度比托福低， ② Coh-Metrix工具参见http://cohmetrix.com/。106
表明词汇具体度和词汇难度可能是复杂的曲线 个变量及其说明可参见McNamara et al. (2014:
关系，不过这需要进一步研究进行验证。六级 60-77, 247-251) 或从h t t p://141.225.42.101/
与托福、雅思阅读语篇在另外4个易读性主成 CohMetrixHome/documentation_indices.html
分（句法简约性、深度衔接、动词衔接、时序 了解。
性）上没有显著差异。托福和雅思阅读语篇仅 ③ 变量的英文名称及其载荷量参见Graesser et
在一项指标上存在显著差异，即托福阅读的动 al. (2011: 228-230)。
词衔接度低于雅思。 ④ 在本研究中, 三组平均数的方差相等 (equal
总之，本研究采用的Coh-Metrix易读性主 variances assumed) 时, 使用Bonferroni检验法
成分模块能够反映词汇、句法、衔接、语义相 进行两两比较; 方差不相等 (equal variances
似度等更丰富、全面的文本信息，克服了以往 not assumed) 时, 使用Games-Howell检验法。
单一可读性公式的不足。本研究的结果为改进
现有考试的阅读语篇难度提供了相应的实证基 参考文献
础。国内的阅读分级和教材编写也可以借鉴本 [1] Biber, D. Variation across Speech and Writing
文介绍的多维文本难度分析法。 [M]. Cambridge: Cambridge University Press,
1998.
注释 [2] Clapham, C. The Development of IELTS: A
① 英文文献中的readability、easibility以及中文 Study of the Effect of Background on Reading
文献中的“可读性”“易读性”等近义术 Comprehension [M]. Cambridge: Cambridge

93
 University Press, 1996.
[3] Clark, H. H. Using Language [M]. Cambridge:
Cambridge University Press, 1996.
[4] Cohen, A. D. & Upton, T. A.‘I want to go back
to the text’: Response strategies on the reading
subtest of the new TOEFL [J]. Language
Testing, 2007, 24(2): 209-250.
[5] Crossley, S. A. & McNamara, D. S. Predicting
second language writing proficiency: The roles
of cohesion and linguistic sophistication [J].
Journal of Research in Reading, 2012, 35(2):
115-135.
[6] Crossley, S. A., Allen, D. & McNamara, D. S.
Text readability and intuitive simplification: A
comparison of readability formulas [J]. Reading
in a Foreign Language, 2011, 23(1): 84-102.
[7] Crossley, S. A., Greenfield, J. & McNamara, D.
S. Assessing text readability using cognitively
based indices [J]. TESOL Quarterly, 2008,
42(3): 475-493.
[8] Crossley, S. A., Louwerse, M. M. & McCarthy,
P. M. A linguistic analysis of simplified and
authentic texts [J]. Modern Language Journal,
2007, 91(1): 15-30.
[9] Crossley, S. A., Salsbury, T., McNamara, D.
S. & Jarvis, S. Predicting lexical proficiency
in language learner texts using computational
indices [J]. Language Testing, 2011, 28(4): 561-
580.
[10] Fortus, R., Coriat, R. & Fund, S. Prediction of
item difficulty in the English subtest of Israel’s
inter-university psychometric entrance test [A].
In A. J. Kunnan (ed.). Validation in Language
Assessment: Selected Papers from the 17th
Language Research Colloquium, Long Beach
[C]. Mahwah, NJ: Lawrence Erlbaum, 1998:
61-87.
Vol.15 No.3 (General Serial No.83)
[11] Freedle, R. & Kostin, I. The prediction of
TOEFL reading comprehension item difficulty
for expository prose passages for three item
types: Main idea, inference, and supporting idea
May 2018
items [R]. TOEFL Research Reports No. RR-93-
44. Princeton, NJ: Educational Testing Service,
F L C
1993.
94
[12] Gomez, P. G., Noah, A., Schedl, M., Wright, C.
& Yolkut, A. Proficiency descriptors based on
a scale-anchoring study of the new TOEFL iBT
reading test [J]. Language Testing, 2007, 24(3):
417-444.
[13] G r a e s s e r, A . C . & M c N a m a r a , D . S .
Computational analysis of multilevel discourse
comprehension [J]. Topics in Cognitive Science,
2011, 3(2): 371-398.
[14] Graesser, A. C., McNamara, D. S. & Kulikowich,
J. Coh-Metrix: Providing multilevel analyses of
text characteristics [J]. Educational Researcher,
2011, 40(5): 223-234.
[15] Green, A., Ünaldi, A. & Weir, C. Empiricism
versus connoisseurship: Establishing the
appropriacy of texts in tests of academic reading
[J]. Language Testing, 2010, 27(3): 1-21.
[16] Kintsch, W. Comprehension: A Paradigm
for Cognition [M]. Cambridge: Cambridge
University Press, 1998.
[17] Landauer, T. K., McNamara, D. S., Dennis,
S. & Kintsch, W. (eds.). Handbook of Latent
Semantic Analysis [M]. Mahwah, NJ: Erlbaum,
2007.
[18] Louwerse, M. M., McCarthy, P. M., McNamara,
D. S. & Graesser, A. C. Variation in language
and cohesion across written and spoken registers
[A]. In K. D. Forbus, D. Gentner & T. Regier
(eds.). Proceedings of the 26th Annual Meeting
of the Cognitive Science Society [C]. Mahwah,
NJ: Erlbaum, 2004: 843-848.
[19] Masi, S. The literature on complexity [A]. In B.
Merlini (ed.). Complexity in Language and Text
[C]. Pisa, Edizioni Plus, 2002: 197-228.
[20] McNamara, D. S., Graesser, A. C. & Louwerse,
M. M. Sources of text difficulty: Across genres
and grades [A]. In J. P. Sabatini, E. Albro & T.
O’Reilly (eds.). Measuring Up: Advances in
How We Assess Reading Ability [C]. Plymouth,
UK: Rowman & Littlefield Education, 2012:
89-116.
[21] McNamara, D. S., Graesser, A. C., McCarthy,
P. M. & Cai, Z. Automated Evaluation of Text
and Discourse with Coh-Metrix [M]. New York:
 中国外语
Cambridge University Press, 2014. 读性研究[J]. 解放军外国语学院学报, 2010:
[22] McNamara, D. S., Louwerse, M. M., McCarthy, (6): 19-24.
P. M. & Graesser, A. C. Coh-Metrix: Capturing [39] 杨卫健. 英语专业四级考试阅读理解测试的

第15卷 第3期 （总第83期）

2018年5月
linguistic features of cohesion [J]. Discourse 答题效度验证[J]. 外语教学, 2011(6): 53-56.
Processes, 2010, 47(4): 292-330.
[23] Taylor, L. & Weir, C. J. (eds.). IELTS Collected A Study of Reading Text Difficulty of
Papers 2: Research in Reading and Listening CET6, TOEFL and IELTS Based
A s s e s s m e n t [C]. C a m b r i d g e: C a m b r i d g e on Coh-Metrix
University Press, 2012. Abstract: This paper presents an analysis of
[24] 鲍贵. 不同课程水平英语学习者词汇复杂性 the difficulty of CET6, TOEFL and IELTS
研究[J]. 解放军外国语学院学报, 2011(4): 55- reading texts with Coh-Metrix tool based on
60. 163 texts. The results show that Coh-Metrix is
[25] 杜慧颖, 蔡金亭. 基于Coh-Metrix的中国英语 effective in measuring the overall text difficulty
学习者议论文写作质量预测模型研究[J]. 现 with a readability formula which is suitable
代外语, 2013 (3): 293-300. for L2 learners. More detailed analysis of text
[26] 范劲松, 金艳. 语言测试的标准研究: 回顾、 difficulty is also identified along eight functional
反思与启迪[J]. 外语界, 2010 (1): 82-91. dimensions (narrativity, syntactic simplicity, word
[27] 辜向东, 李志芳, 张书奎. 大学英语四级考试 concreteness, referential cohesion, deep cohesion,
快速阅读部分内容效度研究 [J]. 西南民族大 verb cohesion, connectivity, and temporality)
学学报 (人文社科版) [J]. 2009 (1): 258-263. through calculation of 53 lexico-grammatical and
[28] 桂林. 基于计算机评估的L1和L2作文词汇水 semantic features. It is found that the reading
平对比研究[J]. 外语教学与研究, 2010 (6): t e x t s o f C E T 6 a r e e a s i e r t h a n TO E F L a n d
445-450. IELTS, and they have significant difference
[29] 桂诗春. 潜伏语义分析的理论及其应用[J]. 现 along four dimensions. CET6 reading texts
代外语, 2003 (1): 76-84. exhibit higher narrativity (topics being more
[30] 江进林. Coh-Metrix工具在外语教学与研究中 familiar and texts more oral) and connectivity
的应用[J]. 中国外语, 2016 (5): 58-65. (more explicit additive connectives, adversative
[31] 金艳, 程李颖. 影响高风险考试效度的心理因 and contrastive connectives, and comparative
素研究[J]. 现代外语, 2013 (1): 62-69. connectives), while lower word concreteness
[32] 金艳, 吴江. 以“内省”法检验CET阅读理解 (words being more abstract) and referential
测试的效度[J]. 外语界, 1998 (2): 47-52. cohesion (less word overlap) than TOEFL and/or
[33] 李绍山. 易读性研究概述[J]. 解放军外国语学 IELTS. The inconsistency along four dimensions
院学报, 2000 (4): 1-5. reveals the complexity of text. The study
[34] 李跃平, 杨廷君. 大学英语四级考试传统阅 concludes that when subject matter is unfamiliar
读试题难度的相关性及趋势研究[J]. 广西师 and difficult, authors tend to write the text with
范大学学报 (哲学社会科学版) [J]. 2013 (6): more implicit cohesive devices to compensate
124-128. for comprehension, and there is a curvilinear
[35] 梁茂成. 学习者书面语语篇连贯性的研究[J]. relationship between word concreteness and
现代外语, 2006 (3): 284-292. word difficulty. The study prepares a relatively
[36] 刘建达. 中国英语等级量表与英语学习[J]. 中 objective descriptive frame of reference for test
国外语, 2017 (6): 4-11. development, reading material grading and text
[37] 闵尚超, 何莲珍. 构建英语听力能力发展性量 selection for students.
表[J]. 中国外语, 2016 (4): 70-77. Keywords: reading texts; difficulty; CET6;
[38] 邢富坤, 程东元. 基于统计语言模型的英语易 TOEFL; IELTS

95