Issuu on Google+

Education Research Frontier March 2013, Volume 3, Issue 1, PP.11-16

Design Principle of Cognition-based Reading Ability Assessment Hongrong Wang School of Education and Information Technology, South China Normal University, Guangzhou, 510631, China Email: dujiawang@hotmail.com

Abstract The theory of ―learning in, for, and as Assessment‖ is promoted in educational measurement and evaluation research field in recent years. According to a survey of the literature, this paper introduces two basic reading abilities, namely the basic one and the applied one, to improve understanding of English readings. The basic one is the ability of vocabularies recognizing, retrieving, reasoning, generalizing, and abstracting of the whole materials. Synchronously a verbal efficiency theory is introduced to show the result of the resources the basic reading consumes when talking about readers’ final understanding. It is concluded that the applied reading ability should contain the integration and synthesizing of multi-channel resources, critical thinking, and high-level analyzing. Finally, a new reading experience with the help of today’s information technology is also provided. Keywords: Reading Ability; Cognitive-based Assessment; Reading Ability Assessment

基于认知的阅读能力评估的设计原理 王洪荣 华南师范大学 教育信息技术学院,广东 广州 510631 摘

要:教育测量与评价理论提倡针对学习的评估、促进学习的评估和作为学习的评估。为加深人们对英语阅读理解测

评的认识,研究从阅读教学过程与教学评估相结合的角度出发,通过基本阅读技能与应用型阅读技能两个分类,总结阅 读理解评估的研究成果,认为基本阅读技能由词汇掌握水平、特定词汇检索、推理与概括、材料结构的抽象构成。其中 研究运用“言语效率理论”解释了基本阅读技能所占资源对最终阅读效果产生的影响。接着提出应用型阅读技能由多份 材料的整合与综合、材料批判性思考能力、深层次问题分析能力构成。最后扼要介绍新技术给阅读能力评估带来的启示。 关键词:阅读理解能力;基于认知的评估;阅读能力评估;评估项目的设计

引言 本文研究目的,主要是希望加深人们对英语阅读理解能力测评的认识。阅读理解能力的培养是基础教育 领域新课程标准的核心目标之一。在阅读理解技能测验的发展过程中,国内外学者做出大量研究工作。学者 从文本结构与答题形式出发运用巴赫曼语言能力考核框架,发现阅读理解测试的好坏,与参与者的语言水平、 文本类型和答题形式存在关联[1];计算机推理模型可让计算机自动抽取阅读题答案[2];从二语习得的角度看, 学者建议教师利用互动、篇章强化输入和以词汇为中心的教学活动促进对学生的阅读理解和词汇习得[3]。综 上,文本类型、答题形式、知识表征与逻辑推理、词汇等内容构成影响阅读理解能力考核的影响因素。 另一方面认知心理学与测验技术的融合发展中,出现了“基于认知的,针对、促进和作为学习的评估” (CBAL, Cognitively Based Assessment of, for, and as Learning)一说,提倡将评估活动融入到教与学过程的各个 环节。研究运用 CBAL 的基本原理,阐述 CBAL 阅读理解模型所需的研究基础和七个重要的测验编制原则, 最后做出简要总结。 - 11 www.erfrontier.org


1 设计基于认知的阅读能力测验的七项原理 Bennett 和 Gitomer[4]提出“针对学习、为了学习和作为学习的基于认知的评估”一说,简称 CBAL 评估框 架。CBAL 评估框架起源于“兰德阅读理解项目调研报告”(Reading for Understanding Toward an R&D Program in Reading Comprehension) (RRSG, 2002)[5]。RRSG 的调研报告认为,英语阅读理解的三项基本要素是“读者、 阅读材料和阅读活动”。读者因素包括读者主体的认知过程、技能、策略,和读者理解阅读材料所需的背景 知识;阅读材料因素包括影响英文阅读材料理解难易的语言或内容特征;阅读活动因素包括阅读目的、目标、 阅读任务和其他影响阅读成效的因素。 CBAL 阅读能力评估框架,则在英语阅读理解影响因素(读者、阅读材料和阅读活动)的基础上扩展出 七项原则,本节介绍对这七项原则分别其概念、原理和研究成果。CBAL 阅读能力评估框架为寻找被试对知 识掌握或目标技能的掌握提供了合理可信的证据。

1.1

树立真实情境下的英语阅读理解目的 英语阅读理解活动中,读者的目标决定了对阅读材料主次轻重的注意力分配。不同阅读目的必定导致不

同文本处理过程和不同阅读策略。例如,对迎考的读者就比为了娱乐的读者更注重对阅读材料的推理,更倾 向于思考与推理文本之间的内在联系。 因此在设计英语阅读理解能力的考试时,在结合真实情境,或者现实生活体验的基础上,可以考虑从三 个维度出发: (1) 要求读者对阅读材料提供的观点提供大概的判断理由(例如,决定是否将风能作为本地区能源之一) ; (2) 要求读者总结阅读材料所述观点的影响因素(例如,考虑本地区风向与级数对能源的影响) ; (3) 要求读者创建阅读材料所述主题的最终成果(例如,创建一个本地区风能为主题的网站,阐述本地 区建设风力发电场的利与弊,或提交一份本地区建设风力发电场的解决方案) 。

1.2

测量是否掌握基本阅读技巧 词汇记忆必然让阅读过程变得更流畅和更自动化。为何低层次的阅读技能,像词汇记忆和编码,对阅读

理解如此重要?Perfetti 的“言语效率理论”(Verbal efficiency theory)

[6]

认为:读者为施展某种复杂技能,需

要自己能自动处理一些基本过程,将脑力资源让位于更多高水平的处理过程。若缺乏基本技能,则会挤占高 水平处理过程的资源空间。作为言语效率理论的扩展,Perfetti 和 Hart(2002)给出“词汇质量假说”(Lexical quality hypothesis, LQH) [7]。该假说认为,词汇表征的质量取决于三个维度:拼写,发音和语义。这三个维度 缺一不可,否则词汇表征整体效果受到牵连,如词汇辨认的准确性和效率等。 具体说来,根据“词汇质量假说” ,区分阅读技能掌握是否娴熟,还要看读者运用高质量词汇表征的频 次。娴熟的读者在检索词汇时更有效率和更准确,因为他们大部分词汇的自动化表征都早已完成,这是引导 他们快速有效进行拼写、发音和语义理解的原因。一旦词汇记忆与编码成为自动化,它将释放资源给更高水 平的信息处理,如推理。亦即,快速有效的单词鉴别能力成为文本理解的基础;除单词记忆与编码之外,也 有针对流畅度的研究。近来对文本阅读流畅度的考核,多是从阅读速度和准确程度的角度,实施标准化的阅 读理解测验的,如大学英语四六级限时测验的阅读理解部分或 NAEP 测验[8]。 综上,基本阅读理解技巧有:熟悉词汇的自动处理,陌生单词的解码,文本阅读流畅度。例如,在词汇 要求不高的阅读理解测验中,通过限制时间考查学生对熟悉词汇的自动处理;要求学生朗读较难发音的陌生 词汇,可以测知学生对偏旁部首、音节等语素的掌握情况。这些能很好为诊断性或过程性英语阅读理解的试 题命制服务。

1.3

测量语段建模能力 语段建模能力包括四个影响因素:(1)词汇掌握水平;(2)推理与概括;(3)判断、搜寻和检索;(4)材料结 - 12 www.erfrontier.org


构的抽象。 (1) 词汇掌握水平。词汇成为影响不同阅读体验一个显著因素,它构成了阅读理解的重要组成部分。Nagy 和 Scott(2000) [9]认为人们阅读理解的准确度依赖于文本中已经认识的 90%至 95%的词汇。当然,研究也表明 通过词汇的教学干预(例如英语词汇的集中突破) ,可以直接提升阅读理解测验的成绩[10]。 (2) 推理与概括。阅读材料的推理与概括能力是衡量英语阅读理解水平的指标之一。因为作者行文之时 不会花大量篇幅刻意去描述概念间的关系,特别表现在指示代词的推断上。一方面,理解水平高的读者更多 的是运用推理来弥补概念认识不足,而理解水平低的读者倾向于忽略这一概念认识鸿沟,或者不注意运用推 理来进行弥补不足,结果他们在诸如辨析先行词及其指示代词的情境当中遇到更多的障碍[11];另一方面,推 理的难处更体现在整体或全局思考的能力。阅读能力较低的读者在串联多个互为联系的主题上存在障碍[12], 或较难进行信息整合与文章主旨的分析。同样,通过相应的教学干预或培训,是促进理解的有效方法。 (3) 判断,搜寻和检索重要的字面信息。材料信息推理技能是阅读能力的重要一面,但也不可忽视最基 本的理解要素:字面理解能力。概念、原理、时间、日期、姓名、地点和任务等这一类显性的材料信息,无 需进行推理即可得到,在测验中学生通过回读,直接将字面理解能力转变成检索信息能力。毫无疑问,高水 平读者的信息检索要比其他人更加高效和准确。他们不是依靠字面的整体空间感觉,或者能记住个别单词的 特定空间位置,而是说,他们与其他人相比,更倾向于记住特定词汇所在语段的在全文中的前后逻辑关系。 (4) 材料结构的抽象——断句、概括和组织能力。测量词汇、推理和字面理解技能很重要,但测量被试 抽象阅读材料结构的能力同样重要。托福(Test of English as a Foreign LanguageTM, TOFEL)阅读理解测验所考 查的概述题,只要求学生从文章主旨选项列表中找到正确答案,其中错误的那一类选项可能细节处理正确但 全文概括有误,或者直接表述不正确推理。 也有研究发现,学生的概括能力经常受到文章开头的影响。在学生提交的概括材料中,一般都会涵盖所 读材料的开头,而较少涉及文章主体[13],但这仅适用于论点或思路“开门见山”的那些材料,信息更隐蔽的 阅读材料则需要利用文章结构、概念图来感知。高水平的读者常利用章节结构来促进理解和记忆,但低水平 的读者不常这么做[14],这启发命题人可以利用文章结构和图形表征来进行测评。 当前学科教学和研究领域,图形表征又称“图形组织者”、“概念地图”、“知识地图” ,研究发现图形表 征可改善记忆、理解和概念获取,帮助改善有效定位信息的能力[15]。它可能是一幅图像、图表、表格或图解, 结构可能是层级的、序列的、因果的和逻辑的。与概述不同的是,图形表征较少运用文字描述,更关注如何 用图形表达要义、重要观点及其关联,让论述结构表征变得更省力。

1.4

测量多个材料的信息整合与综合能力 当今世界很少有观点是可从单一阅读材料就得以总结的。互联网上的信息,其撰写目的各有不同,质量

各有优劣。为此,Perfetti, Rouet 和 Britt(1999)提出文档模型[16],以探讨信息整合与综合能力。该文档模型描 述了读者对如下信息的理解:(1) 每个单独阅读材料的信息;(2) 各阅读材料如何相关联;(3) 如何将各个文 本串连起来加以整合或综合。 然而 Wiley 与 Voss(1996)[17]发现,当要求学生解释某个历史事件的成因,而不是停留在简单描述的水平 时,学生才会倾向于从多个材料进行信息整合。教师有义务纠正学生不愿主动锻炼这一阅读能力。例如,对 于 3-6 年级的儿童,教师若给予恰当的情境与教学引导,他们都能学会用多种方式从多个渠道获取信息[18]。 所以我们认为,在部署有意义和适合其年龄层次的学习任务时,多注意培养其多渠道信息获取能力,对学生 今后发展大有裨益。 首先,阅读材料本身的撰写质量构成影响阅读效果的因素之一。例如在阅读能力测验中,需要权衡阅读 试题数目(各自有着清晰的行文结构)与考试时间的矛盾。若刻意压缩文本,会影响其行文结构的清晰表述, 不利于读者的理解。数量上,一次阅读理解测验取四段材料可能较为适宜,超出四段可能会因为文本被压缩 过短,而导致缺乏清晰的文章脉络。 - 13 www.erfrontier.org


其次,阅读材料间的关联构成影响阅读效果的因素之二。应注意到不同阅读材料是由不同作者从不同角 度撰写的。若测验所选的材料间过度相似,实则与单个材料无异,会干扰最终读者的信息整合;而各阅读材 料关联度不高的阅读活动,或许可以帮助班级学生自由发挥想象,形成不同的兴趣小组。 最后,多个材料的整合与综合也可影响阅读效果。多个材料的整合与综合情形,一种是整体上将多个材 料概括为一个论点;另一种是遴选其中某个或几个材料,探讨特定主题。前者要求读者把握全局,后者要求 读者根据试题需要或特定目的需要从中选取多个阅读材料,不需要把握全局。 总而言之,英语阅读理解测验的设计,提倡运用多段阅读材料来考查学生的多渠道信息获取能力。

1.5

测量批判性思考能力 随着互联网等技术的发展,人们指尖流淌的信息可谓参差不齐,很多信息有可能是不准确不可靠的,所

以今天人们更需要批判性思维进行阅读。Metzger 提出衡量信息质量的五项指标[19]:准确性、权威性、客观 性、新颖性和全面性。但 Metzger 的信息质量评价没有考虑到读者的需要。因此人们建议在此基础上增加“相 关性”这个维度,考查当前材料是否符合读者需要,对解答当前问题是否重要[20]。然而事实上,学生经常不 带批判性思维去阅读[21],或者不注意信息的准确性[22],不注意信息的全面性,对信息质量的评价停留在表层, 比如网站的设计和呈现风格[23]等等。但是这是可以纠正的,教师应看到,加强训练学生的批判性思维技能对 学习是有帮助的。 总之,设计与编制阅读测验题可以从:准确性、权威性、客观性、新颖性、全面性和后面补充的相关性 六个维度出发,考查学生的信息评价能力或批判性思维。

1.6

测量深层次问题思考能力 材料深层次理解,或自我解释的过程,是读者通过弥补遗漏信息、串联不同观点,针对现有知识进行整

合,检测与纠正等,建构起有关阅读材料含义的有效行为过程[24]。 培养深层次问题思考能力可作为教学干预的努力方向。研究发现,高阅读水平的学生比低阅读水平学生, 在阅读材料解释的质量和复杂度上更胜一筹;同时,自我解释的教学干预,对低水平学生的帮助要高过对高 水平学生的帮助;而在自我解释的表现形式上,不提倡采用写作的方式。首先,写作要耗费更多时间,在阅 读理解测验中要求学生用写作的方式来解释材料不太合适;第二,写作的评阅需要投入大量的人力,包括对 阅卷者的培训等。虽然自我解释活动的评分机制实现了部分计算机自动化处理,但其阅卷的准确程度却尚未 能满足高风险测验的需求[25]。 对此一个解决办法是精心设计试题,让试题的解答更为简短,格式更符合阅卷的需要。例如采用如下试 题样式,以激发学生深层次思考:为何 X 发生?什么导致 X?X 如何发生的?假设如此与假设不如此会产生 怎样的情况?X 与 Y 如何相比较?X 成立的证据何在?X 为什么重要?(X 与 Y 指代阅读材料中的某个事实 或论点)

1.7

新技术发展 当前,许多阅读理解测验均借助传统打印材料,如摘选小说、课本、报纸、杂志等实施。但是,在新的

信息时代,创新科技在改善人们的阅读体验。这些新科技包括但不限于电子书、网络书城、博客、微博等。 其中以轻博客或微博客为主要产品形态的信息碎片化应用正极大影响国人的阅读体验。如,微博用户数量以 高达 208.9%的增幅,从 2010 年底的 6311 万爆发增长到 1.95 亿,成为用户增长最快的互联网应用模式[26]。 为了适应这一改变,学科教育和研究人员,应考虑如何将 CBAL 评估框架在传统打印材料评估的优势迁移到 新的媒体中。

2 总结与结论 本文从领域认知建模的角度,介绍了阅读理解测评中的一种新方式,称之为“基于认知的,针对、为了 - 14 www.erfrontier.org


和作为学习的测评”(CBAL)。 研究首先探讨阅读目的对最终效果的影响,认为应用型阅读理解可能超越了一般阅读理解研究的范畴, 因为它又将批判性思考、批判性推理、决策和问题解决等囊括于其中。研究逐项分析了:多份阅读材料的整 合与综合、批判性思考和信息质量的评价、促成材料深层次理解所需的解释与段落的划分、语段建模和基本 阅读技能。 其中,语段建模技能是抽取材料基本含义或主旨所需技能的集合,这个集合又可进一步分解为四项内容: 理解字面意思并检索特定字眼位置,理解关键词汇,材料推理,和厘清文章结构层次。为丰富阅读材料的章 节结构和写作思路表征,研究又补充概念图的模式;而在基本阅读技能的探讨上,研究运用“言语效率理论”, 认为在高水平读者看来,基本技能很少需要引起他们的特别注意,所占资源较少,结果他们可以将更多的心 思放在高水平技能的应用上;另一方面,低水平阅读者,其低水平阅读技能并不是自动处理的,占据一定的 信息处理资源,致使高水平技能所需资源不足。所以研究针对基本阅读技能给出三种类型的测量维度:熟悉 词汇的记忆检索,陌生词汇的解码,和文本阅读是否流畅。现阶段基本阅读技能主要依靠纸质文本,强调根 据文本字面意思进行阅读。这不同于要求稍高的语段建模等应用型阅读技能,后者超越了阅读材料理解范畴, 提升到信息的批判性处理和评价的高度。 总之,应用型模型建构与基本阅读技能一起,共同定义了复杂的阅读活动。测量这两项建构水平的测评 活动,为阅读能力培养,或掌握 21 世纪必备技能,起到了强大的支撑作用。

REFERENCES [1] 陈洁倩, 阅读理解的文本类型和答题形式对外语水平的效力[D]. 上海: 上海外国语大学英语语言文学学院, 2006 [2] 张志辉, 基于逻辑表示和推理的阅读理解答案抽取[D]. 哈尔滨: 哈尔滨工业大学计算机科学与技术学院, 2008 [3] 韩晓惠, 可理解输入影响第二语言阅读理解和附带词汇习得之实证研究[D]. 上海: 上海外国语大学英语语言文学学院, 2010 [4] Bennett, R. E., & Gitomer, D. H. Transforming K–12 assessment. In C. Wyatt-Smith & J. Cumming [M]. Educational assessment in the 21st century. New York: Springer. (in press) [5] Rand Reading Study Group. Reading for understanding: Toward an R&D program in reading comprehension [J]. Santa Monica, CA: Author. 2002 [6] Perfetti, C. A. Reading ability [M]. New York: Oxford University Press. 1985 [7] Perfetti, C. A., & Hart, L. The lexical quality hypothesis. In L. Verhoeven, C. Elbro, & P. Reitsma [M]. Precursors of functional literacy. Philadelphia: John Benjamins. 2002: 189-213 [8] Daane, M.C., Campbell, J. R., Grigg, W. S., Goodman, M. J., & Oranje, A. Fourth-grades students reading aloud: NAEP 2002 special study of oral reading (No. NCES 2006- 469) [R]. Washington, DC: Government Printing Office. 2005 [9] Nagy, W., & Scott, J. Vocabulary process. In M. Kamil, P. B. Mosenthal, P. D. Pearson, & R. Barr [M]. Handbook of reading research: Vol. III. Mahwah, NJ: Lawrence Erlbaum Associates. 2000: 269-284 [10] Stahl, S. A., & Fairbanks, M. M. The effects of vocabulary instruction: A model-based meta-analysis. Review of Educational Research [J]. 1986, (56): 72-110 [11] Yuill, N., & Oakhill, J. Understanding of anaphoric relations in skilled and less skilled comprehenders [J]. British Journal of Psychology, 1988, (79): 173-186 [12] Lorch, R. F., Jr., Lorch, E. P., & Morgan, A. M. Task effects and individual differences in on-line processing of the topic structure of a text. Discourse Processes [J]. 1987, (10): 63-80 [13] Lorch, R., Pugzles-Lorch, E., Ritchey, K., McGovern, L., & Coleman, D. Contemporary-Educational-Psychology [J]. 2001, (26): 171-191 [14] Meyer, B. J. F., Brandt, D. M., & Bluth, G. J. Use of top-level structure in text: Key for reading comprehension of ninth-grade students. Reading Research Quarterly [J]. 1980, (16): 72-103 [15] Vitale, M., & Romance, N. A knowledge-based framework for unifying content-area reading comprehension and reading - 15 www.erfrontier.org


comprehension strategies. In D. S. McNamara [M]. Reading comprehension strategies: Theory, interventions, and technologies. Mahwah, NJ: Lawrence Erlbaum Associates. 2007: 73-104 [16] Perfetti, C. A., Rouet, J., & Britt, M. A. Toward a theory of document representation. In H. van Oostendorp & S. R. Goldman [M]. The construction of mental representations during reading. Mahwah, NJ: Lawrence Erlbaum Associates. 1999: 99-122 [17] Wiley, J., & Voss, J. The effects of playing historian on learning in history. Applied Cognitive Psychology [J]. 1996, (10): 63-72 [18] Brown, A., & Campione, J. C. Psychological theory and the design of innovative learning assessments: On procudures, principles, and systems. In L. Schauble & R. Glaser [M]. Innovations in learning: New environments for education. Mahwah, NJ: Lawrence Erlbaum Associates. 1996: 289-325 [19] Metzger, M. J. Making sense of credibility on the Web: Models for evaluating online information and recommendations for future research. Journal of the American Society for Information Science and Technology [J]. 2007, 58(13): 2078-2091 [20] Graesser, A. C., Wiley, J., Goldman, S., O’Reilly, T., Jeon, M., & McDaniel, B. SEEK Web tutor: Fostering a critical stance while exploring the causes of volcanic eruption. Metacognition and Learning [J]. 2007, (2): 89-105 [21] Brem, S. K., Russell, J., & Weems, L. Science on the Web: Student evaluations of scientific arguments. Discourse process [J]. 2001, (32): 191-213 [22] Flanagin, A. J., & Metzger, M. J. Perceptions of Internet information credibility. Journalism & Mass Communication Quarterly [J]. 2000, 77(3): 515-540 [23] Scholz-Crane, A. Evaluating the future: A preliminary study of the process of how undergraduate students evaluate Web sources. Reference Services Review [J]. 1998, (26): 53-60 [24] Roy, M., & Chi, M. The self-explanation principle in multi-media learning. In R. E. Mayer [M]. Cambridge handbook of multimedia learning. Cambridge, New York: Cambridge University Press. 2005, 271-286 [25] Ozuru, Y., Best, R., & McNamara, D. S. Contribution of reading skill to learning from expository texts. In K. Forbus, D. Gentner, & T. Regier [M]. Proceedings of the 26th annual meeting of the Cognitive Science Society. Mahwah, NJ: Lawrence Erlbaum Associates. 2004, 1071-1076 [26] CNNIC 中国互联网络信息中心. 第 28 次中国互联网络发展状况统计报告[R/OL]. 2011-7-22, http://www.cnnic.net.cn/research/bgxz/tjbg/201107/t20110719_22120.html

【作者简介】 王洪荣(1987-),男,汉族,硕士,研究方向:计算机网络及其教育应用,学习经历:2005-2009 湖南科 技学院教育技术学学士,2009-2012 华南师范大学教育技术学硕士。 Email: dujiawang@hotmail.com

- 16 www.erfrontier.org


Designing Philosophy of Cognitive-Based Reading Ability Assessment