揭秘PTE Academic:John de Jong与Jay谈论考试、任务、评分、阴谋论、口语和公平性
在E2Language,我们致力于揭示英语语言考试的真相。我们不喜欢对如何最好地准备和通过这些考试进行猜测,因为我们理解这些考试对你来说是巨大的障碍。相反,我们想要了解事实。我们相信,凭借准确的信息和良好的教学,参加考试的经历可以变成一次激动人心且令人认可的体验。
最近,Jay有机会与PearsonPTE Academic背后的设计者John H. A. L. De Jong教授*交谈。John de Jong于2006年至2016年在Pearson工作,担任测试开发副总裁和全球标准高级副总裁。在此期间,他开发了Pearson Test of English Academic (PTE Academic)。他无疑是语言测试领域的权威,也许是PTE Academic的权威。
在这次对话中,Jay与John de Jong讨论了Pearson为何最初创建PTE Academic,为何有20种不同的任务,评分之间的相互关系如何运作,系统是否可以被“破解”,口语评分如何进行,以及为何PTE Academic是一种“公平”的英语语言考试:
Jay:您是PTE-A的主要设计者之一。既然IELTS和TOEFL已经非常成熟,市场为什么还需要另一种英语考试?
John:事实上,我是PTE Academic的主要设计者。TOEFL和IELTS都是较早的考试,使用的是过去的技术和语言测试理念。Pearson委托我开发一项新的英语考试,我想创建一个真实语言的测试。传统的题目编写者会围绕语言问题构建一些文本,这些文本不太可能在现实生活中出现,因为它们是为了包含语言问题而写的。对于PTE Academic,题目编写者必须基于真实存在的语言样本来设计问题。文本不是为考试而写,而是被发现的。题目编写者必须提供语言样本的来源。凭借书籍、录音和互联网中大量的语言资源,题目编写者可以找到考生在学习中可能遇到的真实语言样本。文本涉及学术主题,也涉及学生生活。例如,传统语言考试在听力题中使用的是由演员朗读的剧本语言,产生非常不自然的语言,没有口语中的缩略、连读等现象。日常语言使用者说话时常常是断断续续的句子,重复和绕圈表达核心内容。
Jay:我非常喜欢教PTE-A,因为每个任务都专注于不同的英语语言技能。例如——如果我没理解错的话——阅读:填空题侧重于“搭配”,而阅读和写作:填空题则侧重于“词汇选择”。您能谈谈为什么决定设计20种任务吗?
John:我选择使用大量不同的语言任务,是为了最好地反映语言在现实生活中的表现,并从多个角度评估语言能力,从而确保语言能力的多面性得到更好体现。各种题型涵盖了语言的不同方面。题目可以涉及综合技能,也可以专注于单一技能。这种方法也为学生提供了多种展示其英语应对能力的机会,他们不必依赖于解决某一特定语言问题的能力。
Jay:一些PTE-A任务是“相互关联”的。例如,口语:朗读既计入口语分数,也计入阅读分数,而听力:总结口语文本既计入听力分数,也计入写作分数。您为什么决定将这些技能合并?
John:我选择设计所谓的综合题目,即涉及多项技能的题目,以反映现实生活中的语言使用。在使用语言时,人们通常依赖多项技能。例如,在外国城市询问最近的药店位置时,语言使用者必须能够提出问题并且理解回答。在听讲座时,学生必须能够跟上讲述内容并且做笔记,也就是写作。
Jay:遗憾的是,许多网络教师更关注“技巧”和“破解算法”,而不是在考PTE-A之前提升学生的英语能力。英语水平较低的人有可能“欺骗”电脑获得高分吗?
John:在初期阶段,我向学生展示了一些原型题目,他们表示,要在这些题目中表现良好,不能依赖传统的考试训练,而需要真正掌握英语,因此最好的备考方法是阅读报纸和书籍,观看电视。事实上,我相信在PTE Academic上获得高分,更容易通过训练语言使用能力,而不是试图欺骗系统。
Jay:许多学生在口语分数上有特别的困难。您对那些想要提高口语分数的考生有什么建议?
John:我的建议是,录制任何真实生活中的语言样本(电视新闻、说唱歌手的歌曲、广播讨论节目等),并逐句回放。首先确保完全理解,查找不认识的单词;第二或第三次回放时,逐句逐字重复,尽量模仿原文的语速和语调。有时独自练习,有时与朋友或同事一起练习,让他们指出自己与原文的差异。这种方法不仅能“打开”他们的英语听觉,还能帮助他们扩大词汇量。
Jay:许多学生评论说,他们觉得PTE-A比其他英语考试“更公平”,因为它是由电脑评分而非人工评分。PTE-A在评分作文和口语提交方面表现如何?
John:首先,人工评分和机器评分的明显区别在于,人类评分者会有差异,而机器不会。无论是第一次、第二次还是第三次评分,机器都会给同一篇作文或口语回答打出完全相同的分数。但不同的人有不同的评分风格和标准,甚至同一个人在一天开始时和疲劳的晚上评分也会不同。其次,机器评分的质量证据表明,机器评分与经过严格培训和经验丰富的人类评分者的相关性要高于与新手评分者的相关性。
*John H. A. L. De Jong教授拥有莱顿大学的普通语言学、法语和英语语言文学硕士学位,以及特温特大学的教育测量博士学位。他专注于语言能力的实证量表,并推动国际标准化语言能力报告量表的发展。
2000年,John de Jong创立了他的咨询公司LTS (Language Testing Services),提供语言教育和语言测试的培训与咨询服务。他曾与美国加州的Ordinate Corporation、澳大利亚教育研究理事会、欧洲委员会、荷兰教育、文化与科学部、荷兰司法部、世界银行及经济合作与发展组织(OECD)合作,自1998年以来一直是国际学生评估项目(PISA)的技术顾问之一。
自1991年以来,John de Jong还参与了欧洲委员会的项目,致力于定义语言学习、教学和测试的共同框架。他还参与了根据第一语言确定外语学习负担的研究。