【重磅:独家深度揭秘】托福口语机器自动评分系统——Speech Rater
10年前,也就是2009年无老师在中国大陆,第1个爆料了ETS开始使用作文自动评分系统e-Rater。
去年无老师全球首爆托福考试严惩作文模板。
前几天无老师又独家爆料了,ETS即将对于现行的托福考试进行改革,很多无花果风声鹤唳,因此无老师又专门发一篇文章,告诉各位无花果,托福大型的改革,通常是提前两年通知,两年后才能正式实行,也就是最早也要在2021年才能正式实行。同时无老师手里,也掌握了2013年ETS进行内部测试的试题,无老师接下来会找时间再提前爆料一下。
前行者是很孤独的,今天,无老师预热一下,先报个大料!托福考试投入使用口语人工智能评分系统Speech Rater!
托福的教研,应该先研究标准,这些托福考试的标准,全都藏在ETS的官方研究论文之中今天咱们就从ETS的官方研究论文当中,深度解读一下ETS的Speech Rater!这些论文是很有价值的,无老师10年前研究e-Rater论文的成果,直到今天对于托福考生也极有指导意义,历久弥新!
10年前的2009年,无老师系统的总结了e-Rater运营机制,今天再来权威的解读一下,托福口语最新的自动人工智能评分系统Speech Rater!
Speech Rater,是在去年2018年第一届中国托福年会首爆,无老师被邀请在本届年会第一排就坐。下面是当时第一手照片。
本次无老师的解读,是有目的性的,是直接帮助各位无花果高度浓缩了ETS的官方论文,取其精华,把论述部分全都扔掉,直接把Speech Rater核心拿分点,直接送到各位无花果的面前,听无老师,得托福口语满分,就这么简单!不是直接给各位无花果,单纯的翻译一下ETS的研究报告,如果那样的话,只需要谷歌翻译就好了。
因此我们可以直接忽略这份报告当中前面的22页,直接从23页最核心的内容讲起。
在下面这张表当中,一共列出了整整20条,会影响最终托福口语分数的核心评分标准。
在这20条当中,ETS将其分为两大类,第一大类是Delivery——表达;第二大类是Language use——语言的使用。估计看这两大类的名字,你想直接撞南墙,具体在说什么根本看不懂。没事,继续往下看你就懂了。
第一大类Delivery——表达,又分为4个层面
1 Fluency——流畅度
2 Pronunciation——发音
3 Prosody——韵律
4 Rhythm——节奏
第二大类是Language use——语言的使用,分为两个层面
1 Grammar——语法
2 Vocabulary——词汇量
其实当各位无花果看到这里的时候,就已经开始有感觉了,相比于刚才的表达和语言使用这两个词,非常显然,流畅度、发音、韵律、节奏以及语法和词汇量,就让各位无花果很容易理解,ETS到底想要点什么了。
随着无老师解读的层层深入,很显然,高潮要来了!
在这份官方的研究报告当中,ETS非常关键的列出了这里面每一个细小的得分点,与最终总分的相关系数,换句话说,这就意味着这里面每一个得分点,到底多大程度上,会影响最终的得分。
右面这一整排系数相加,它们的总和为1,这也就意味着,在这张表格当中已经列出了,所有最终会影响托福口语得分的,每一个影响因素,并且还给出了每一个影响因素的权重。右面给出的权重越高,那么也就会越影响最终的得分,给出的影响权重越低,我说相关系数越低,他们对于最终得分的影响也就越低。
最终在这里,无老师用黄底标出了,所有的影响系数在0.05以上的影响因素,影响因素在0.05以上的,占据了整个表格20项当中的11项,而这里面尤其是第1项Mean silence duration平均沉默时长,影响因素最大,它是所有20项影响因素,当中唯一一项超过的0.1的影响因素,达到了0.119,这就意味着我们在托福口语考试当中,不适当的停顿,其实是最为伤害我们分数的影响因素,而且停顿时间越长,停顿次数越多,就会使我们的分数越底!
位居影响因素第二的Score point with the highest word CVA similarity score。影响因素指数达到了0.99,无老师将这段英语,翻译成各位无花果可以理解的中国话,这段话说的意思就是,你使用的单词的相似性,反过来说也就是,你的单词量越大,进行的同意替换越多,他们的分数也就越高;相反的,如果你总用相同的单词,而不进行同意替换,那么你得到的分数就越低。
位居第三的影响因素Speaking rate in words per second,影响指数达到了0.97。这个影响因素指的是,你的“语速”。也就是在正常情况下,你的语速越高,你得到的分数也就越高,你说话越慢,你最终得到的分数也就越低。但是请注意,这并不意味着,你要像机关枪一样一刻不停的说,而是应该有正常的句内、以及句子之间的停顿。
如上的三条核心影响因素,影响指数相加已经达到了0.315,是最影响我们托福口语得分的3条因素。
当然这个表还很强大,内容还很多,无老师将在明天的文章当中进行进一步解读。