帮你用 ETS 的语言测评规范分析 10 道不对劲的语法单选题
我们考托福、GRE 的出题机构——Educational Testing Service (ETS),人家是怎么出题的?
今天要给大家介绍的,是语法测评领域的单选题的出题规范。这只是语言测评的其中一部分。此外还有大量的有关数据分析,测评框架设计等内容,我们这次不讨论。
本文所有内容来自 哥伦比亚大学教育学院 James E. Purpura 博士(ETS的顾问,外语测评业界鼻祖)课堂教案。教案素材采用于巴塞罗那北美研究机构 Candace Matthews 的研讨会。
大家先不要被下面的一大团字吓到。我已经尽量缩减啦!这段之后会有案例分析~~~~
1. 试题里的每一个版块里的只是都要清晰、简练,越简单越好。
2. 如果学生对试题的类型不熟悉的话,提供一个例子。
3. 试题需要涵盖试题内容规划里提及的知识点。题目的数量应该和知识点的重要程度成正比。换句话说,平时课堂里强调的知识应该出现在试题里,而不是一些顺带提及的细节。(*如果是分班考试 (placement test) 的话,要根据题目难度来排序。先是简单的题目然后是难度更高的题目。涵盖的知识点要包含整个学习项目的内容,而不是某一个具体的知识点。)
4. 不要对一些过时的规范语法 (prescriptive grammar) 进行测试,比如 “with whom did you go?” 和 “who do you go with?”
5. 试题的内容应该考虑到学生的年龄层次(比如大多数青少年不知道租公寓的程序);应该把偏见偏差降到最低。比如,大多数英语学习者对纽约的双层巴士或是地铁文化不熟悉。要避免专题性,比如直升机的零件。试题还应该避免性别偏见,比如把男性或者女性锁定在某些的固定的角色中(比如老师、护士、秘书、图书管理员都是女性,警察、医生、工人等等都是男性;做家务的都是女性;男性自信外向,女性善于服从,等等)。
6. 格式:至少提供四个选项。
7. 不要采用 "以上选项都不对" 或者 "以上全部正确"这类选项,这些题目会引起不必要的混淆。
此处再省略一万字......
我们来分析一些例子
1. 这题想测试的介词 (it, they) 和助动词 (do, have)......
A: Does your computer have a modem?
B: Yes, ______.
a. they have
b. it is
c. it does
d. they do
一道题里不应该测两个语法点。
应该改成下面这样:
A: Does your computer have a modem?
B: Yes, it ______.
a. is
b. has
c. does
d. have
2. 这题又想测试词汇 (love, hate) 又想测试语法:
A: Do you want some more bread?
B: Yes, ______ some.
a. I love
b. I’d love
c. I’ll hate
d. I hate
一道题不应该同时测试词汇和语法。应该改成下面这样:
A: Do you want some more bread?
B: Yes, ______ some.
a. could love
b. would love
c. will love
d. am loving
3. 看看下面这样题为何不科学?
Paolo ____ home now.
a. went
b. goes
c. will go
d. is going
因为答案不止一个!
4.不同于词汇题的是,语法题的四个选项意思应该相同。下面是一个错误示范:
The man ____ to the store yesterday when the tornado struck.
a. is driving
b. runs
c. walked
d. will go
应该调整为:
The man ____ to the store yesterday when the tornado struck.
a. walks
b. walked
c. will walk
d. was walking
5. 接下来是非常重要的一点:错误选项自身不可以 “ungrammatical” (不和文法)。 比如以下:
The man ____ to his 2:00 pm class.
a. didn’t go
b. don’t go
c. didn’t went ***
d. don’t went ***
请看选项 c (“didn’t went”) 和 d (“don’t went”),撇开这道题的题干不说,它们是不可能在任何情况下出现的 (dont’ / didn’t 后面要加动词原型)。这样的选项在语言测评规范中,是无效的。我能想到的原因有几个。第一点,做题者在看到这个选项的时候,不需要题干就可以排除这一项。第二点,这样的负面强化 (reinforcement) 可能会让学生记住错误的结构,以后更困惑。
顺便提一嘴, b 选项在此其实是一个很棒的诱导选项呢。因为虽然放到题干的语境下它是不合时宜的,但单看它本身, “don’t go” 这个结构是存在的 (“Please don’t go,” “I don’t go to parties,” 等等)。
这道题我们可以这么改:
The man has____ to his 2:00 pm class.
a. go
b. goes
c. gone
d. going
6. 这道题的选项有什么问题?
Joan went to school ________ .
a. at 8 in the morning
b. at 8 of the morning
c. at 8 on the morning
d. at 8 at the morning
既然每个选项里都有 “at 8...the morning”,那我们完全可以把它放在题干里,明确考点(在这里也就是介词)。我们应该把题目改成这样:
Joan went to school at 8 _____ the morning.
a. in
b. on
c. of
d. at
我们现在来练练?
第一题
A: What were you doing at 9:00 last night?
B: _______.
a. I’m talking to Maria.
b. I was studying math.
c. We put the children to bed.
d. We eat dinner.
第二题
A: My daughter refuses to eat vegetables. What _______ do?
a. do you think should I
b. do you think I should
c. I should
d. should
第三题
You’re nervous about the game? Well, don’t be ____. I think you’ll win.
a. worried
b. tiring
c. awful
d. exciting
第四题
As soon as he got home, he ____ the light, ____ his coat and poured himself a drink.
a. turned off, put on
b. went on, took out
c. turned up, put down
d. turned on, took off
答案:
我已经看到了两个正确答案。B (put作为过去式) 和C。
跟刚才的情况类似,这题正确答案不止一个。其次,选项中的长度不太均衡。
这道题问题有点多。作为一道语法题,它到底是在考词汇还是语法?A选项跟B\C\D的词语性质不一样,感觉是在考语法,可是又涉及太多词汇的信息。根据上面的出题规范,同一道题不可以同时测试语法和词汇。在缺少语境 (context) 的情况下,这道题质量不高。
大家可能对这类题很熟悉,但在规范的语言测评中,是不会见到这种挖了两个洞的题干的。这种形式的题目对一题测一个知识点的目的干扰很大。
总结一下
素材的撰写者 Candace Matthews 还提到,规范的考试中,四个选项应该纵向排列,因为这样更利于做题者对选项进行对比,从而作出更合理的判断。只是有时候确实为了省纸把他们横向排列了......就好像在以前的考试里,有时候 A 和 B 在第一行,有时候 A 和 C 在第一行吗?总是做着做着题就把 B 和 C 看混了!
渔郎上完这节课,脑子里一直回荡着老师说的:测评不是为了挖坑给学生跳,而是用科学的办法找到学习和教学中可以继续努力的知识点和大方向......觉得感慨。