大学英语四、六级考试每年考生超过一百万,因此只能依靠机器阅卷。
为了保证机器阅卷的精度及正确性,在数据输入阶段还要采取大量质量保证措施。 数据输入阶段结束后即开始数据处理阶段,包括IRT等值处理、作文分调整、考生成绩正态化处理三个步骤。大学英语四、六级考试为了进行等值处理,每次考试前一周要组织对比考试,建立IRT等值处理模型。 在对客观题进行等值处理后,对作文分进行调整。进行作文分调整的目的是滤除阅卷过程中阅卷员评分的主观误差,保证主观题的阅卷信度。这一步骤完成后输出客观题成绩在25分以下而作文成绩在10分以上的异常考生清单,这种客观题得分极低而主观题得分相当高的异常情况说明必然在某一环节上发生了差错。这时首先检查考生的答题纸,再查作文成绩,检查是否登分错误、或阅卷员评分错误、或因为考生填错A、B卷代号而造成错误等等。在以上步骤都确认正确无误后,输出作文分调整模型。 最后进行各种统计,包括全国的、各省市的、各校的成绩统计。作为数据处理的最后一环还要进行试题分析、完成试卷检验报告。 大学英语四、六级考试的作文部分不是自由作文,而是有控制的作文,对考生写什么内容有比较明确的要求,用各种明确的方式如提纲、图表、关键词等加以规定;但提纲常用中文给出,以避免考生将提纲中的文字直接抄录进作文。采用有控制的作文也有利于提高评分的一致性。对作文评分影响最大的是评分过程。同一篇作文,不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就是要保证评分的一致性,包括阅卷员本人的一致性(intra-markerconsistency)、阅卷员之间的一致性(inter-markerconsistency)、和阅卷点之间的一致性(inter-centreconsistency),要采取一定的质量控制措施尽量减少和滤除阅卷员评分的主观性对分数客观性的影响。 作文题的评分通常有两种方法: 一种是综合法(holisticapproach),一种是分析法(analyticapproach)。分析法是把一篇作文分解为若干要点,如内容、结构、文章连贯性(cohesion)、语法、词汇等,不同的要点也可作不同的加权处理,各要点得分的总和即为全篇得分。综合法是凭阅卷员通读一遍的总体印象打分。综合法的优点是能从总体上把握通篇印象,评卷速度比较快。 此外,为了提高阅卷的信度也有采用两读的方法,即每篇作文由两名阅卷员分别独立评分,若分数差两档以上,由第三名阅卷员重判。考虑到大学英语四、六级考试规模太大,不可能进行两读,因此,决定采用综合法和一读的评分方法,然后根据考生的客观题得分进行调整,滤除系统误差。