确保标记的一致性和质量

首席考官必须制定流程,以确保在所有科目、模式和教学地点的评分公平一致。除了按照下面的步骤有效和有目的的评估而且建立有效的评分制度和规则,这可透过适量的实践来达到。

“适度”是指调整评核员的评分,使评核准则和表现标准的应用达到一致。(Morgan等人,2004)。适度允许评分者比较他们的判断,并建立对水平或表现和学生成就的共同理解。即使只有一个评分者,也必须遵循质量保证程序,以确保判断和评分的一致性。

以下活动可以保证评分的质量和一致性:

在标记之前

  • 确保开发并提供标记工具和资源给标记者
  • 制定可靠的评估工具(例如,规则)
  • 让阅卷人参与设计作业及阅卷方案或规则,以确保对成绩标准有共同的理解
  • 准备样本答案或过去提交的文件作为校准练习,在开始之前在标记者之间建立共识。
  • 讨论可能有不同解释的标准的含义(例如,“广泛的”或“广泛的”等术语的范围),并更新标记指南或说明
  • 讨论并同意反馈的风格和长度,包括质量和深度
  • 根据专业知识和优势分配标记。将有经验的阅卷员和没有经验的阅卷员“配对”在一起,或者为每个问题分配阅卷员,而不是每次提交的阅卷员
  • 确保程序到位,以尽量减少在标记中出现无意偏差的风险,如双重标记、面板标记或第二次标记。当盲评不可行时,当该单元的主考人参与评核设计时,应实施盲评。

在标记

  • 通过讨论评分标准或规则以及如何解释它来开始评分
  • 在可能的情况下,使用少量的提交或样本进行校准活动
  • 定期参与关于标准和表现的讨论,以确保评分的一致性(例如,边缘分数)
  • 练习自我调节(阅卷人可能会与自己的评分不一致,特别是如果有很多评估要评分,而且要分几次打分。检查已标记的脚本,以确保标记较早和较晚的脚本被类似地处理)
  • 对已确定的二次打标、二次打标、样标、盲标流程进行判断一致性审查
  • 在整个阅卷过程中包括一份或多份“对照”试卷,以便比较不同的阅卷者(盲卷)或“重新校准”理解

后标记

  • 不及格、不及格、困难或有冲突的成绩的双重评分(盲打)
  • 审查边缘评估任务,高分和不及格的论文,以确保成绩反映学术标准
  • 检查成绩和分数,以确定和调查不一致的地方,并对不一致的标记或评估任务做出调整,这些评估任务没有适当地评估单元学习成果或太难。只有当学生在评估任务或部分评估任务中的表现表明该任务没有适当地评估单元学习成果或评估的难度太高时,才能对分数进行缩放-参见评分和反馈程序)
  • 检讨分数,为日后的考核任务及规则提供参考

如总考官认为上述评定成绩的方法不合适(例如荣誉学位论文或类似论文),则可能需要采用其他质素保证方法,以确保评分的一致性:

  • 采用面板评分,以尽量减少主观性,特别是在口头、表现、实际或实验室评估
  • 聘请外部审核员(即教学/评分团队之外的个人)审查评分样本
  • 在作业、课文或由多个部分组成的考试中,指定标记来标记同一个问题