核心观点
- DIF 的识别与预测:本研究使用机器学习方法,通过分析项目内容、心理测量属性和项目背景变量,识别了与项目功能差异(DIF)相关的项目特征。研究结果表明,可用的预测因子能够解释一定比例的 DIF 变异,尤其是在数学部分。
- DIF 与项目属性的关系:研究发现,DIF 与项目难度通常存在负相关关系,即较难的项目对非白人学生更有利,而较简单的项目对白人学生更有利。此外,特定内容主题、族裔和性别代表性、项目位置和关键答案等因素也与 DIF 相关。
- 不同考试部分的 DIF 趋势:在英语部分,涉及习语表达和标点符号的项目对白人学生更有利;涉及主题发展和句子结构的项目对亚裔学生更有利。在数学部分,较难、位置靠前、区分度高、字符数多的项目倾向于对白人学生有利。在阅读部分,涉及文学叙事文本和女性代表性的项目对女学生更有利,而涉及科学内容的段落对男学生更有利。在科学部分,涉及生物学内容的段落对女学生更有利,而涉及物理学内容的段落对男学生更有利。
关键数据
- 样本量:研究数据来自 46 份 ACT 形式测试,包括 113,799 名学生。
- DIF 解释比例:预测变量解释了 Mantel-Haenszel D-DIF 统计量 0%-40% 的变异度,其中数学和英语部分的变异度解释最为显著。
研究结论
- DIF 的潜在原因:DIF 可能由多种因素引起,包括学习机会的差异、课程选择模式、学生特征或行为(如动机、猜测或省略),以及 DIF 方法论或测量模型引起的统计误差。
- DIF 的处理方法:测试开发者可以通过审查标记为 DIF 的项目、调整项目编写和测试构建程序、创建具有“矛盾”特征的项目等方式来减少 DIF 的风险。
- DIF 的意义:DIF 趋势可以作为解决内容领域内系统性差异的指南,并可能反映其他学生特征或行为的系统性差异。