认知诊断测验能够通过报告细粒度的学生知识掌握模式来提供有效的形成性诊断反馈。而计算机化自适应测验能够为受测者提供“量体裁衣”式的测试。将两者结合形成的认知诊断自适应测验(Computerized Adaptive Testing with Cognitive Diagnosis, CD-CAT)根据每个学生的知识掌握模式量身定制能够提供尽可能大信息量的测验,实现对学生认知优势与弱点更加精确的测量,CD-CAT是一种能够同时满足教学改进和可计量性需要的下一代测验。而在中国,根据国家英语课程标准,义务教育阶段学生的英语水平被分为6个等级,其中6年级学生英语水平应达到等级2。为此,Hong-Yun Liu、Xiao-Feng You、Wen-Yi Wang、Shu-Liang Ding和Hua-Hua Zhang在”The Development of Computerized Adaptive Testing with Cognitive Diagnosis for an English Achievement Test in China”一文中开发了针对等级2英语的CD-CAT系统,以此来帮助学生达到课程标准要求,同时协作教师更有效教学。文章介绍了CD-CAT系统的主要组成部分和开发过程,并通过模拟研究和现场测试来验证测验的效度。
1、认知属性界定与Q矩阵构建
认知属性概念类似于知识点。研究首先邀请11位内容专家对等级2英语考察的属性进行界定,提取出共8个认知属性,且这些属性间相互独立。根据属性和属性间关系推断出题目对属性的所有可能考察模式,即测验的设计蓝图。基于属性内容与设计蓝图,11名内容专家编写出共400道单选题,内容包括听力理解、语法词汇、阅读理解三类。
之后8名6年级学生采用出声思维法来试测这些题目,每个学生需要边作答边报告他们使用的技巧策略以及原因。研究者和内容专家对学生报告内容进行分析后,对之前界定的认知属性进行了相应的调整。最终界定的认知属性名称和说明如表1所示。
表1 等级2英语认知属性名称与说明
Index |
Name of attribute |
Specification |
A1 |
Reorganization of words |
Students can recognize words and phases. |
A2 |
Understanding of words |
Students can understand meanings of words and phases and can use in their context. |
A3 |
Understanding of grammar |
Students can recognize grammar knowledge in the relative context, and can correctly judge and select. |
A4 |
Obtaining direct information after listening |
Students can understand sentence they listened; Students can understand simple dialogs they listened by supporting with short words, accurately capture particular information directly given by the dialogs. |
A5 |
Responding after listening to the communication language |
Students can understand the communication language they listened and response accurately. |
A6 |
Obtaining indirect information after listening |
Students can listen to dialogs and discourses and understand the content listened by simply judgment and inference etc. |
A7 |
Obtaining direct information by reading |
Students can understand simple stories and short passages they read, and find out particular information directly described in the stories and short passages. |
A8 |
Obtaining indirect information by reading |
Students can understand simple stories and short passages they read, and analyze the information which are not directly given in the short passages and stories by judgment and inference etc. |
Q矩阵反映了题库中各题目对各属性的考察情况,鉴于研究中的题目是依据设计蓝图编制,因此Q矩阵自然而然生成。之后6名英语教师对Q矩阵的合理性进行了评估,根据教师意见修正Q矩阵或删减题目。
最后对38600名学生进行前测,根据作答数据和三参数逻辑斯蒂克模型(3PLM)估计各题目难度。并建立题目难度对题目各认知属性考察情况的回归,结果表明是否考察各认知属性高度影响题目难度(R2=0.455),侧面验证了Q矩阵的合理性。
2、认知诊断模型
CD-CAT的选题、属性掌握模式估计依赖于具体的认知诊断模型。该研究采用DINA模型,DINA模型参数的估计和解释比较简便,因而被应用于CD-CAT系统。模型的公式化表达见文章。
3、题库与题目参数估计
出于等值目的,400个题目被分成13个题册。其中一个题册作为中心锚题册,共包含40道锚题;其他12个题册则分别由30道新题和10道锚题构成。共78所学校的38600名学生参与了前测,每所学校都有30名学生分配到锚题册,剩余学生被随机分配到另12个题册。根据被试作答、相应的等值方法估计题目的3PLM、DINA模型参数。
4、选题策略
选题策略是CD-CAT最重要的组成部分。在该研究中,CD-CAT初始阶段会首先随机从题库中选取8道题目施测,且要求这8道题目分别考察了1个认知属性。在学生完成前8道题目后,测验开始进行自适应,研究采用的自适应选题策略为香农熵 (ShannonEntropy, SHE),香农熵反映了一个随机变量的不确定性,CD-CAT计算题库中所有未执行题目的香农熵,并选择香农熵最小的题目为下一个题目执行。
5、学生属性掌握模式的估计
研究采用最大后验估计方法(Maximum a PosteriorEstimation, MAP)估计学生对各属性掌握的情况,当学生属性掌握模式的先验分布假设为均匀分布时,MAP等同于极大似然估计(Maximum LikelihoodEstimation, MLE)。
6、CD-CAT传递系统
研究中的CD-CAT传递系统采用尖端B/S架构,这种方式经济实惠,学校和地区可以利用已有的计算机设备和网络设备,通过浏览器访问CD-CAT系统。
文章通过蒙特卡洛模拟研究来验证CD-CAT功能的有效性。实验条件包括是否有内容限制、测验长度(20题、30题、36题)、估计方法(A方法、LL方法、MLE方法)。结果表明其他条件固定时,测验长度36时,对学生属性掌握模式的估计最精确,测验信息量也最高。所有估计方法中,MLE方法(等同于MAP方法)估计精度最高。而内容限制的引入不会牺牲估计的效率。
鉴于模拟研究结果,真实测试的CD-CAT长度固定为36,使用MLE方法估计学生属性掌握模式,通过有内容限制的SHE方法选题。来自北京8所学校的584名5、6年级学生参加了CD-CAT现场测试。
认知诊断结果表明,所有属性都有超过60%的学生掌握,37.16%的学生掌握了所有8个认知属性,56%的学生掌握了7个以上的认知属性。结果说明大多数学生都达到了等级二英语要求的最低达标水平。
研究将其中90名学生的CD-CAT诊断结果与他们先前学业成就测试结果进行比较,来验证CD-CAT的效度。学业成就测试并不报告总分,而是将学生分为优秀、良好、及格、不及格。研究通过对应分析来分析CD-CAT结果和学业成就测试结果的关系。结果表明卡方等于88.287(df=24,P<0.001),CD-CAT结果和学业成就测试结果存在高度一致性。具体而言,在学业成就测试中评定为优秀的学生倾向于掌握7-8个认知属性,评定为良好的学生倾向于掌握了4-6个认知属性,而不及格的学生往往只掌握了0-3个属性。
Liu H Y, You X F, Wang W Y, et al. The Development of Computerized Adaptive Testing with Cognitive Diagnosis for an English Achievement Test in China[J]. Journal of Classification, 2013, 30(2).
此篇文章系统全面地介绍了CD-CAT的开发过程,很多技术细节值得CD-CAT开发者留意,如认知属性界定应先于具体题目编制、CD-CAT初始阶段选题应采用T阵法等。由文章可发现,CD-CAT开发最复杂的部分在于题目认知属性(即Q矩阵)的标定,只有对题目认知属性的标定是准确的,才能保证最后诊断结果的有效性。但事实上,对题目认知属性的标定是十分困难和复杂的,这也成为阻碍认知诊断测验广泛应用的重要因素。在这篇文章里,研究者通过出声思维法、专家意见、前测数据验证等方法来对题目认知属性进行标定,这也是传统的Q矩阵标定方法。但在有作答数据以及部分题目认知属性已标定的情况下,有研究者尝试通过参数或非参数的方法利用作答数据来对Q矩阵进行估计,也有研究者尝试通过机器学习的方式利用题目文本信息来对Q矩阵进行估计,这些方法也许能够更加方便的标定题目认知属性。
-END-
北京大学中国教育财政科学研究所
第一所专门致力于教育财政研究的学术机构
CIEFR-PKU
欢迎访问北京大学中国教育财政科学研究所(CIEFR)官方微信号“中国教育财政”,欢迎读者转发、传播本公号刊载文章。现就本公号版权事宜说明如下:
标记为“原创”或者来源为“CIEFR”的文章版权归本所所有,仅允许全文转载,且须注明来源、作者和原文链接,不得删改文章标题和内容,不得删除本公众号名称和二维码。禁止未经授权的其他形式转载。
如需转载原创以外的其他文章,请直接联系版权所有人。如对本公众号所发布文章版权有异议,请随时联系我们(editor@ciefr.pku.edu.cn )。