科研简报
“认知诊断的理论发展及实践经验”分论坛综述
作者:李贵玉 发布时间:2019-04-16
摘要:

在分论坛上,与会专家对认知诊断的形成历史、概念、实现技术与方法进行了详细的介绍,并就如何应用认知诊断理论开展教育测评实践进行了深入的交流与讨论。

  近年来,越来越多的学者和实践者倡导用评价结果促进学习。认知诊断可以通过分析考试数据,提供学生知识结构、认知过程等方面的评估,因此受到了越来越多的关注。

  2018年11月24-25日,由北京大学中国教育财政科学研究所和中国教育发展战略学会教育财政专业委员会主办、南京师范大学江苏省教育财政科学研究所和南京师范大学教师教育学院承办的“第四届中国教育财政学术研讨会暨2018年中国教育发展战略学会教育财政专业委员会年会”在南京师范大学举行。“认知诊断在测评中的应用”分论坛于12月25日上午举行。本论坛由北京大学中国教育财政科学研究所测评中心主任黄晓婷副研究员担任主席。论坛特邀请相关领域的研究者就如何应用认知诊断理论开展教育测评实践进行了深入的交流与讨论。

  一、认知诊断评估的概念、技术与方法

  江西师范大学涂冬波教授对认知诊断的形成历史、概念、实现技术与方法进行了详细的介绍。涂教授首先梳理了教育测量理论的几个重要发展阶段,主要包括经典测量理论、概化理论、项目反应理论三阶段。而认知诊断作为新一代教育与心理测量理论,是在项目反应理论的基础上发展起来的。

  认知诊断理论主要被用于评估学生的知识、技能、加工策略、认知过程等微观的认知属性,目的是了解学生对相关认知属性的掌握情况,从而为因材施教及自适应学习提供基础。相较于传统测量理论只提供宏观分数,认知诊断关注微观的学生知识状态,能够对学生的认知发展状态、知识结构进行实时诊断评估。例如,同样是50分的得分,两个学生的知识结构、学习路径可能并不相同,相应的教学方式也应是不同的。认知诊断从微观角度来刻画学生的具体知识状态,其在教育测验中的应用可以详细地提供学生的知识掌握情况、解题的认知加工过程等信息,从而帮助教师更有针对性的对学生进行补救教学和因材施教。

  涂教授进一步指出,认知诊断评估的开展,离不开认知诊断模型。随后,涂教授介绍了常用的认知诊断模型及其性质,指出具体研究中的模型选择应结合相应的测验结构和数据特征。

  最后,涂教授还介绍了自适应认知诊断测评的相关概念及应用。自适应认知诊断测评即根据学生自身的学习状态与学习特点,为其提供相匹配的学习材料,而不是传统的“千人一卷”的学习与测评模式。目前教育领域自适应测评实践主要集中在小学数学、物理、英语等学科,进一步的自适应学习系统的开发是未来值得探讨的方向。

  二、认知诊断的应用与发展

  浙江师范大学的李菲茗教授介绍了认知诊断测评在医学诊断考试中的应用。该测试依托计算机交互系统,主要目的是测评医学生诊断过程的效率和结果的准确性。在测试过程中,计算机记录考生的探究过程,形成过程性数据,随后系统通过对过程性数据的分析,为考生提供详细的认知诊断报告。具体来说,该系统采用了序列分析的方法对过程性数据进行分析。李教授还指出,未来研究可以基于聚类分析和滞后序列分析法,进一步探究不同的诊断路径之间的特征。最后,李教授指出了在线教育测评可能的实现路径,即首先明确测量目标,随后须依据测量目标确定其认知成分,再找到与该认知成分相关联的行为,收集相应的行为数据,最后通过对行为数据的分析,来推导个体的认知过程、区分个体差异。虽然李教授分享的研究基于医学考试,但是其测评原理与其他教育领域的测评相似,可以为在线诊断性测评提供借鉴。

  浙江师范大学詹沛达博士提出未来应该进一步发展纵向认知诊断模型测评。他指出,传统的认知诊断模型较适用于横断数据,但是准确客观地刻画学生的学习状态及认知发展规律,正是教育测评未来需要回答的问题。他分享了采用纵向分析的方法,对学生进行追踪的研究成果。纵向认知诊断模型兼顾群体水平变量和个体水平变量,尤其是Long-DINA模型可以实现对纵向测评数据的分析,更适用于学习性及发展性的教育测评。

  北京大学中国教育财政科学研究所科研助理李贵玉分享了多维项目反应模型与认知诊断模型中被试参数估计的一致性研究。多维项目反应理论和认知诊断理论都是用来分析同一个测试中学生的多种能力特征的,两者的主要差异在于学生能力的呈现方式。多维项目反应理论使用连续变量来描述学生的能力,而多维项目反应理论使用二维分类变量来描述学生的能力。为探讨两者在学生能力即“被试参数”估计上的关系,该研究分别使用多维的非补偿项目反应理论模型、DINA模型和PINC模型来估计同一批学生作答数据。模拟研究和实证研究的结果皆表明,虽然这三个模型的理论基础不同,但是对同一批学生能力的估计值具有极高的相关性,尤其是基于多维的非补偿项目反应理论模型和PINC模型,由于两者在建模时对被试参数的设定便是基于概率,两者被试参数估计结果有更高的相关。因此,研究者可以基于研究需要来采取相应的模型,而不用顾虑对被试参数的估计出现偏差,即使是基于认知诊断测验理论下的学生作答数据,也可以采用多维项目反应理论来分析。

  北京大学中国教育财政科学研究所科研助理刘舒畅分享了CD-OMST满足非统计约束的组卷方法[1]。CD-OMST即在线的多阶段认知诊断自适应测验。但目前的CD-OMST只能测量学生的能力,而不能兼顾其他的测验信息。满足非统计约束的CD-OMST既能测量学生的能力又能兼顾测验内容等信息。刘舒畅在传统非统计约束方法的基础上,结合认知诊断的特性,使用最大优先指标、修正的最大优化指标、蒙特卡洛方法(包括R1-MC和R2-MC两种)及加权离差模型来组卷,并考察四种方法在满足非统计约束上的具体表现。研究结果表明,整体而言,修正的最大优化指标组卷方法优于最大优先指标组卷方法,蒙特卡洛方法在满足非统计约束上表现最好,修正的最大优化指标及加权离差模型在测量精度上较好。根据研究结果,刘舒畅对未来的组卷提供了一些建议:当测验精度是首要考虑问题时,可以考虑采用修正的最大优化指标及加权离差模型;当题库复杂度高时,更适用于修正的最大优化指标,加权离差模型适用于题库复杂度较低的情况;若更加注重测验的安全性或者非统计约束满足,则推荐使用R2-蒙特卡洛方法组卷,但当非统计约束数量较多,测验较短时,则不推荐使用该组卷方式。

  最后,《北京大学教育评论》编辑部范皑皑副主任和浙江省教育厅教研室的张丰副主任对本论坛做了总结发言。张丰副主任认为论坛清晰准确地阐述了认知诊断的理论内涵及前沿的研究探索,而认知诊断中对学习路径的关注,可以更好地实现促进学生学习发展的目的。范皑皑副主任从自适应学习的角度探讨了自适应的标准、学习者的需求等问题。她认为自适应学习应该是学习者的能力和主观学习偏好相结合的学习过程,从而实现个性化的自适应学习。

  [1] 组卷方法是实现CD-OMST自适应功能的必要技术,组卷方法是指通过相应的算法,从题库中选取若干个题目,在线组建题目模块。