论辩挖掘(Argumentation Mining)是计算辩论(Computational Argumentation)中的一个重要方面,其目标是自动从文本中提取论点(Argument)。Habernal与Gurevych在“Argumentation mining in user-generated web discourse”一文中使用网络中用户生成的语料进行论辩挖掘研究,使用的语料库是多主体的教育类具有争议的话题。这些语料库从用户生成的网络内容中提取,例如论坛帖子、博客文章、专业新闻报道文章等。教育类的话题中具有丰富的子话题和观点,并且吸引学者、教育实践者、家长、学生、政策制定者等多方面的参与和讨论。这样的多样性导致语言上的多样性,并且构成了对自然语言处理(NLP)的挑战。
(一)数据选取
该研究与德国国际教育研究所(German Insitute for International Educational Research)合作,选取了在英语使用国家中的几个具有争议性的教育议题来进行研究:(1)“在家上学”(homeschooling);(2)公立和私立学校之争;(3)更晚上学(redshirting),即推迟适龄儿童进入幼儿园以使得儿童有更多的时间来在身体和情感上发育成熟;(4)学校内祷告(prayer in schools),即学校内的祷告教育是否应被允许或成为教育中的一部分,或应被完全禁止;(5)“单性教育”(single-sex education):男子班级、女子班级等只有一种性别的学生组成的班级和混合性别班级之争;(6)特殊儿童纳入主流教育(mainstreaming):在主流学校中融入有特殊需求的儿童。
研究将文本分为四个不同来源:(1)对新闻文章或博客的评论(2)论坛帖子(3)博客文章(4)新闻报道等四个方面。其中的每一条评论、帖子、文章或报道在本研究中被定义为一个“文档”。
在六个具有争议性的议题和四个不同信息来源下,研究者所获取的语料库包括5444个文档和694,110个词(token)。
(二)研究方法
(1)标注研究(Annotation Study)一:区分“说服性文档”
一些论坛发言和评论实际上并没有任何的论辩,其发言意图也并非说服式的,而只是分享故事、个人疑虑、或用户之间的互动。将文档二分为说服性的和非说服性的文档。随机对论坛和评论抽取990篇文档,并进行人工编码,其中524(53%)被分类为与话题有关的说服性文档,并称其为黄金说服性数据(gold data persuasive)。发现,“学校内祷告”和“公立和私立学校之争”问题更容易引起说服式的讨论,而其他论题(尤其是“更晚上学”问题和“特殊儿童纳入主流教育”)则更倾向于是非说服性文档。
(2)标注研究二:论点的微观结构
Toulmin模型中,论辩的逻辑结构包括6个因素:(1)主张(Claim),即观点或结论;(2)事实材料(Grounds),可以是统计数据、常识和经验观察等;(3)保证(Warrant),即推理规则,确保事实材料能够使主张成立;(4)程度(Qualifier):即“可能”、“大概”等对主张强度进行描述的词;(5)支援(Backing)反映保证的权威性和有效性,表明保证的确具有证明力;(6)例外(Rebuttal):通常限定主张成立的条件或指出反例。
此研究对于Toulmin模型进行改进。从黄金说服性数据中抽取40个随机文档,运用Toulmin模型进行分类。去掉了其中的程度、保证两项,这是因为这两项在文档中很少涉及。然而,加入了“驳斥反例”(Refutation)一项,因为发现有大量的文档中举出反例并对其进行驳斥而支持自己的主张。
编码时发现,很多文档具有隐晦主张(Implicit Claim),且一个文档可能具有多论点(Multiple Arguments in One Document)。对Toulmin模型进行了其他修改后,使用改进后的Toulmin模型进行研究。
在第一个阶段,随机抽取50个论坛和评论文档进行注释。第二阶段,抽取148个评论和论坛帖子,以及41个博客文章。第三阶段,从总语料库中抽取96个评论/帖子,8个博客文章和8个新闻文章进行编码。对人工编码,使用交叉注释协定(Inter-annotator Agreement)进行检验。
(3)实验
使用10倍交叉验证的方式(ten-fold cross validation)对整个数据进行随机排序。之后,采用域内十倍交叉验证(in-domain ten-fold cross-validation)对六个话题领域进行验证。最后,为了评估领域的可迁移性,对五个领域进行训练,并对其余一个领域进行验证,进行跨领域验证(cross-domain validation)。
(三)作者贡献
该研究在Toulmin模型的基础上进行改进,对论辩挖掘方法做出贡献。然而,对于论辩挖掘而言,并没有一个普遍适用的模型,对于不同的文本话语依然要进行改进。作者提供了其对文本进行标注的方法、被标注的数据、实验的代码、以及对其系统的误差分析的结果。
介绍文献:
Habernal I, Gurevych I. Argumentation mining in user-generated web discourse[J]. Computational Linguistics, 2017, 43(1): 125-179.
文献推荐者感言:
本研究用机器学习的方法来进行文本的论辩过程研究,并对该过程进行详细介绍。论辩挖掘的研究方法可以用于海量教育政策文本分析、新闻媒体报道、学术文本的分析、博客和网络发帖分析等方面,且可以包含多样的话题。不同的内容生成者是如何来表达某一个特定教育问题的?其论证逻辑和结构是怎样的?这些都可以通过论辩挖掘的方法来进行大数据定量研究。这样的研究方法目前国内从事教育研究的学者使用得较少,此文章对其进行了详细介绍,并提供了大量研究细节的信息,故在此推荐,希望能对感兴趣的研究者有所启发。
-END-
北京大学中国教育财政科学研究所
第一所专门致力于教育财政研究的学术机构
CIEFR-PKU
欢迎访问北京大学中国教育财政科学研究所(CIEFR)官方微信号“中国教育财政”,欢迎读者转发、传播本公号刊载文章。现就本公号版权事宜说明如下:
标记为“原创”或者来源为“CIEFR”的文章版权归本所所有,仅允许全文转载,且须注明来源、作者和原文链接,不得删改文章标题和内容,不得删除本公众号名称和二维码。禁止未经授权的其他形式转载。
如需转载原创以外的其他文章,请直接联系版权所有人。如对本公众号所发布文章版权有异议,请随时联系我们(editor@ciefr.pku.edu.cn )。