问题理解增强的阅读理解方法研究.doc

问题理解增强的阅读理解方法研究Machine Reading Comprehension based on Question Understanding EnhancementI中 文 摘 要机器阅读理解是指基于给定上下文机器自动回答相应的问题 Liu S , Zhang X , Zhang S , et al. Neural Machine Reading Comprehension: Methods and TrendsJ. 2019,9(18).，不仅是人工智能及自然语言处理领域的一个研究热点，更是一个挑战。机器是否正确、充分地理解问题是研究阅读理解任务的关键和基础。本文针对模型对问题理解不充分提出了相应的解决策略，主要工作如下：（1）提出一个基于多维度问题理解的阅读理解方法。本文通过问题类型识别、问题重要词识别、添加外部知识等多个维度提高模型对问题的理解。多维度问题理解的解答策略的主要思想是：a.人工标注部分数据训练一个初标注TextCNN模型并得到所有数据的问题类型；b.通过句法分析树和人工制定的规则获得问题的重要词；c.针对问题重要词在模型中加入外部知识；d.将之前所有的信息融入到阅读理解模型中。在DuReader2.0数据集上进行方法检验，融入多维度问题理解的阅读理解模型比基线模型的Rouge-L值和Bleu-4值分别提高了8,2%、7%。（2）针对隐式问题提出了相应的理解策略。我们将不包含疑问词的问句定义为隐式问题，处理此类问题的主要思想为：a.首先判断问句是否为隐式问题；b.对隐式问题进一步分为两类：一般隐式问题和复杂隐式问题；c.针对一般隐式问题，基于规则的方法添加疑问词将其转换为显式问题；针对复杂隐式问题，依据问题答案使用TextRNN模型识别问题中缺失的疑问词并将其转换为显式问题。实验结果表明：融入隐式问题处理的阅读理解模型比基线模型的Rouge-L值和Bleu-4值分别提高了3.6%、2%，融入隐式问题处理和多维度问题理解方法的阅读理解模型比基线模型的Rouge-L值和Bleu-4值分别提高了9.5%、7.8%。（3）设计并实现了一个针对中文篇章片段抽取式的阅读理解原型系统。本文依据上述研究方法设计并实现了一个针对中文篇章片段抽取式的阅读理解系统。本系统解答的大致思路为：首先对问题和篇章进行预处理，并判断问题是否为隐式问题，如果是则先将其转换为显式问题，如果不是不做任何处理；然后对问题进行分类、识别问题中的重要词，针对问题中的重要词加入相应的外部知识，并将以上问题的特征一起输入到阅读理解模型中；最后，通过attention机制对篇章和问题交互建模，从篇章中找到与问题句关系较大的句子作为答案句输出。本文提出的融入隐式问题处理多维度问题理解的阅读理解方法在对真实问题的解答上取得了一定的效果，说明该方法使模型更有效的理解问题。关键词：多维度；隐式问题；问题理解；阅读理解ABSTRACTMachine reading comprehension means that the machine automatically answers questions relevant to the given context. It is not only a research hotspot in the field of artificial intelligence and natural language processing, but also a challenging task. Whether the machine understands questions correctly and comprehensively is the key and foundation of reading comprehension. In this paper, we proposes corresponding solutions for the models do not fully understand questions. The main works of this article are as belows:(1) The reading comprehension method based on multi-dimensional questions understanding is proposed. This paper improves understanding of questions in the model through the multiple-dimensional method such as question types, question important words, and the external knowledge. Firstly, the TextCNN model is trained get all data types using the human-annotated data and; secondly, the question important words are obtained through syntax analysis tree and rules; then, add question important words external knowledge to the model; finally, we integrate all information about questions into the reading comprehension model. The experiments on relevant dataset show that: with the integration of multi-dimensional questions understanding, the metrics of Rouge-L and Bleu-4 of the reading comprehension model increase by about 8.2% and 7% respectively .(2) The reading comprehension strategy based on implicit questions is explored. We define implicit questions that the question excluding interrogative word. The main idea for dealing with this questions is to transform implicit problems into explicit problems. First of all, we judge whether a question is an implicit question. The next, the implicit problem is divided into general implicit problem and complex implicit problem. For general implicit questions, we add the missing interrogative words to question based on rules. For complex implicit questions, we use the TextRNN model to identify missing interrogative words to question based on the answer and turn it into an explicit question. Lastly, we incorporate it into the reading comprehension model. Experiments show that: the metrics of Rouge-L and Bleu-4 of the proposed method increase by 3.6% and 2%, respectively;the metrics of Rouge-L and Bleu-4 of the final model increase by 3.6% and 2%, respectively .(3) A prototype reading comprehension system for Chinese text is implemented. we implement a reading comprehension system based on the above methods. First, this system preprocesses the questions and the contexts and determines whether the question is implicit question. If the problem is an implicit problem, it will be converted to an explicit problem. If the problem is not an implicit problem, nothing will be done. Next, question types, question important words and external knowledgeis are integrated into the reading comprehension model. Finally, the informations of contexts and questions are obtained through the attention mechanism. And the sentences of context that has the most relationship with the question are found as the answer.The reading comprehension strategies are proposed in this article, which incorporates implicit problem processing and multi-dimensional questions understanding. The methods has achieved gerat results in reading comprehension model, indicating that the methods make the model understand questions more effectively.Key words：multidimensional;implicit problem;question understanding;reading comprehensionIII第一章 绪论11第一章 绪论第一章 绪论本章主要介绍研究任务的背景及意义，国内外针对阅读理解和问题理解两方面的研究现状，并简要介绍了论文主要的研究内容和组成结构。1.1 研究背景及意义早在20世纪70年代，随着人工智能的发展，人们越来越意识到机器理解文本的重要性，机器阅读理解技术研究随之开始。所谓阅读理解,是指给定一段篇章和相关问题,要求机器准确理解问题和篇章所表达的信息并自动给出相应的答案。阅读理解是人工智能领域的一项重要任务，其研究可以极大的促进自然语言的进步。1999年，Hirschman提出了第一个阅读理解系统Deep Read 李济洪,杨杏丽,王瑞波,等.基于规则的中文阅读理解问题回答技术研究J. 中文信息学报,2009,23(4):3-10.，该系统采用模式匹配技术和附加的自动化语言处理技术(词干提取、名称识别、语义类识别和代词解析)，并发布了一个基于3-6年级小学生故事的阅读理解数据集，促进了机器阅读理解任务的发展。近年来，研究学者主要利用人工神经网络对阅读理解开展研究工作，主要思想是将问题和篇章共同作为输入进行嵌入式表示和编码，然后通过注意力机制对两者建模获得交互信息，最终从篇章中选取合适的片段作为答案输出。例如，Attentive Reader模型、AOA Reader模型、Match-LSTM模型等。除此之外，国内外许多科研机构、高校和公司对阅读理解的关注越来越多，创建了大量英文、中文阅读理解数据集，极大地促进了阅读理解技术的发展。例如：多项选择型数据集 MCTest；填空型数据集CNN&Dailymail；片段抽取型SQuAD数据集；中文大规模数据集DuReader等。随着大规模数据集发布和人工神经网络技术的快速发展，机器阅读理解渐渐成为自然语言处理研究领域的热门任务之一。阅读理解任务的发展不仅可以评估计算机对自然语言的理解情况，还可以推动自动问答任务的发展，帮助自动问答系统更好的理解文本信息。随着自动化的日益普及，阅读理解任务还可以为高考自动批阅系统提供服务，提升自动批阅系统的准确率。不仅如此，阅读理解任务的进步还可以帮助各类搜索引擎更精确地理解提问意图从而反馈给用户更准确的答案。但是，由于自然语言灵活性高复杂性大，而问题字数少语义信息丰富，深度学习模型只是将问题输入到模型通过注意力机制隐式建模，模型对问题的理解并不充分，进而影响答案句的筛选。1.2 国内外研究现状1.2.1阅读理解研究现状目前，阅读理解的研究主要从数据集和模型两方面开展。（1）阅读理解数据集基于深度学习的阅读理解模型需要通过大量的数据进行训练学习。一些企业、学校和评测机构纷纷从不同角度提出了自己的数据集。表1.1各类数据集的规模大小数据集规模语言MCTest2600余个问题和660篇故事英文CNN&DailymailCNN数据集约有90k篇文章和380k个问题英文Dailymail数据集约有197k篇文章和879k个问题SQuAD500多篇文章和超过100000个问题答案对英文MS MARCO10万个问题和20万篇不重复的文档英文RACE大约 28000 个文章和100000 个问题英文CMRC 201718256 个问题和对应篇章中文SQuAD2.0500多篇文章和超过150000个问题答案对英文DuReader约100万篇文章和20 万个问题中文COQA8000个对话的127000问题答案对英文HotpotQA113K个问答对英文CJRC约10,000篇文档和50,000个问答对中文DuReader2.0约100万篇文章和20 万个问题中文2013 年，微软建立了一个小规模基于儿童故事的多项选择阅读理解数据集 MCTest Matthew Richardson, Christopher J.C. Burges, and Erin Renshaw. MCTest:a challenge dataset for the open-domain machine comprehension of textC./ Proceedings of the Conference on Empirical Methods in Natural Language Processing,2013:193-203.，其中数据集中的问题采用众包形式；Hermann 等人于2015年发布了一个填空型的大规模英文阅读理解数据集CNN&Dailymail，其中CNN数据集和Dailymail数据集分别来自美国有线电视新闻网的文章和每日新闻的文章 Hermann K M,Koiský T,Grefenstette E,et al. Teaching machines to read and comprehendC/ Proceedings of the Conference on Neural Information Processing Systems,2015.；2016 年，斯坦福大学建立了SQuAD数据集，阅读材料来自英文维基百科，问题和答案由人工标注 Pranav R,Jian Z,Konstantin L,et al.SQuAD:100,000+ questions for machine comprehension of textC./Proceedings of the Conference on Empirical Methods in Natural Language Processing,2016:2383-2392. ；同年微软发布了一个问题来自真实查询的英文数据集 MS MARCO Payal B,Daniel C,Nick C,et al.MS MARCO:a human generated machine reading comprehension datasetJ. arXiv:1611.09268,2016.，问题答案是由人工参考真实网页材料撰写 ；2017 年，卡内基梅隆大学发布了一个基于中国初中和高中学生英语阅读理解题目的数据集RACE Lai G,Xie Q,Liu H,et al.RACE:Large-scale ReAding Comprehension Dataset From ExaminationsJ.2017.，问题答案并没有直接使用文章中的句子，更考验模型的推理能力；同年，科大讯飞举办了第一个汉语阅读理解评测比赛并发布了中文阅读理解数据集CMRC 2017，主要面向“儿童读物”领域的填空型阅读理解数据集；2018 年，斯坦福又提出SQuAD2.0 数据集，该数据集在SQuAD1.0数据集的基础上添加了一些不可回答的问题 Pranav Rajpurkar, Robin Jia, Percy Liang.Know What You Dont Know: Unanswerable Questions for SQuADC. /Proceeding of the Association for Computational Linguistics, 2018: 784789.；2018年，百度发布了中文阅读理解数据集DuReader ，其问题和篇章均来源于百度搜索和百度知道用户真实搜索的问题 Wei H,Kai L,Jing L,et al.DuReader:a chinese machine reading comprehension dataset from real-world applicationsC/ Proceedings of the Workshop on Machine Reading for Question Answering,2018:37-46.，是目前最大的中文阅读理解数据集。不仅如此，斯坦福大学还推出了衡量机器参与问答式对话能力的对话问答数据集COQA Siva Reddy, Danqi Chen, Christopher D.Manning.CoQA: a conversational Question Answering ChallengeC./Proceeding of the Association for Computational Linguistics, 2018.和面向自然语言和多步推理问题的新型问答数据集HotpotQA Yang, Zhilin,Qi, Peng,Zhang,Saizheng,et al.HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question AnsweringC./Proceedings of the Conference on Empirical Methods in Natural Language Processing,201823692380:.。2019年，哈工大讯飞联合实验室提出了一个基于篇章片段抽取的中文法律阅读理解数据集 CJRC ，主要涉及民事一审判决书和刑事一审判决书，数据来源于中国裁判文书网 Xingyi Duan,Baoxin Wang,Ziyue Wang,et al.CJRC: A Reliable Human-Annotated Benchmark DataSet for Chinese Judicial Reading ComprehensionC./Proceeding of the Association for Computational Linguistics, 2019:439-451.；同年，百度发布的面向真实应用的中文阅读理解数据集DuReader2.0，与之前的数据集不同之处是在测试集中加入了不可回答问题。数据集详细的规模信息如上表所示。（2）主要方法阅读理解方法主要有三种：基于规则的方法、基于传统机器学习的方法、基于神经网络的方法。基于规则的方法。早期的阅读理解技术多采用基于规则的方法。1999年，Hirschman提出了一个基于规则的词袋模型，并结词干提取、语义类识别、指代消解等浅层的自然语言处理技术 Lynette Hirschman,Marc Light,Eric Breck,et al. Deep Read: A Reading Comprehension SystemC./Proceeding of the Association for Computational Linguistics, 1999: 325-332.，提高了检索包含答案句子的准确率；2000年，Riloff等人提出了一个基于不同类型的问题手动生成基于词汇和语义对应的规则的阅读理解系统QUARC Riloff E , Thelen M . A Rule-based Question Answering System for Reading Comprehension TestsC./ Proceedings of Workshop on Reading Comprehension, 2000:13-19.；同年，Charniak等人将上述两个方法进行融合，使模型抽取包含答案的句子准确率在30%-40%左右。基于规则的方法简单明了，但是制定规则的过程不仅依赖人工而且较为繁琐，只适用于符合规则的部分数据，迁移性差，准确率低。基于传统机器学习的方法。.2013年，Richardson 等人在没有利用任何训练数据的情况下提出了一个基于规则的基线3，它采用启发式滑动窗口方法测量问题、答案和滑动窗口中单词之间的加权单词重叠/距离信息 Danqi Chen.Neural Reading Comprehension and BeyondD.American:Stanford University,2018.；2015 年，Wang 等人在启发式滑动窗口方法的基础上提出了一个在max-margin学习框架之上通过将每个问答对转换为一个语句来运行现成的文本蕴涵系统，在MCtest数据集上模型性能从63%提高到70%左右 Hai Wang, Mohit Bansal, Kevin Gimpel, et al. Machine comprehension with syntax, frames, and semanticsC./Proceeding of the Association for Computational Linguistics, 2015:700-706.。基于传统机器学习方法通常基于离散的串匹配的和基于窗口匹配的，在解决表达的多样性问题上显得较为困难 Chen D, Bolton J,Manning C D.A Thorough Examination of the CNN/Daily Mail Reading Comprehension TaskC./Proceeding of the Association for Computational Linguistics,2016:2358-2367.，很难处理多个句子之间的长距离依赖问题，并且不适用于当前大规模的数据集。基于神经网络的方法。基于神经网络的方法主要从以下两部分开展研究：1） 模型架构。阅读理解模型一般包含：嵌入式层、编码层、注意力层和预测层。在嵌入式层，大多数模型只是从字或词单一角度对问题和篇章进行嵌入式表示。而Minjoon等人提出一种将字、词嵌入相结合的多层次阅读理解模型Bi-DAF，主要思想为将利用字符级CNN得到的嵌入式表示和利用GloVe得到的词嵌入式表示进行拼接得到最终问题和篇章的嵌入式表示 Seo M,Kembhavi A,Farhadi A,et al. Bidirectional Attention Flow for Machine ComprehensionC./Proceeding of the ICLR,2017. ；在编码层，大部分模型使用长短期记忆网络对问题和原文的嵌入式编码，而Google 提出的BERT模型使用多层双向Transformer编码器通过在所有层的上下文联合调节来预训练深层双向表示 Jacob Devlin, Ming-Wei Chang, Kenton Lee, et al. BERT: Pre-training of DeepBidirectional Transformers for Language UnderstandingJ. arXiv:1810.04805v1,2018.，BERT的提出推进了11项NLP任务的最新技术的发展；在答案预测层，大多数模型通过训练损失函数和softmax归一计算篇章句子概率，而Wang等人提出了一个融合Pointer Net机制的阅读理解模型Match-LSTM Shuohang Wang and Jing Jiang. Machine Comprehension Using Match-LSTM and Answer Pointer.arXiv preprint arXiv:1608.07905, 2016b.，在答案预测时采用Pointer-Net计算答案句在篇章中起始位置的概率，该模型是第一个在SQuAD数据集上测试的端到端神经网络模型且优于公布的基线模型；从模型整体框架来说，2019年，Ran等人提出了一个利用数字感知的图神经阅读理解的模型NumNet来实现了数字比较和数学推理 Ran Q , Lin Y , Li P , et al. NumNet: Machine Reading Comprehension with Numerical ReasoningJ. 2019.，其模型效果高于当前考虑了数字间关系的所有的阅读理解模型。2）注意力机制2015年，Hermann等人提出了一个基于注意力机制的神经网络模型的LSTM 模型Attentive Reader Hermann K M,Koisk,Tomá,Grefenstette E,et al.Teaching Machines to Read and ComprehendJ.2015.，该模型在注意力机制层采用求点积的方法计算问题和篇章中词的相似度，在CNN数据集中上该模型的准确率达到了63.8%；2017年，哈工大与科大讯飞联合提出一种新的神经网络模型attention-over-attention注意模型Cui,Yiming,Chen,Zhipeng,Wei,Si,et al.Attention-over-Attention Neural Networks for Reading ComprehensionC./Proceeding of the Association for Computational Linguistics,2017.，主要思想是叠加注意力机制，即在原有的attention上添加一层attention，不仅获得问题词对篇章词的attention，还获得篇章词对问题词的attention，在数据集CNN和CBT上取得了当时单模型最佳效果；2017年，微软亚洲研究院借鉴Match-LSTM方法提出了一个神经网络模型R-NET，主要改进是基于GRU的注意力的循环神经网络建模问题和篇章获取问题的相关段落表示 Natural Language Computing Group, Microsoft Research Asia.R-NET: Machine Reading Comprehension with Self-matching NetworksJ.2017.，基于自匹配注意力机制的循环神经网络将篇章和自己匹配得到整个篇章段落的高效编码24,该模型利用MS MARCO数据集进行测试并取得了最好的结果；2018年，Adams 等人提出了一种新的问答结构QANet，它不需要递归网络，其编码器完全由卷积和自我注意组成 Yu A W,Dohan D,Luong M T,et al. QANet: Combining Local Convolution with Global Self-Attention for Reading ComprehensionJ. 2018.，其中卷积建模局部交互，自我注意建模全局交互，在SQuAD数据集的测试集上F1值达到了84.6；由上可以看出，研究者们主要针对注意力机制层、模型框架架构提出了各具特色的模型，但是我们发现目前大多数模型只是通过注意机制对篇章和问题隐式建模，并没有对问题本身进行建模，Mudrakarta等人在问题中添加与问题无关词、助词模型效果反而有所提升 Mudrakarta P K,Taly A,Sundararajan M,et al.Did the model understand the question?C./Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018:1896-1906.，表明深度学习模型并没有真正理解问题含义。1.2.2问题理解研究现状问题理解又可以称之为问题解析，是问答系统和阅读理解任务的第一步工作，其解析的好坏直接影响整个问答系统或者阅读理解模型的性能。早在人工智能发展的第一个高潮20世纪60年代，人们就从问题的语义解析、问题分类、问题关键词的权重计算这几个方面理解问题。（1）语义解析：Hermjakob等人认为在问答任务中语义解析树必须具有一定的丰富性，他们附加一个问题树库来增强语义，同时丰富Penn树库去训练语料，实验证明问题语义信息越充足越可以提高问题和篇章的匹配程度 Ulf Hermjakob. Parsing and Question Classification for Question AnsweringC./Proceedings of the Association for Computational Linguistics, 2001.；Zhang等人采用一个树结构的LSTM神经网络模型对问题建模，引入语法语义信息帮助模型对问题的编码，从而加强模型对问题的理解 Jun-bei Zhang, Xiao-dan Zhu, Qian Chen, et al. Exploring Question Understanding and Adaptation in Neural-Network-Based Question AnsweringJ. arXiv: 1703.04617v2, 2017.；王智昊、刘培玉通过多层感知卷积来增强模型对问题语义特征的选择，实验证明，基于量子语义空间的卷积神经网络特征选择方法能够表示出更丰富的语义特征从而加强对问题语义理解 王智昊.面向知识库问答的自然语言语义特征表示研究.山东:山东师范大学,2017.。（2）问题分类：早期的问题分类技术研究主要是基于人工制定的规则来实现，此方法在一些特定的数据集上获得了不错的效果。但是由于人工编写分类规则既浪费时间又浪费劳动力，满足分类规则的数据集存在局限性，此类方法的灵活性和迁移性较差。Hovy等人有提出了一个有助于构建weblopediaqa的分类方法，主要思想是在问题中标注72个叶节点，不同的叶节点可以捕捉问题中不同的变量，从而更好的区分问题。这种问题分类方法试图表示用户的意图，而不是集中在疑问词或答案的语义上。Hermjakob等人定义的包含180个问题类别的分类体系 Ulf Hermjakob. Parsing and Question Classification for Question AnsweringC./Proceedings of the Association for Computational Linguistics, 2001.，最典型的是UIUC的层次分类体系，包括ABBR（缩写）、DESC（描述）、ENTY（实体）、HUM（人物）、LOC（地点）、NUM（数值） 6大类，共50小类27。该分类体系具有较广阔的类型覆盖面，比较适合开放域事实型问题。目前，中文问题分类体系还没有统一 孙景广,蔡东风,吕德新,等.基于知网的中文问题自动分类J.中文信息学报,2007, 21(1):90-95.，比较著名的是哈尔滨工业大学信息检索和社会计算中心在国外分类体系的基础上，结合汉语的语言特色所提出的问题分类体系，具体分类见表1.2；Zhang等人基于SVM算法利用tree kernel提取特征对问题进行分类 Dell Z,Lee W.Question classification using support vector machines C./Proceedings of 26th ACM SIGIR, 2003,29(6):26-32.；文勖等人提出了一种贝叶斯分类器新的分类方法,该方法主要使用句法分析的结果提取问题的主干和疑问词及其附属成分作为分类的特征 文勖,张宇,刘挺,等.基于句法结构分析的中文问题分类J.中文信息学报, 2006, 20(2):35-41.，此方法极大地减少了问题中的干扰信息突出了问题的重要特征。表1.2 哈尔滨工业大学的问题分类体系大类（Coarse）小类（Fine）大类（Coarse）小类（Fine）描述（DES）abb,definition,expressio,judge,etc实体（OBJ）animal,body,cloth