深学习在自然语言处理的应用.pptx

《深学习在自然语言处理的应用.pptx》由会员分享，可在线阅读，更多相关《深学习在自然语言处理的应用.pptx（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1大纲大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考第1页/共55页2深度学习（表示学习）深度学习（表示学习）第2页/共55页3深度学习（表示学习）深度学习（表示学习）第3页/共55页4Layer-Wise Pre-TrainingLayer-Wise Pre-Training第4页/共55页5Denoising AutoencoderDenoising Autoenco

2、der第5页/共55页6自然语言交互的时代自然语言交互的时代第6页/共55页7大纲大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考第7页/共55页8One-Hot One-Hot 表示表示One Hot表示在传统NLP中很常用Similarity(dog,cat)=0第8页/共55页9Word EmbeddingWord Embedding词向量：单词的分布向量表示（Dis

3、tributional Representation）词向量表征了单词使用上下文中的句法语义特征One-Hot的字面匹配到DR的语义匹配Similarity(dog,cat)Similarity(dog,the)Similarity(“the dog smiles.”,“one cat cries.”）第9页/共55页10无监督训练获得单词的无监督训练获得单词的WE-word2vecWE-word2vec单词：苹果第10页/共55页11无监督训练获得单词的无监督训练获得单词的WE-word2vecWE-word2vec单词：长颈鹿第11页/共55页12无监督训练获得单词的无监督训练获得单词的W

4、E-word2vecWE-word2vec单字：张第12页/共55页13无监督训练获得单词的无监督训练获得单词的WE-word2vecWE-word2vec单字：雯第13页/共55页14无监督训练获得单词的无监督训练获得单词的WE-word2vecWE-word2vec单字：葱第14页/共55页15Word2vecWord2vecCBOW：第15页/共55页16word2vecword2vecSkip-Gram:第16页/共55页17word2vecword2vecCBOW+Hierarchical Softmax第17页/共55页18word2vecword2vecCBOW+Negative

5、 Sampling最大化：st：正例负例第18页/共55页19不同粒度语言单元的表示不同粒度语言单元的表示-字符字符/单字单字字符上下文向量 英文：捕获构词法中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？第19页/共55页20不同粒度语言单元的表示不同粒度语言单元的表示-短语短语/句子句子/文档文档方法一：单词词向量取和（Summrization）很多情况都做此种简化处理过于简单,但是仔细思考有一定道理方法二：单词词向量加权求和Huangs Work权重：类似于IDF方法三：RNN第20页/共55页21不同粒度语言单元的表示不同粒度语言单元的表示-短语短语/句子句子

6、/文档文档方法四：Matrix-Vector NN第21页/共55页22不同粒度语言单元的表示不同粒度语言单元的表示-短语短语/句子句子/文档文档方法五：卷积神经网络第22页/共55页23大纲大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考第23页/共55页24RAE(Recursive AutoEncoders)RAE(Recursive AutoEncoders)推导短

7、语及句子级别的Word Embedding表示第24页/共55页25Neural Tensor NetworksNeural Tensor Networks表达多个实体之间的关系/两个单词之间某种操作第25页/共55页26Neural Tensor NetworksNeural Tensor Networks第26页/共55页27卷积网络（卷积网络（Convolutional Deep Neural Network Convolutional Deep Neural Network）全局特征选择与融合/不定长转换为定长表示第27页/共55页28大纲大纲深度学习简介基础问题：语言表示问题Word

8、 Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考第28页/共55页29语言模型语言模型第29页/共55页30语言模型语言模型Bilinear-LM第30页/共55页31语言模型语言模型RNNLM第31页/共55页32深度学习用于中文分词深度学习用于中文分词-思路思路1 1第32页/共55页33深度学习用于中文分词深度学习用于中文分词-思路思路2 2第33页/共55页34深度学习用于中文分词深度学习用于中文分词两者思路基

9、本相同基于字的Word Embedding+三层神经网络+BEMS标记序列分类思路2引入全局的Viterbi解码（分类后处理）效果：和主流分词算法效果接近CRF/Maxent+二元特征类似思路同样可以套用到POS/NER/Parser等场景这是利用Word Embedding解决NLP问题最直观的NLP应用思路考虑探索下非标准三层神经网络结构的复杂模型第34页/共55页35深度学习用于知识挖掘深度学习用于知识挖掘两大类问题现有知识库的新知识推理CYC,WordNet,FreeNet目前的文献做法大思路基本一致已知实体用Word Embedding表示实体关系用Tensor Network建模后

10、向传播+SGD训练从自由文本中挖掘结构化知识第35页/共55页36现有知识库的新知识推理现有知识库的新知识推理第36页/共55页37现有知识库的新知识推理现有知识库的新知识推理最小化目标函数：正例：负例：第37页/共55页38从自由文本中挖掘结构化知识从自由文本中挖掘结构化知识整体结构词法级特征第38页/共55页39从自由文本中挖掘结构化知识从自由文本中挖掘结构化知识句子级特征抽取：卷积网络第39页/共55页40机器翻译（通用模型）机器翻译（通用模型）最常见的通用模型：Encoder-Decoder ModelEncoderDecoder语义向量第40页/共55页41机器翻译（机器翻译（Enc

11、oder-DecoderEncoder-Decoder具体例子）具体例子）ACL2014 Best Paper：Fast and Robust Neural Network Joint Models Joint Models for Statistical Machine Translation网络结构语言模型翻译模型第41页/共55页42机器翻译机器翻译-很多地方可以引入很多地方可以引入DLDL单词对齐短语对齐短语重排序语言模型翻译模型联合模型翻译结果重排序单词对齐第42页/共55页43情感计算情感计算核心的两个问题句子级的Word Embedding表示前面讲过这个问题如何将情感倾向编码到

12、各级Word Embedding中半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中第43页/共55页44Paraphrase(Paraphrase(整体框架整体框架)S1：The judge also refused to postpone the trial date of Sept.29.S2：Obus also denied a defense motion to postpone the September trial date.Paraphrase的问题：Semantic(S1)=Semantic(S2)?第44页/共55页45ParaphraseParaphrase（RA

13、ERAE）Darling!Im here!Darling!Im here!第45页/共55页46ParaphraseParaphrase（Dynamic PoolingDynamic Pooling）应用拓展：很明显这个方法可以照搬不动放到应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中问题匹配中（一篇灌水论文就此诞生了！）（一篇灌水论文就此诞生了！）欧式距离：越小越好第46页/共55页47DL for IRDL for IR一种直观的方法第47页/共55页48DL for IRDL for IR一种没那么直观的方法第48页/共55页49大纲大纲深度学习简介基础问题：语言表示问题Word

14、 Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考第49页/共55页50探讨与思考探讨与思考与传统方法比较DL的优势所在抛掉特征选择步骤简洁地融入语义级特征很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加语言长程依赖容易建模：词向量+卷积网络可以解决语言模型的数据稀疏问题：15-Gram很多场景如果优化速度非常快，方便应用的工程化实用化第50页/共55页51探讨与思考探讨与思考目前研究模式中最基础和重要

15、的问题短语、句子、段落、文档级别的有效Word Embedding表示文档级别表示很多应用直接受益:分类，IR等问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。如何更能体现“深度”的思想目前还说不上很Deep：WE为主是否有除了“Word Embedding”外更Deep的模式？目前看DL在NLP哪些方面好哪些一般？涉及语义处理的应用：表现好不涉及太多语义的应用：State-of-the-art说明什么？Word Embedding已经把传统ML方法使用特征融合进去了语义级别特征效果体现明显第51页/共55页52探讨与思考探讨与思考与CRF的比较及区别与联系CRF:线性 VS DL:非线性CRF:高维离散特征 VS:DL:低维连续特征结论：非线性模型对于低维连续特征有效，对高维离散特征无效DL在推荐系统方面应用方法的思考不成熟的初步思路我个人看好DL在NLP方面的作用与传统方法比有明显优点发展初期：机会多、挑战大NLP方向博士生的黄金时代非常容易想到很多New Idea一把新的锤子，很多钉子可以去敲第52页/共55页53广告时间广告时间第53页/共55页54Thanks!Thanks!第54页/共55页55感谢您的观看！第55页/共55页