机械学习自然言语処理ー.pptx

《机械学习自然言语処理ー.pptx》由会员分享，可在线阅读，更多相关《机械学习自然言语処理ー.pptx（73页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、機械学習自然言語処理PerceptronCRF岡野原大輔東京大学PreferredInfrastructure20238/3PFI本郷目次自然言語処理紹介機械学習導入学習(最大法)過学習/正則化多分類系列分類(CRF,StructuredPerceptron)眠自然言語処理(1/2)言語情報処理言語研究対比自然言語世界最初出現頃自動翻訳試。中歴史長分野近年的成功,Google非常幅広分野接触、境地領域処理手法=言語学,数学,統計学,機械学習,構造,物理処理対象=情報検索,音声情報,言語絡何自然言語処理(2/2)分野例構文解析（係受解析）意味解析,SRL機械翻訳（統計的機械翻訳,）情報検索固有表

2、現抽出、文書分類、単語、有名学会、ComputationalLinguistic,ACL,EMNLP,CoLing,NAACL,EACL,IJCNLP,自然言語処理学会:/hillbig.cocolog-nifty/do/2023/04/post_fe44.htmlACLanthology自然言語処理機械学習使自然言語処理編人手書処理例：排除if(s=/H|奥様|楽/)then単純強力手法昔現在活躍現時点日英機械翻訳方精度良自然言語処理編長所内部処理分人手調整可能頑張頑張精度上短所：大(最初精度伸、伸、）、新弱、専門知識必要（職人芸）、一貫性無（時間、人変）自然言語処理機械学習編人手書代正解訓

3、練用意、正解導導出自然言語処理場合、単語品詞出現利用候補集合決，中効学習自動探作機械学習前vs機械学習何問題解場合、機械学習使検討訓練得対書方良場合多問題、要求精度、問題対知識吟味多素性形機械学習反映、複雑場合人（文法変換数千行perl）表現多自然言語情報疎高次元扱文書BOW表現、V単語種類数時，各単語0V-1順番番号振i番目単語出現Vi=1V次元扱0:Best1:Drug2:Congratuation3:FlowerDrug Best FlowerDrugCongratuation11010110各値決使素性（、特徴）、高次元素性（特徴）呼。線形識別器分類問題：入力x値(y=+1,-1)分類

4、例：文書(+1)or以外(-1)分類S(x)0y=+1S(x)0、xi出現度合増（|wi|大大効）w求重w求訓練(xi,yi)(yi=1or-1)正分類w求全iyiwTxi0訓練分類、未知分類（期待。真面目汎化性能議論）学習学習学習訓練1例見w更新長所：全部訓練例良。速（一般訓練数線形計算量）短所：比適当、訓練例順番偏大場合精度不安定学習訓練全部見w求長所：精度良、理論的保証強(汎化性能）短所：重場合多学習Rosenblatt57w=0,0,.0初期化loop(xi,yi)訓練s:=yiwTxi/wTxi=現在予測if(s0)/現在予測外w:=w+yixi/w+yixi,01場合endifen

5、d学習更新後重w:=w+yixi使、一度間違訓練例（xi,yi)分類wTxi=(w+yixi)Txi=wTxi+yixiTxi先程間違予測結果常正w正解出更新Perceptron収束定理Block62Novikoff62Q.直前訓練例分類更新、全訓練例分類？A.訓練例線形分離可能定理：訓練(xi,yi)(i=1.m)(|xi|wget :/oll.googlecode /files/oll-0.01.tar.gzcd oll-0.01;./configure;make;(make install)oll_train P trainfile modelfile(学習、学習結果modelfile保

6、存）oll_test testfile modelfile（学習結果modelfile読込、testfile分類）訓練各行1訓練例対応最初正例+1,負例-1書、後素性番号：値列並+10:1.0201:2.2744:-0.315:3.0.-147:2.066:0.1733:1.0500:1.0+13:1.0201:2.2300:-0.315:0.3文書分類作（C+）map str2id;/文字列素性番号連想配列vector id2str;/素性番号文字列逆引 int getID(const string&str,map&str2id)map:const_iterator it=str2id.fi

7、nd(str);if(it!=str2id.end()return it-second;/登録済ID返 else /登録 const int newID=str2id.size();str2idstr=newID;/登録 id2str.push_back(str);return newID;/新iD返 int doc2fv(const string&doc,const int y,ofstream&outf)istringstream is(doc);/doc単語区切。無場合mecab辞書最長一致 string chunk;vector IDs;while(is chunk)IDs.push_

8、back(getID(chunk);sort(IDs.begin(),IDs.end();IDs.erase(unique(IDs.begin(),IDs.end(),IDs.end();/重複除 outf y “;/for(size_t i=0;i IDs.size();i+)outf IDsi “:1“;outf endl;区切済素性作学習編学習編全部真面目精度高f0/1：0/1損失関数f0/1(a)=1a0y=1,s0y=1,star xvzf CRF+-0.51.tar.gzcd CRF+-0.51;./configure;make;(make install)cd example/J

9、apaneseNE./exec.sh学習././crf_learn-f 3-c 4.0 template train.data model././crf_test-m model test.data実際適用固有表現作(2/)自分1作mecab組合西東京 名詞,固有名詞,地域,一般,*,*,西東京,市 名詞,接尾,地域,*,*,*,市,助詞,係助詞,*,*,*,*,暑 形容詞,自立,*,*,形容詞段,基本形,暑,助動詞,*,*,*,特殊,基本形,助詞,終助詞,*,*,*,*,EOS使最初2作八丁堀 名詞-固有名詞-地域 O店名詞-接尾-一般O【記号-括弧開-*O八丁堀名詞-固有名詞-地域 O】記

10、号-括弧閉-*O17名詞-数-*O時名詞-接尾-助数詞O記号-一般-*O翌接頭詞-数接続-*O固有表現作(3/)正解頑張作100例作結構精度出八丁堀 名詞-固有名詞-地域 O 助詞-格助詞-一般 O連日 名詞-副詞可能-*O人気 名詞-一般-*O 助詞-連体化-*O和食 名詞-一般-*B-STORE居酒屋 名詞-一般-*I-STORE。記号-句点-*O学習推定(4/4)template使3列構成使././crf_learn-f3-c4.0templatetrain.datamodel././crf_test-mmodeltest.data適当整形質問/答复(1/4)Q.更新式発散A.収束定理示

11、線形分離可能有限回数終。線形分離可能無場合一定収束性能示Q.使A.重w代各訓練間違回数iwTx代iiyiK(xi,x)使質問/答复(2/4)Q.多分類以外手法実現A.全組合二値分類問題作多数決取方法、（個対残全部）全部作一番高選方法（oneversusrest)、方式方法、符号作、距離一番近選方法。質問/答复(/4)Q.MEMMCRF方速A.MEMM各State正規化必要分遅。MEMM前greedy展開工夫Q.MEMM良出系列周辺集中学習MEMM方A.一概言一般的数CRF学習問題。数系列数非常大場合周辺影響無視。SearnDaume06対処質問/答复(4/4)Q.CRF利用素性種類数爆発A.CRF枝素性隣接組合入力関素性種類数、数k、入力種類素性数m時k2m個素性使。種類数多場合非常大、頂点付素性使多谢谢观看/欢送下载BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES.BY FAITH I BY FAITH