《类神经网路介绍》PPT课件.ppt

《《类神经网路介绍》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《类神经网路介绍》PPT课件.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、參類神經網路介紹一、起源:自1940年起，科學家即著手從事此方面的研究，仿造最簡單的神經元神經元模式，開始建立最原始的類神經網路(NeuralNetwork)，歷經40年的發展，類神經的研究工作雖曾一度陷入低潮，近幾年又再度復甦，並且結合了生理，心理，結合了生理，心理，電腦等科技而成為新的研究領域電腦等科技而成為新的研究領域。電腦的功能雖然日新月異，但卻不能因此就完全取代人腦。因人腦可輕易的聽、說、讀、寫、看，電腦卻力有未逮。人腦可輕易的聽、說、讀、寫、看，電腦卻力有未逮。尤其是在影像處理或語音辨認等問題，電腦更是無法勝任。這顯然意謂人腦有著尚未為人所知的特殊結構。要如何模擬這種複雜的人類行為

2、進而建立一部可以人腦匹敵的電腦，可說是電腦科學家的一大夢想。參類神經網路介紹類神經網路已被研究多年。這些類神經網路的模型主要是嘗試著去模仿人類的神經系統，因為人人類的神經系統在語音、聽覺、影像和視覺方面均類的神經系統在語音、聽覺、影像和視覺方面均有很完美的表現，所以也期望這些模型能夠在這有很完美的表現，所以也期望這些模型能夠在這些方面有出色的成果。些方面有出色的成果。很明白的，類神經的架構就是來自於現今對人類神經系統的認識。現今的類神經網路是由很多非線性的運算單元非線性的運算單元(我們叫神神經元經元Neuron)和位於這些運算單元間的眾多連結連結所組成，而這些運算單元通常是以平行且分散的方式在

3、作運算，如此就可以同時處理大量的資料，由這樣的設計就可以被用來處理各種需要大量資料運算的應用上，比如說語音辨認等。類類神經網路具有相當多的優點,在控制方面,它可以解決許多具有高度非線性高度非線性,無法用一般控制理論解決的問題,或是很難解決的問題。因為類神經網路具有學習學習的能力,可以調整出適當的神經鍵連結權重值權重值,使得類神經網路輸出一理想的控制信號給受控系統,讓該系統擁有良好的控制性能。二、神經網路基本模型每一個神經細胞網路模型，其特性是由網路的拓樸拓樸(Topology)圖形圖形，節點的特性節點的特性加以決定。在訓練的過程中這些法則最初是由一組初始加權初始加權(Initial Weigh

4、ts)值值來決定，並在學習過程學習過程中調整其加權以增進效率，經由不斷的調整和學習，使得真正的網路輸出與目標值能達到相同值後，才固定網路中的加權值，此時才算訓練完成。三、神經網路的架構與訓練演算法1.單層知覺網路單層知覺網路:其可形成兩個決定區域(DecisionRegion)，牽而此二區域由一超平面(Hyperplane)加以分隔開來。有一特殊情形就是，若網路只涉到兩個輸入，則超平面便退化成一條直線。2.多層知覺網路多層知覺網路:其是在輸入層節點與輸出層節間多了一層或多層的隱藏層(HiddenLayer)，即輸入節點沒有直接接往輸出節點。四、學習演算法(LearningAlgorithm)假

5、如我們想要把輸入的類別完全劃分開來，則需要利用演算法來調整節點與節點的加權及節點本身的偏移量。例如倒傳遞訓練演算法倒傳遞訓練演算法(BackpropagationTrainingAlgorithm)的基本精神，在於使輸出層之實際輸出值實際輸出值(Actual Output)和希望達到的期望期望(Desired Output)之間的平均平方差平均平方差(Mean Square Error)達到最小境界，使整個網路的加權，儘可能朝向所希望的目標值調整。像圖形辨認這類型問題很適合用神經網路來解決，因只須將無法明白消化的知識，透過學習，即可自動存到網路中。除此之外，如何改良網路的學習方法，亦是研究類神

6、經網路非常迫切的話題。隨著類神經網路的日趨成熟，相信未來它將有可能取代以往傳統的辨認技術。五、類神經網路之特性類神經網路之所能在短短的十年間，成為一個廣為眾人重視及投入的研究，主要原因是其具有許多優異的特性：此以往很多需經長期人工作業以及大量資料分析方能解決的問題，而現經利用神經網路，在很短時間內便可獲得解決:1.平行處理的特性平行處理的特性早期人工智慧平行處理的研究只集中在小程度的平行，而最近已朝向超大型方向進行。類神經網路是以動物的樹狀神經網路為藍本的設計，原本因平行技術未成熟而無法深入研究，現在因超大型平行處理的成熟及若干理論的發展，又成為人工智慧中最活躍的研究領域。2.容錯容錯(fau

7、lt tolerance)特性特性如果輸入資料中有少許雜訊存在，仍然不影響其運作之正確。則其在操作上具有很高之容忍度。整個神經網路均參與解決問題。而且即使些許的神經網路失效，仍能照常運作。3.結合式記憶結合式記憶(Associative Memory)的特性的特性其又稱為內容定址記憶(contentaddressablememory)，它可以記憶曾經學習過的輸入樣式以及對應的理想輸出值。我們只要給予一部份的資料，便可以得到全部的資料並且可以容忍錯誤，就像人類只要看到某一部份的影像可以回憶起全部的影像，這便是結合式記憶的效果。4.解決最佳化解決最佳化(Optimization)問題問題可用於處理

8、非演算法表示的問題，或是以演算法處理很費時者。5.超大型積體電路實作超大型積體電路實作(VLSI Implementation)神經網路的結構具有高度的互相連接(interconnection)，而且簡單，有規則性(regularity)，易以超大型積體電路(VLSI)來完成。6.能處理一般演算法難以處理的問題能處理一般演算法難以處理的問題遇到非常大而複雜的問題時，為了增加效率起見，我們可利”分割後整合克服”(divide-and-conquer)的方法，來求得一條正確可走的路徑。這是用傳統的方法所以無法達到的。1.語音辨識之技術：在辨識技術這個領域，依辨識對象的變化程度，而有不同的困難度。語

9、音特性的變化因素包括(1)不同語者的變化:聲帶特徵、說話方式、連音耦合效應、口音等；(2)同一語者的變化:情緒、壓力、感冒、Lombard效應；(3)噪聲：汽車噪聲、空調噪聲、電話鈴聲、印表機噪聲、多人同時講話等；(4)環境變化：反射(Reflection)、回音(Reverberation)、麥克風特性及與語者的距離等。一一般把語音辨識技術，根據詞彙大小、系統訓練、及發音方式做不同組合的分類。詞彙大小分為小字彙(小於100詞)、中字彙(100-1000詞)、大字彙(1001-10000詞)、極大字彙(大於10000詞)等。系統訓練則有(1)特定語者(Speaker-Dependent)：使用

10、前需訓練數十分鐘至數小時；(2)非特定語者(Speaker-Independent)：不需訓練，可立即使用；(3)系統調適(Speaker-Adaptation)：數分鐘至數十分鐘的調適訓練。至於發音方式，有(1)單字音：字與字需斷開；(2)單詞連續發音：又細分為孤立詞、及詞詞斷開，連接成句兩種；(3)整句連續語音:又細分為關鍵詞萃取(KeywordSpotting)及全句辨識等兩種。語音及圖形辨識的作法傳統辨認圖形的種類有：(1)有理論根據的統計圖案(statisticalpattern)的辨認(2)文章語法圖案的辨認(syntacticpattern)的辨認(3)經驗法則(heuristi

11、c)的圖案辨認。統計圖案辨認的傳統做法如下：輸入影像特徵萃取器特徵傳統統計法分類後的特徵認知器辨認結果文章語法圖案的辨認過程如下：輸入影像抽取局部特徵辨認每一個特徵的組成要素(primitive)文法剖析程式(parser)分析語法輸出辨認結果經驗法則式圖形辨認：較前兩者的效率為高，但缺乏理論基礎，全憑往昔所累積的經驗來辨認圖案。電電腦採用數位化的語音取樣資料，我們要知道對電腦而言，即使同一個人在同一個環境使用同樣的麥克風連續發出兩次同樣的語音，語音取樣資料也不可能完全相同，因此如何把語音做正確的歸類，異中求同，就是問題所在。一般常見的作法是（事先或現場）蒐集足夠的語音樣本蒐集足夠的語音樣本，

12、經過抽取適當的語音特徵（抽取適當的語音特徵（feature extracion）之後，透過訓訓練程序（練程序（training procedure），建立參考聲學模型（參考聲學模型（acoustic model）所需的參數。而在使用者辨識的階段，將輸入的語音樣本抽取語音特徵輸入的語音樣本抽取語音特徵之後，和辨識字彙中的參參考聲學模型比對考聲學模型比對，找出最接近的字彙，即為辨識結果。看似簡單，其實各步驟均有許多變化，尤其是聲學模型比對步驟的兩大問題：時序校準（timealignment）及參數模型比對。時序校準時序校準在於找出正確的聲學單位（如詞、音節、次音節、聲韻母、音素等）的起點跟終點，在

13、連續音的情況下問題更為嚴重；這也是為什麼單字音比連音詞容易辨識，而連音詞又比整句連續語音容易辨識的主要原因。參數模型比對參數模型比對則在以什麼參數、多少參數建構參考模型:可以是語音原始樣本，也可以是語音特徵樣本，但更多的是離散（discrete）或連續密度的（continuousdensity）機率分佈模型。聲聲學模型作法可大致分為下列幾種：(1)語語音模版音模版(template)法法適用於小字彙、特定語者的應用；(2)動態時間校準動態時間校準(Dynamic Time Warping)；(3)隱馬可夫模型隱馬可夫模型(HMM,Hidden Markov Model)：又可細分為利用向量量化

14、(VectorQuantization)技巧的離散的、連續密度的、半連續的(semi-continuous)隱馬可夫模型及簡化的分段機率模型(SPM,SegmentalProbabilisticModel)；(4)人工神經網路人工神經網路(Neural Networks)；(5)聲學知識模型聲學知識模型；(6)混合式混合式(Hybrid)作法等等。除了小字彙的應用之外，不論在實驗室雛型或商用產品，語音辨識系統大多採用隱馬可夫模型或其變型。八、傳統電腦與類神經電腦的比較類神經網路由人腦結構所啟發而生的新計算方式和現今廣泛使用的電腦是十分不同的。因其是一個高密度排列的連接點連接點(intercon

15、nections)，以及不可思議的簡便處理器簡便處理器(simple processors)而形成的巨大平行網路。其仍是模擬真正人腦的神經細胞而得名，但許多細胞中的細節已被省略刪除，即使如此卻仍然保留了人腦的基本本質。類神經網路擁有大量處理器和許多彼此相連繫組合的平行處理結構平行處理結構，這些較傳統的中央處理單元(CPUs)更為簡便。一個典型的CPU有能力做一百個或更多的基本指令，而類神經網路處理單元則可一次處理大量的計算，並做一些計算結果的分析。九、類神經網路的發展潛力類神經網路在未來的計算領域中，就如同大海撈魚一般深的潛力。目前有許多有價值的應用以被工程師設計出來，並加以商品化，未來相信將

16、有更多的研究擴展類似的成果。類神經網路的應用強調的領城是他們能展現較傳統計算方式更合適的解決方法。較適合用神經網路解決的問題像：圖案的辦別、圖案的繪製、有雜訊的訊息處理、圖案完成、結合(associative)查詢、及使用時須要學習或調整的系統等。上述處理問題的時實例包括：語音的合成與辦識、影像處理與分析、聲納及地震訊號之分類此外，類神經網路也能從事一些知識處理的工作，並且可以用來作結合記憶。一些求最佳解求最佳解的工作，當然也可能用類神經網路加以指引。由以上得知，類神經網路未來應用的範圍市是相當有潛力的。如果你現在去任何一個電腦商店，也許可以找到用手寫，字體就會在螢幕出現之軟體。這是類神經網路

17、的一種應用研究。第二種應用研究是“說話網路說話網路”（NET-talk），它是一個試著將書寫文章書寫文章轉化為“發音字串發音字串”（phoneticstrings）。此種網路的輸入是以句子形態出現的連續字母之英文文章，而網路的輸出則是輸入文章相對的正確發音符號，最後此發音符號在送至一個語音的產生器，所以觀察的人就會發現此網路是一個學習人類說話的網路。第三種類神經網路的應用研究是適性控制適性控制(adaptive control)。此種類神經網路系統典型的實作是“掃把平衡”(broombalancing)實驗，此實驗最初由Widrow在年做成的。此網路學著在車子最後停留的地方，以將掃柄的頂端倒放

18、置而達平衡的方法來前後移動車子。最近則將此研究，應用於教導機械人的手臂如何去發揮它最佳的工能，並且研究如何使機械人的手臂更加穩定。如今亦有不少研究者，著手教導類神經網路去操控簡單的自主交通工具。在廣大範圍的研究領域，許多其他應用方式正在加緊腳步實驗中。一般常會以結合的記憶體來製作類神經網路。類神經網路的應用，除了上述幾個領域以外，它尚可應用於各式各樣的金融分析上，或訊號(signal)的分析，它可做生化中困難圖案分類工作一樣的好。至於音樂方面，像小提琴弦如何撥弄的問題，即是手指頭與弦搭配問題，目前有人試圖使用類神經網路的方法來產生旋律樂章。十、類神經網路與影像處理影像處理影像處理的目的，是由影

19、像處理的結果為圖形辨認提供一套完整又是最有效的資料，以便作進一步的分析。人類的成像系統是眼球，製造出來的影像是連續的。然而人造的影像系統則必須經由取樣(sampling)及量化(quantization)的過程取得數位影像。對於這些數位影像，我們必須面對一些影像處理的問題：(1)焦距不精準所產生的模糊影像，必須經過加強加強(enhancement)處理手續。(2)影像所含雜訊太多，就需要去雜訊去雜訊(noiseremoval)的手續。(3)為了提供影像中有價值的特徵，必須有邊線偵測邊線偵測的技術。此外，研究範疇上包括：影像轉換(imagetransform)、影像還原(imagerestora

20、tion)、影像編碼(imageencoding)等等。影像處理和影像分析是不同的，因為影像處理的目的是將原始輸入影像進行處理並改進，然後再作輸出；影像分析則是將輸入的影像做一個完整的描述(description)。影像處理可能應用的領域如下：影像的分類：影像的分類：包括Fourier積分轉換函數、某特定轉換函數、知名的影像特徵萃取演算法、數位影像處理技術等等。醫藥自動測試醫藥自動測試：化學混何物的反應常呈現難懂或不均勻的影像，細胞對藥物的反應，異常細胞的區分，皆可由類神經網路來處理這些影像。目標的自動鑑別：目標的自動鑑別：印鑑、指紋、或是軍事上的目標物。不完整圖案的修補：不完整圖案的修補：此

21、時影像須經過(1)重複影像的分割(2)修補圖案的邊界等處理手續。典型的圖形修補實驗，是將訓練網路的圖案同時出現在網路的輸入端和輸出端，直到被訓練網路能在目標輸出端產生與輸入端相同的圖形為止。但是因為備修補圖形本身就可能含有雜訊，因此這種訓練無法使被訓練的神經網路產生百分之百與原圖相符合的結果。另外，目前尚有使用結合式記憶體所建造的神經計算光學系統。工業產品的抽檢：工業產品的抽檢：工業零件的分類、其失效或正常、和瑕疵種類的辨識工作；這些產品或零件所拍攝影像的分類，即可交由類神經網路來擔任。在分類的技術上面，1988年Glover博士曾比較過費氏(fisher)線性鑑別(lineardiscrim

22、inate,FLD)、逆傳網路(back-propagationnetwork,BPN)、Counter-propagationnetwork(CPN)三種分類的方法，一般來說，逆傳網路的性能比上述其他兩種方法來得好。我們在描述一個影像時，除了作邊界偵測外，還需要將影像分割成確定的區域區域(region)或物體物體(objects)，之後在描述各個物體或區域的特性特性和他們之間的關係之間的關係。分割影像時還有一些基本要求：分割手續的標準應該有齊一性(uniformity)、相鄰兩區域齊一性分割時須有一個普遍的準則。八、類神經網路未來的發展過去以人工智慧或邏輯語言為基礎的第五代電腦，與掌管思路的

23、人類左腦左腦相似，類神經電腦則與根據圖形處理或經驗來進行直覺判斷的右腦右腦相似。所以在不久的未來，以類神經網路的平行資訊處理技術，勢必將與逐次資訊處理、人工智慧、專家系統、模糊邏輯(fuzzylogic)等結合，產生出更有彈性的電腦目前的電腦基本上只是一個高速可程式化計算器，它真正能做的只是加減乘除及邏輯運算。它無法主動學習、也無法主動思考。因此人類可以輕易做到的事，如圖形和語音辨認，現在的電腦都沒有辦法輕易的達成，這也形成了自動化產業的重大障礙。類神經網路的靈感源自於腦神經學，其基本概念是希望透過模擬人腦結構的方式來建立新一代的電腦模式。而這個新一代的電腦模式有著如下的優點：l類神經網路的組

24、成單元能夠像真正的腦神經元一樣，具備資訊儲存等基本功能，並且能組織成像腦神經系統一樣具有平行處理和分散儲存功能的構造，因此類神經網路不但能高速進行計算，也具有強健容錯的潛力。類神經網路可以很輕易的由VLSI等電子或光電等硬體技術實踐，使得類神經晶片(neuralchip)在實務上的應用有紮實的基礎，不會是只是理論漂亮但無法付諸實行的方法。l和Fuzzy及專家系統等人工智慧技術與比較之下，類神經網路在數學及統計學方面有著非常扎實的理論基礎，而不是一個強烈依靠經驗法則才能運作的方法。不過這門課會把數學的複雜度降到最低，來強調觀念及應用方法。類神經網路和傳統電腦最大的不同之處在於類神經網路具有學習的

25、能力。舉例而言，我們若要判齗某種銲接點是否有瑕疵，在傳統的電腦上，我們可能必須要經過複雜的影像處理及統計學等相關的學理才能推導出合適的判斷原則。但是如果使用類神經網路，我們只要把若干個正常樣品的及有瑕疵的樣品交給的類神經網路學習，類神經網路就有可能根據這些樣本自行找出判斷這種銲接點是否有瑕疵的準則。這樣的學習能力使類神經網路具有廣泛的應用價值。在基礎研究方面，已成功發展了數種類神經網路的訓練及工資料前處理方法。在應用方面，主要是將類神經網路與數位信號及影像處理的技術結合來解決各種資訊及醫療產業所可能遭遇到的型態鑑別問題。舉例而言目前與高雄榮民總醫院合作發展一套智慧型的型態鑑別系統來判斷肺癌腫瘤

26、單發性結節的良惡性。其中的主要工作包含:l發展影像處理方法以從電腦斷層攝影影像中獨立出單發性結節的部份。l根據過去的臨床經驗及合適的數學方法，建立演算法來求取並選擇能用以區分單發性結節良惡性的各項特徵變數值。l根據良惡性結果已知的單發性結節電腦斷層攝影的資料庫及型態鑑別的理論來建立一套能判斷單發性結節良惡性的類神經網路系統。l測試類神經網路系統的判斷正確率，並將此結果和有經驗的醫師的判斷結果相互比較。目前正在開發的技術還包括l語音生物認證方法。l動態簽名生物認證方法。l半自動影像切割方法。l田口式的特徵變數萃取法。l腦功能核磁共振圖的型態鑑別技術。l小波訊號處理方法l類神經網路委員會的設計方法經過多年的學習，我們相信類神經網路在未來的產業及人類生活中會扮演越來越重要的角色。我們也想信如果我們的工程師沒有經過這方面的訓練，台灣的產業也不可能製造出有這方面先進功能的產品。希望這種事不會在台灣發生。