QCCNN量子类神经网路架构yor.docx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《QCCNN量子类神经网路架构yor.docx》由会员分享,可在线阅读,更多相关《QCCNN量子类神经网路架构yor.docx(11页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、QCCNN量子類神經網路架構蔡賢亮義守大學資訊管理系jimisu.edu.tw劉榕軒義守大學資訊管理系M9322020stmail.isu.edu.tw摘要到目前為止,已有各式各樣的量子類神經網路模型被提出了。但從研究中,我們發現到多數的模型只是個構想,並沒有提出明確而完整的量子學習法則;只有少數模型有提出量子學習法則,但是我們也發現到這些學習法則是不可行的,因為它們都不能真正的符合量子理論。而從目前已被提出的量子類神經網路的學習法則中,我們發現到Dan Ventura 和 Tony Martinez 提出的以量子搜尋演算法(quantum search algorithm)為基礎的學習法則是
2、最可行的(在論文中,我們將稱此學習法則為量子搜尋學習法則);但這個量子學習法則卻仍存在若干個缺陷,使得這個學習演算法仍有改進之處。為了解決量子搜尋學習法則的缺陷,我們提出一個新的量子類神經網路架構,它結合傳統的cascade correlation 類神經網路(CCNN)的自動建構概念及量子搜尋學習法則,我們稱這個新量子類神經網路架構為量子cascade correlation 類神經網路(QCCNN: quantum cascade correlation neural network)。這個新的架構不但解決了如何決定量子類神經網路大小的問題,也可以減少量子搜尋學習法則在訓練過程花費的時間及
3、空間。從初步的實驗數據顯示,我們提出的QCCNN及其新學習法則確實更有效率、更可行。關鍵字:cascade correlation 類神經網路、量子類神經網路、量子搜尋演算法、錯誤嘗試法。壹、引言傳統領域的類神經網路(NN, neural networks)發展也已有一甲子的歲月了,由於它具有若干著越能力,使得類神經網路成為發展最快速的研究領域之一,而且它也已經被大量地應用在相當多的領域上;但就目前的電腦處理架構而言,實際上,我們並未把類神經網路的平行處理特性發揮出來,我們充其量只是在模擬而已,所以目前類神經網路的實際應用結果乃大大地受限於目前電腦技術。而超大型積體電路的發展也接近瓶頸,新的電
4、腦架構(基因電腦、分子電腦及量子電腦等)研發將是勢在必行,而量子電腦(quantum computers)便是一個方向。如果量子電腦在未來果真的成為事實,那目前科學界上有若干難解或不可能解的問題都將可能不再是難題了(例如,密碼問題)!另外,量子電腦的量子平行處理能力對於類神經網路也將帶來革命性的突破,因為類神經網路的平行處理特性得以藉由量子平行計算技術而完全發揮。而以量子理論為基礎的類神經網路則稱為量子類神經網路(QNN, quantum neural networks)。到目前為止,已有若干量子類神經網路模型被提出了,但多數模型都沒有提出很明確的方法來訓練它們的量子類神經網路,甚至有些模型根
5、本沒有提及要如何去訓練量子類神經網路。例如,Altaisky在2001年提出的模型中,他曾提到使用類似傳統類神經網路的gradient descent學習法則來訓練量子類神經網路,然而,這個訓練法則是否符合量子理論呢?我們曉得其答案是否定的。目前已提出的量子類神經網路類似於傳統類神經網路的論述有,其它的模型則與傳統類神經網路差異極大,例如,quantumdot 類神經網路。而這些被提出的量子類神經網路模型多數是不實用或跟本無法應用量子技術實做。但對於類神經網路而言,學習法則是它們的主要精髓之一,沒有可行的學習法則,它們便失去學習的能力,所以,量子類神經網路要能實現的話,那量子學習法則也是迫切需
6、要的。而Dan Ventura 和 Tony Martinez在2000年首先提出將量子搜尋演算法(quantum search algorithm)應用在量子關連記憶學習上,利用量子搜尋演算法來訓練量子類神經網路。我們發現這是一個確實可行且合乎量子理論的量子學習法則。貳、量子搜尋學習法則傳統類神經網路都是藉由調整權重值來達到學習的目的,但是這種方式似乎是不適用於量子類神經網路;而要訓練量子類神經網路的另一個可行的方法是從所有可能的權重向量集合中,找出一組權重向量能使所有的訓練樣本能被正確地分類。在2000年,Dan Ventura 和 Tony Martinez 首先提出將量子搜尋演算法(q
7、uantum search algorithm)應用在量子關連記憶學習上,利用量子搜尋演算法在量子關連記憶學習上。又在2003年,Ricks和Ventura再次提出利用量子搜尋演算法來訓練量子類神經網路,並且實驗証明其方法的可行性。這也是我們目前發現最可行的量子學習法則。他們利用量子搜尋演算法從所有可能的權重集合中找出一組權重,這組權重需可以成功且正確地分類所有的訓練樣本,而它便是訓練完成後所得到的最後權重。這個作法的基礎想法是利用量子理論的狀態線性疊加(linear superposition)的特性,將所有可能的權重向量疊加在一起,然後使用量子搜尋演算法從中尋求得一組權重向量,使得所有的訓
8、練樣本成功地被分類。到目前為止,量子搜尋演算法是少數已被認定為合乎量子計算領域的演算法之一,而以它為基礎的量子搜尋學習法則也完全合乎量子理論,所以,我們認為這個方法是可行的。他們也成功地將量子搜尋學習法則應用在若干的實際問題上,例如,他們已經成功地利用量子搜尋學習法則解決了 XOR 問題、iris 分類問題、lenses 分類問題及 hayes-roth 問題上。而且從實驗的數據上來看,這個學習法則是確實可行的,而且效能也是相當不錯。由這些實驗的數據更證明了量子搜尋學習法則的可行性。一、量子搜尋演算法Grover在1996年提出量子搜尋演算法,它是少數已被認定為合乎量子計算領域的演算法之一。在
9、N個未排序過的資料中搜尋出給定的資料,若以傳統搜尋演算法需要 次比較,而量子搜尋演算法 次比較。Grover的量子搜尋演算法利用一個稱為quantum oracle call黑盒子,和一個稱為inversion about average量子運算子,來逐步增大給定資料的狀態被測量到的機率。在經過 次運算後,具有最高機率的資料便是我們的搜尋目標。二、量子搜尋學習法則的缺點雖然實驗的數據更證明了量子搜尋學習法則的可行性,但是我們仍發現到量子搜尋學習法則有以下的缺陷:第一,如果要符合全部訓練樣本要被成功分類的 oracle call,我們或許可以找到一組合適的權重向量,但這組權重向量很可能並不是我們
10、需要的,因為它可能有過渡訓練(overfitting)了。若訓練樣本集合中含有若干的錯誤樣本,或訓練樣本含有雜訊時,過渡訓練的發生那就勢必會發生,因為我們很可能需要一個較大的量子類神經網路才有機會將這些有問題的訓練樣本百分之百地分類成功,而訓練完的量子類神經網路不僅記憶正確的樣本,同時也將錯誤的樣本留在記憶中,這對分類未知樣本會造成極嚴重的錯誤,所以讓全數的訓練樣本百分之百分類成功的oracle call是很不恰當的。作者Ricks和Ventura為了解決這個缺陷,他們將量子搜尋演算法中的oracle call做了些許的修改,將oracle call改為不再需要全數訓練樣本被正確分類,而將or
11、acle call設定成訓練樣本正確分類率低於100%(例如,95%)。這個修改確實能解決這個問題,但是我們很難決定oracle call應該設多少才適當。若oracle call設太高的話,很可能沒有任何一組權重能通過它,這將造成每一組權重都擁有相同的機率,也就是沒有一組權重會超過0.5,所以,搜尋失敗!另外,這也可能造成overfitting的問題。第二,當量子搜尋學習法則在尋找一組權重向量時,我們所需花費的空間複雜度(space complexity)是指數成長的(例如,若要搜尋n-bits的資料空間,則所需的空間複雜度為),這對於較複雜的問題或架構較大的量子類神經網路將會是不可行的。作
12、者也提出了片斷權重學習法則(piecewise weight learning rule)來改善此缺陷,它是以隨機選取某個神經元來訓練其權重(其它神經元的權重則凝結不動),所以每個神經元的權重分開獨立訓練,而不在將整個量子類神經網路的所有權重同時訓練。雖然這種方式可以降低空間複雜度的問題,但它卻大大地拉長訓練的時間,因為它必需持續地隨機訓練單一個神經元的權重,直到整個量子類神經網路達到我們的要求為止。第三,不管是傳統或是量子類神經網路,當我們要使用它們來解問題時,我們首先會遇到一個困難,那就是究竟要用多大的類神經網路才合適呢?這個問題其實對於類神經網路的表現是影響重大的,因為太大的架構通常會出
13、現overfitting的現象。另外,對於量子搜尋學習法則來說,大的架構也是需要較多的訓練時間及相當龐大的空間複雜度(如第二點所述),所以,太大的類神經網路架構是不妥當的;然而,太小的架構則會有訓練不足或無法訓練的現象產生,它的訓練過程可能都無法收斂,所以訓練程序是無法結束,只能靠人為中止它,另外,這樣的類神經網路的分類品質必定也不高,所以,小架構的類神經網路也是不妥當的。在他們的實驗中,他們顯示出他們的量子搜尋學習法則的效能,但他們卻沒有告訴我們,實驗中所採用的類神經網路大小是如何制定的。其實,我們可以很容易地猜測到,他們應該是採用傳統類神經網路中的錯誤嘗試法(trial-and-error
14、)來找出一個合適的量子類神經網路,這種作法是不可行的,因為這種做法使得他們將花更多的訓練時間及空間。雖然量子搜尋學習法則仍有上述的缺點存在,不過這個方法還是目前被提出的量子類神經學習法則中是較可行的,其實有些缺點也同樣存在於傳統的類神經網路,而且已經成功地被解決了,例如,類神經網路架構問題就有若干的演算法被提出,而我們也針對這個問題做了不少的研究,提出一系列的方法來讓類神經網路自動建構合適的類神經網路架構,並且獲得相當不錯的成果。所以,我們或許也可以將傳統的解決方法應用到量子類神經網路中,並解決上述的缺點。從這些已被提出的傳統類神經網路演算法中,我們發現傳統的cascade correlati
15、on 類神經網路(CCNN)有很多不錯的特性,它成功的解決了不少傳統類神經網路的問題,而某些相同的問題也同樣困擾著量子類神經網路,而且從它的若干特性中,我們發現這些特性可以應用到量子類神經網路上。參、Cascade Correlation類神經網路(CCNN)以下我們對cascade correlation 類神經網路做些簡略的介紹,並說明他的那些特性可以解決那些量子搜尋學習法則存在的缺陷。傳統類神經網路 cascade correlation 類神經網路是自動建構類神經網路架構的演算法之一,也具有令人稱讚的效能,它的效能也遠遠優於傳統的倒傳遞類神經網路(back-propagation ne
16、ural networks),是一個相當有效率的類神經網路架構。它不像倒傳遞類神經網路是同時訓練整個類神經網路的權重值,它是可以依需求自動地動態建構出多階層(multilayer)的類神經網路,所以它比倒傳遞類神經網路具有快速的學習速率,它可以自己決定自己的網路大小及架構,而且當訓練樣本集合改變時,它不需重新再建構一個全新的網路架構,它可以以先前的網路架構為基礎,再繼續增建已訓練過的類神經網路架構。CCNN 類神經網路在尚未訓練時,它只包含輸入層及輸出層,而經由訓練的過程,它會依需要自動地加入新的隱藏神經元,直到訓練樣本的成功分類率達到我們的要求為止。新的隱藏神經元加入的方法是一個一個依序加入
17、的,而且它每次只需訓練要加入的隱藏神經元(hidden neurons),而其它已存在之神經元及其所屬之權重則被凍結不變,所以 CCNN 類神經網路是可以解決量子搜尋學習法則的第二及第三個缺點。由於CCNN是一次只訓練一個隱藏神經元的權重,所以,每訓練一個隱藏神經元的所有可能權重集合會遠少於整個量子類神經網路的所有權重集合,所以,我們可以大大減少所需的訓練空間複雜度。而我們只要再對 CCNN 類神經網路的自動建構演算法做些修改的話,我們也可以將量子搜尋學習法則的第一個缺點也減到最低的程度。CCNN 類神經網路的學習法則是兩階段式的,第一個階段,是調整輸出層與所有隱藏層及輸入層之間的權重向量,藉
18、由訓練的過程,可以慢慢地降低錯誤函式的值,而當錯誤值變化量小於某一預設門檻時,也就是訓練趨近於穩定時,此一個階段學習程序便中止,並判斷訓練樣本被正確辨識的準確率是否達到我們的要求,若是,則結束整個學習程序,整個類神經網路便建構完成了;否則,便加入一個新的隱藏神經元,並進入第二學習階段。這一階段的學習程序是要調整此新加入隱藏神經元與輸入層及所有已存在之隱藏神經元之間的權重向量,經由訓練的過程,可以慢慢地提升此新神經元輸出值與輸出層的錯誤值的相關值(correlation)。此相闗值愈大則代表此新加入的隱藏神經元可以更降低錯誤值。同樣地,當相關值增加緩慢時,第二階段學習程序便中止,並且把此隱藏神經
19、元的權重凍結。然後便重回第一階段重複執行。這兩個學習階段會被重複地執行,直到訓練樣本的成功辨識率達到要求為止。肆、QCCNN量子類神經網路架構那要如何讓CCNN的自動建構特性融合Bob Ricks 和 Dan Ventura 提出的量子搜尋學習法則呢?我們利用二者的特性來建立量子類神經網路自動建構演算法,它具有CCNN的自動建構特性,也擁有Bob Ricks 和 Dan Ventura 提出的量子搜尋學習法則。用這種方式建構出來的量子類神經網路,我們稱它為quantum cascade correlation類神經網路,簡稱為QCCNN。QCCNN演算法如表一所示。QCCNN類神經網路建構過程
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- QCCNN 子类 神经 网路 架构 yor
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内