[發明專利]一種反饋型人工神經網絡訓練方法及計算系統

有效

• 申請號: 201310358885.8
• 申請日: 2013-08-16
• 公開（公告）號: CN103455843A
• 公開（公告）日: 2013-12-18
• 發明（設計）人: 陳進才;張涵;周西;周功業;盧萍
• 申請（專利權）人: 華中科技大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

技術領域

本發明屬于人工神經網絡計算系統領域，更具體地，涉及一種反饋型人工神經網絡訓練方法及一種反饋型人工神經網絡計算系統。

背景技術

大腦神經突觸聯接是一個神經元的沖動傳到另一個神經元間的相互接觸的結構。上一個神經元的軸突與下一神經元的樹突形成突觸聯接。當上一神經元產生的神經脈沖達到一定強度，神經元由靜息態轉換成興奮態，則神經脈沖從上一神經元通過神經突觸聯接傳導到下一神經元，而下一神經元產生的神經脈沖強度取決于神經突觸的傳導能力；當上一神經元產生的神經脈沖沒有達到這一強度，神經元處于靜息狀態，則其產生的神經脈沖不會傳導到下一神經元。恰好能使上一神經元的神經脈沖傳導到下一神經元的神經脈沖強度稱作神經元閾值。神經突觸的傳導能力稱作突觸權重，突觸權重越大，代表神經突觸傳導能力越強，即該神經突觸上下神經元關系緊密。神經脈沖通過神經突觸從一層神經元傳遞到下一層神經元，如此一層層傳遞形成多層神經網絡。

人工神經網絡是一種模仿大腦神經元通過突觸相互聯接結構的計算系統，能進行信息處理，廣泛應用于自動識別系統，如圖像識別、數據分類等領域。人工神經網絡由大量節點相互聯接構成，節點模擬神經元，他們之間的相互聯接模擬神經突觸。每個節點代表一種特定輸出的函數，稱為激勵函數，節點輸出的信號稱作激勵信號，每兩個節點間的連接都代表一個對于通過該連接信號的加權值，即突觸權重。這相當于人工神經網絡的記憶，網絡的輸出則根據網絡的連接方式，突觸權重和激勵函數的不同而不同。網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

人工神經網絡分為抑制型人工神經網絡和反饋型人工神經網絡。前者是指突觸權重會保持一個固定值；后者指的是在反饋階段人工神經網絡進行學習，神經突觸的傳導能力會按照某種方法產生改變。這種方法改變神經網絡的記憶，使神經網絡能對自然界某種算法或者函數逼近，賦予了神經網絡學習能力，即所謂的訓練方法。

目前公知訓練方法有反向傳播方法（back?propagation?algorithm，BP）、模擬退火方法（Simulated?Annealing，SA）、脈沖時間相關的突出可塑性方法（spike?timing-dependent?plasticity,STDP）等。

雖然現有訓練方法能模擬生物神經網絡，較精確的控制突觸權重的變化，但人工神經網絡通常具有較大規模，包含的節點數目龐大，聯接結構復雜。目前已有應用這些訓練方法的人工神經網絡計算系統，其控制元件較多，控制電路復雜，因此能耗較高，且反饋時人工神經網絡訓練收斂速度較慢。而大多數情況下，并不需要精確控制突觸權重的變化，通過神經網絡的訓練過程也能實現較好的人工神經網絡模擬效果，因此需要一種人工神經網絡計算系統，簡化實現人工神經網絡計算系統的電路復雜程度，減少控制元件數量，降低能耗。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于反饋型人工神經網絡計算系統以及一種反饋型人工神經網絡的訓練方法，其目的在于簡化人工神經網絡訓練方法，減少人工神經網絡控制元件，由此解決現有的人工神經網絡實現復雜，能耗高，收斂慢的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種反饋型人工神經網絡訓練方法，在人工神經網絡反饋訓練時，根據上節點的前饋信號和下節點的反饋信號調整連接該兩節點間神經突觸的權重，具體步驟如下：

（1）人工神經網絡各節點接收輸入信號；

（2）人工神經網絡各節點根據輸入信號和激勵函數進行計算；

（3）人工神經網絡各節點將激勵函數計算結果與節點興奮閾值比較，當計算結果高于或等于節點興奮閾值時，表明該節點產生神經興奮，則節點輸出興奮前饋信號和興奮反饋信號，反之，表明該節點不產生神經興奮，處于靜息狀態，則節點輸出靜息前饋信號和靜息反饋信號；

（4）神經突觸接收上節點的前饋信號和下節點的反饋信號；

（5）當上節點輸出興奮前饋信號且下節點輸出興奮反饋信號時，表明該上節點與下節點關系緊密，則將突觸權重調整到最大值，當上節點輸出靜息前饋信號且下節點輸出興奮反饋信號時，表明該上節點與下節點關系松散，則將突觸權重調整到最小值。