[發明專利]一種快速的神經網絡學習方法

無效

• 申請號: 201110319217.5
• 申請日: 2011-10-19
• 公開（公告）號: CN103065191A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 鄧萬宇;陳琳
• 申請（專利權）人: 西安郵電學院
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一、技術領域

本發明屬于人工智能領域，涉及風險最小化與加權最小二乘理論，公開了一種基于極速神經網絡模型的正則快速學習方法(Regularized?Extreme?Learning?Machine，RELM)。

二、背景技術

單隱藏層前饋神經網絡(SLFN：Single-hidden?Layer?Feedforward?Neural?Network)之所以能夠在很多領域得到廣泛應用，是因為它有很多優點：(1)具有很強的學習能力，能夠逼近復雜非線性函數；(2)能夠解決傳統參數方法無法解決的問題。但另一方面缺乏快速學習方法，也使其很多時候無法滿足實際需要。

對于SLFN的學習能力，很多文獻分別從緊集(compact?input?sets)和有限集(infinite?input?sets)兩種輸入情況進行了深入研究。Hornik研究表明：如果激勵函數連續、有界且不是常量函數，那么SLFN能夠在緊集情況下逼近任何連續函數[1]；Leshno在Hornik基礎的進一步研究表明：使用非多項式激勵函數的SLFN能夠逼近任何連續函數[2]。在實際應用中，神經網絡的輸入往往是有限集，對于有限集情況下SLFN的學習能力，Huang和Babri的進行了研究，結果表明：對于含有N個不同實例的有限集，一個具有非線性激勵函數的SLFN最多只需N個隱藏層結點，就可以無誤差的逼近這N個實例[3][4]。這就是說，一個具有N個隱藏層結點的SLFN，即使輸入權值隨機取值，它也能夠準確擬合N個不同的實例，更明確的講就是：SLFN的學習能力只和隱藏層結點的數目有關，而和輸入層的權值無關。雖然這一點對于提出一種新的學習算法很有啟發，但并未引起研究者的注意，迭代調整的思想一直堅持到現在，很多算法都只是圍繞這一思想進行技巧性的改進。不同于傳統的學習方法，Huang基于以上研究結論為SLFN提出了一種稱為極速學習機(Extreme?Learning?Machine，ELM)的學習方法[5]：設置合適的隱藏層結點數，為輸入權和隱藏層偏差進行隨機賦值，然后輸出層權值然通過最小二乘法得到。整個過程一次完成，無需迭代，與BP相比速度顯著提高(通常10倍以上)。

但是ELM基于經驗風險最小化原理，這可能會導致過度擬合問題[6]。此外因為ELM不考慮誤差的權重，當數據集中存在離群點時，它的性能將會受到嚴重影響[7]。為了克服這些缺點，我們結合結構風險最小化理論以及加權最小二乘方法對ELM算法進行改進，使得ELM在保持“快速”這一優勢的前提下，泛化性能得到進一步的提高。

三、發明內容

本發明的目的在于克服上述現有技術的不足，借鑒ELM的一次學習思想并基于結構風險最小化理論提出一種快速學習方法(RELM)，避免了多次迭代和局部最小值，具有良好的泛化性、魯棒性與可控性。包括以下幾方面內容：

(1)修正代價函數

根據Huang為SLFN提出的一種稱為極速學習機(Extreme?Learning?Machine，ELM)的學習方法[5]，并結合統計學理論可知，實際風險包括經驗風險和結構風險兩種成分[8]。因此一個具有較好泛化性能的模型應該能權衡這兩種風險，并取得最佳的折中。RELM將同時考慮這兩種風險因素，并通過參數γ調節兩種風險的比例。RELM的修正后的代價函數表示為：