[發明專利]基于無標記樣本的RBF神經網絡構建方法及其裝置

無效

• 申請號: 201310654934.2
• 申請日: 2013-12-05
• 公開（公告）號: CN103679267A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 儲榮
• 申請（專利權）人: 河海大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李玉平

技術領域

本發明涉及神經網絡設計時的網絡構建方法及其裝置，尤其涉及一種可有效提高神經網絡分類效率或回歸效率的網絡構建方法及其裝置，屬于智能科學與技術中的機器學習領域。

背景技術

在設計RBF神經網絡分類器時，如何確定神經網絡的結構是一個重要而且關鍵的步驟。針對具體問題構建一個合適的網絡對提高分類精度、泛化能力都有巨大的幫助。目前廣泛使用的是三層神經網絡。文獻已經證明，三層神經網絡當第二層（也稱隱層、中間層）神經元數增多時可以逼近任何連續函數。在具體應用中，三層神經網絡的第一層神經元數依賴于輸入變量的維數，第三層神經元數依賴于輸出變量的維數。因為輸入變量和輸出變量的維數一般都是確知的，所以第一層和第三層神經元的個數一般也是確定的。對于三層神經網絡的網絡構建實際上是確定第二層神經元數目的一個過程。

在訓練神經網絡的時候，通常使用有監督的學習方法。有監督的學習方法是指在訓練神經網絡的過程中通過告訴網絡輸入和相對應的輸出來調節網絡參數，達到訓練神經網絡的目的。在這個過程中需要使用有標記的訓練樣本。訓練樣本的標記一般是由專家來完成的，這往往要花費大量的金錢和時間代價。在實際應用中，無標記的樣本比有標記的樣本要容易獲得的多。例如在某些互聯網應用中，由專家標記的有標記樣本和無標記樣本相比只占很少的一部分。能否使用那些沒有標記的樣本幫助輔助確定網絡的最優結構就變得很有必要。

對于三層RBF神經網絡，確定隱層神經網絡的方法主要有：

1）增枝法。這個方法確定隱層神經元數量的過程是首先選擇一個很小的隱藏神經元數。由于隱層神經元數太少，所以網絡的結構太簡單，導致使用訓練樣本訓練神經網絡不成功。數學上的表征就是誤差不收斂。在這個隱層神經元數量的基礎上一個一個地增加隱層神經元數量，每增加一個隱層神經元重新訓練一次網絡，直到隱層神經元數量增加到某一數量時神經網絡能夠訓練成功為止。能夠使得神經網絡訓練成功的最小隱層神經元數量就是我們需要尋找的隱層神經元數。

2）減枝法。這個方法與增枝法相反，它的操作方法是首先確定一個足夠大的隱層神經元數來構造一個三層神經網絡，在這個結構下能夠使用有標記的樣本很容易地訓練好神經網絡。然后對隱層神經元去除一個，在去除之后的網絡基礎上使用有標記的樣本進行訓練，使得網絡再次訓練完成。重復上述去除過程，直到網絡訓練不能完成為止。這時候取最小能完成的隱層神經元數量作為最終確定的隱層神經元數。增枝法和減枝法背后的理論基礎是統計學習理論要求對于一個具體的分類問題分類器要有一個合適的復雜度，保證既不過擬合也不欠擬合。只有這樣的分類器才能具有最好的泛化能力。對于三層RBF神經網絡這樣的分類器而言，網絡復雜度就體現在隱層神經元的數量上，神經元數量太少網絡欠擬合，訓練不能完成，神經元數量太多網絡過擬合，泛化能力差。

3）經驗法。這種方法確定隱層神經元數需要對具體問題所涉及的領域有深刻的理解，從而憑借經驗確定隱層神經元的數量。即使這樣也不能保證所取的隱層神經元數量是最優的。

對于上述方法減枝法目前使用較多。在具體的減枝過程中，首先減去哪個隱層神經元、其次減去哪個隱層神經元對于確定最終的網絡結構非常重要。一般認為每個隱層神經元在訓練過程中起到的作用或者重要程度是不一樣的。理論上首先去掉對分類沒有作用的或者不重要的神經元可以使得最終訓練完成的神經網絡的泛化性能更好。如何利用無標記的樣本來輔助確定隱層神經元以更好地確定網絡就變得非常重要。

發明內容

發明目的：針對現有技術中存在的問題，本發明提供一種基于無標記樣本的RBF神經網絡構建方法及其裝置。

技術方案：一種基于無標記樣本的RBF神經網絡構建方法，包括以下步驟：

（S101）選取一個足夠大的正整數m（m最大不超過訓練樣本的個數）作為隱層神經元數，構建一個三層RBF神經網絡，并給定初始網絡參數；

（S103）利用有標記的樣本集訓練神經網絡直到代價函數收斂到某個給定的很小的閾值e（e取值小于10的-2次方），得到經過訓練的分類器；

（S105）利用有標記和無標記樣本計算隱層神經元的敏感性，并按照敏感性由小到大排序；

（S107）去掉敏感性最小的隱層神經元，得到新結構的RBF神經網絡；

（S109）對新的RBF神經網絡在原有參數的基礎上再次使用有標記的樣本集進行訓練，如果代價函數能夠收斂到某個很小的閾值e，則得到經過參數更新的分類器并重復步驟（S107）、（S109）；如果不能收斂則進入下一步；