[發明專利]基于無標記樣本的RBF神經網絡構建方法及其裝置

無效

• 申請號: 201310654934.2
• 申請日: 2013-12-05
• 公開（公告）號: CN103679267A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 儲榮
• 申請（專利權）人: 河海大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李玉平

1.一種基于無標記樣本的RBF神經網絡構建方法，其特征在于，包括以下步驟：

（S101）選取一個足夠大的正整數m作為隱層神經元數，構建一個三層RBF神經網絡，并給定初始網絡參數；

（S103）利用有標記的樣本集訓練神經網絡直到代價函數收斂到某個給定的很小的閾值e，得到經過訓練的分類器；

（S105）利用有標記和無標記樣本計算隱層神經元的敏感性，并按照敏感性由小到大排序；

（S107）去掉敏感性最小的隱層神經元，得到新結構的RBF神經網絡；

（S109）對新的RBF神經網絡在原有參數的基礎上再次使用有標記的樣本集進行訓練，如果代價函數能夠收斂到某個很小的閾值e，則得到經過參數更新的分類器并重復步驟（S107）、（S109）；如果不能收斂則進入下一步；

（S111）取隱層神經元數最小且能收斂的RBF神經網絡網絡結構為最終的網絡結構，其網絡為最終輸出的分類器。

2.如權利要求1所述的基于無標記樣本的RBF神經網絡構建方法，其特征在于，當神經網絡訓練完成后，設映射關系函數為F(X)，X為輸入向量，假設裁掉的是第j個隱層神經元，那么去掉第j個隱層神經元后神經網絡的映射關系函數變成F_j(X)，定義第j個隱層神經元的敏感性為：

S_j(X)＝E(||F(X)-F_j(X)||²)?????（1）

||·||²是求取·的歐幾里德范數的算符，E為求取期望的算符；

在計算S_j(X)的過程中，S_j(X)可以變形為：

S_j(X)＝∫_Ω(F(X)-F_j(X))²p(X)dX?????（2）

其中Ω是定義域，p(X)為X在定義域Ω中的密度函數，采用有標記的樣本和無標記的樣本一起估計p(X)；

假設(X₁,y₁),(X₂,y₂),…(X_b,y_b)是有標記的樣本集，X_b+1,X_b+2…X_N是無標記的樣本集，那么S_j(X)的一個好的估計是：

Sj(X)=1NΣs=1N(F(Xs)-Fj(Xs))2---(3)]]>

采用（3）式計算隱層神經元的敏感性。

3.一種基于無標記樣本的RBF神經網絡構建裝置，其特征在于，包括：初始模塊、訓練模塊、隱層神經元選擇模塊和輸出模塊；上述模塊按照如下順序依次構建：初始模塊、訓練模塊、隱層神經元選擇模塊、輸出模塊；

（1）初始模塊：其選取一個足夠大的正整數m作為隱層神經元數，構建一個三層RBF神經網絡，并給定初始網絡參數；

（2）訓練模塊：其利用有標記的樣本集訓練神經網絡直到代價函數收斂到某個給定的很小的閾值e，得到經過訓練的分類器；

（3）隱層神經元選擇模塊：其利用有標記的樣本和無標記樣本計算隱層神經元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經元，形成新結構的RBF神經網絡；重新利用有標記樣本集訓練新結構的RBF神經網絡，如果代價函數能夠收斂到某個很小的閾值e，則得到經過參數更新的分類器并重復本步驟；如果代價函數不能夠收斂到某個很小的閾值e，通過輸出模塊最終的分類器；

（4）輸出模塊：取隱層神經元數最小且能收斂的神經網絡網絡結構為最終的網絡結構，并輸出這個網絡為最終的分類器。