[發明專利]基于距離樣本約簡的BP分類器改進方法

在審

• 申請號: 201711095565.2
• 申請日: 2017-11-09
• 公開（公告）號: CN107862336A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 聞佳;鄧佳
• 申請（專利權）人: 燕山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 秦皇島一誠知識產權事務所(普通合伙)13116
• 代理人: 續京沙

技術領域

本發明屬于基于距離樣本約簡的BP分類器(Improved BP Classifier via Distance for Sample Reduction簡稱DRBP)改進方法，涉及一種物體的多分類方法，特別是一種基于距離樣本約簡的BP分類器改進的方法。

背景技術

在過去的人工神經網絡模型研究課題中,BP神經網絡具有結構嚴謹簡單,并行性強,計算量少,自學習功能等優勢,一直備受眾多研究人員和研究機構的關注。特別在分類領域中,也一直是一個熱點研究對象。然而,影響網絡泛化能力的因素除了要具備好的分類器,可靠的數據集同樣重要。所以從數據集的角度,提高分類性能的方法被很多研究人員研究，但是幾個關鍵的問題仍然沒得到充分的解決。

一個模式分類系統一般有以下幾個要素組成：數據集篩選，分類器設計，檢測系統評估。首先數據集篩選，數據集在進入分類器之前，是存在大量冗余的，而數據集篩選是在保護絕大多數樣本信息的基礎上，剔除絕大多數冗余樣本；然后分類器設計，這是根據訓練樣本使用某種分類器算法生成的分類物體的模型，BP分類器在模式識別的分類領域中是一種常用的技術，在此領域有著廣泛的應用。最后的檢測系統評估，這是對之前構建的分類器泛化能力的檢測。在這幾個階段中，數據集篩選工作尤為重要，它能夠非常有效的降低分類模型的計算量，提高分類器的泛化能力。

一個數據集可以用數據量，數據分布以及數據特征來描述。數據篩選，即在不影響分類系統原有功能的表達基礎之上，將一些不重要的，冗余的數據去掉。根據傳統BP分類器訓練過程，我們發現所有數據集都會貫穿BP分類器訓練的整個過程，其中，包括大多數冗余的樣本，而這些冗余樣本，不僅對分類器分界面的訓練毫無意義，而且，他們的存在，還會耗費大量計算時間，降低整個分類器訓練的收斂速度。

發明內容

本發明要解決的技術問題是針對現有技術的不足,提出一種基于距離樣本約簡的BP分類器改進的方法，將樣本約簡與BP分類器融為一個階段，能夠在BP分類器訓練的過程中去除冗余樣本，加快分類器收斂速度，減少時間消耗，提高整體BP分類器泛化能力。

本發明是通過以下技術方案實現的：

一種基于距離樣本約簡的BP分類器改進的方法，該方法內容包括以下步驟：

步驟1基于樣本權重的BP分類器訓練：將樣本約簡與BP分類器訓練融為一個階段，用“凈化”的樣本，訓練BP分類器；

步驟2樣本約簡：對樣本進行約簡處理，去除對分類邊界毫無影響的遠離分類邊界的冗余樣本；

步驟3待測樣本分類結果：用待測樣本對訓練好的BP模型進行多分類檢測，輸出分類結果，比較輸出的待測樣本分類類別是否與其本身類別標簽一致；計算與標簽不一致的分類結果占總待測樣本的比例，最后根據這個比例體現分類器的性能。

其中，在步驟1中，所述將樣本約簡與BP分類器訓練融為一個階段，用“凈化”的樣本訓練BP分類器，就是一個邊約簡邊訓練的過程，就是對基于距離樣本約簡的BP分類器進行訓練；這里所述“凈化”的樣本就是指約簡后的樣本，對基于距離樣本約簡的BP分類器進行訓練過程如下：

1)輸入：數據集D,這是一個帶有標簽的數據集；權重上線wt；權重下線wb；權重增量dw；

2)初始化：初始化網絡結構，設置網絡參數，數據集交叉歸一化處理初始化樣本權重為將原樣本初始化成新訓練樣本NewTrain←train；

3)更新:更新新訓練樣本，其更新過程如下：

①對新訓練樣本隨機打亂順序,分成數量基本相同的m批

②用新訓練樣本分批訓練BP網絡；

③用原訓練樣本檢測上一步訓練好的BP網絡f(x),得到均方誤差e,以及分類正確的樣本S_good和分類錯誤的樣本S_bad；

④更新樣本權重然后歸一化樣本權重[wb,wt]；

⑤根據樣本權重大小,以初始化樣本權重為權重閾值，將大于權重閾值樣本權重的樣本劃分為邊界樣本X_bad，將小于權重閾值樣本權重的樣本劃分為核樣本X_good；

⑥執行samples_reduction,進行樣本約簡,獲取新訓練樣本X_new；

⑦重復步驟①到步驟⑥,直到迭代次數達到上限為止；

4)輸出：輸出分類性能強的BP分類器。

更進一步，在步驟3中，所述待測樣本分類結果如下：