[發(fā)明專利]基于拒識子空間的分層支持向量機(jī)分類方法

有效

• 申請?zhí)枺?/td>: 201310390468.1
• 申請日: 2013-08-30
• 公開（公告）號: CN103473556A
• 公開（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 徐貴標(biāo);胡包鋼
• 申請（專利權(quán)）人: 中國科學(xué)院自動(dòng)化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 梁愛榮

1.一種基于拒識子空間的應(yīng)用于非平衡大數(shù)據(jù)分類的分層支持向量機(jī)分類方法，其特征在于，該分類方法包括如下的步驟：

步驟S1：將數(shù)據(jù)集按照比例分為訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集；確定分層支持向量機(jī)的總層數(shù)h；

步驟S2：根據(jù)訓(xùn)練數(shù)據(jù)集規(guī)模為支持向量機(jī)層疊訓(xùn)練法選擇核函數(shù)，并利用支持向量機(jī)層疊訓(xùn)練法在訓(xùn)練數(shù)據(jù)集上訓(xùn)練第k層支持向量機(jī)，k表示某一分層的支持向量機(jī)；

步驟S3：在驗(yàn)證數(shù)據(jù)集上，利用基于互信息的代價(jià)缺失學(xué)習(xí)獲得第k層支持向量機(jī)的正負(fù)類樣本拒識閾值，進(jìn)而確定第k層支持向量機(jī)的拒識子空間；

步驟S4：利用第k層支持向量機(jī)的拒識子空間分別在訓(xùn)練數(shù)據(jù)集上和驗(yàn)證數(shù)據(jù)集上篩選出拒識訓(xùn)練數(shù)據(jù)集和拒識驗(yàn)證數(shù)據(jù)集，篩選出的拒識訓(xùn)練數(shù)據(jù)集和拒識驗(yàn)證數(shù)據(jù)集分別是下一層支持向量機(jī)的訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集，利用篩選出的訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集重復(fù)執(zhí)行步驟S2至步驟S4，直到分層支持向量機(jī)的層數(shù)達(dá)到總層數(shù)h，則執(zhí)行步驟S5；

步驟S5：給定一個(gè)測試樣本，根據(jù)分層支持向量機(jī)的層次結(jié)構(gòu)判定其類別。

2.根據(jù)權(quán)利要求1所述的應(yīng)用于非平衡大數(shù)據(jù)分類的分層支持向量機(jī)分類方法，其特征在于，步驟S2中所述支持向量機(jī)層疊訓(xùn)練法的訓(xùn)練步驟如下：

步驟S21：分析訓(xùn)練數(shù)據(jù)集的大小和正負(fù)類樣本的結(jié)構(gòu)，將訓(xùn)練數(shù)據(jù)集隨機(jī)等分為m個(gè)子訓(xùn)練數(shù)據(jù)集；

步驟S22：在m個(gè)子訓(xùn)練數(shù)據(jù)集上分別訓(xùn)練支持向量機(jī)，并提取出各個(gè)支持向量機(jī)的支持向量集SVs1；

步驟S23：將支持向量集SVs1兩兩組合，在組合的支持向量集上訓(xùn)練支持向量機(jī)并提取支持向量集SVs2，上述的兩兩組合，訓(xùn)練和提取的過程依層次進(jìn)行，一直持續(xù)到獲得一個(gè)整體的支持向量機(jī)，提取出整體的支持向量機(jī)的支持向量集，并將之反饋給初始的m個(gè)子訓(xùn)練數(shù)據(jù)集，重復(fù)執(zhí)行步驟S22和步驟S23q次，然則執(zhí)行步驟S24；

步驟S24：最后一次執(zhí)行步驟S22和步驟S23獲得的整體的支持向量機(jī)是在全體訓(xùn)練數(shù)據(jù)集上收斂的最優(yōu)的支持向量機(jī)。

3.根據(jù)權(quán)利要求1所述的應(yīng)用于非平衡大數(shù)據(jù)分類的分層支持向量機(jī)分類方法，其特征在于，步驟S3中所述用基于互信息的代價(jià)缺失學(xué)習(xí)構(gòu)建拒識子空間的步驟如下：

步驟S31：設(shè)定第k層支持向量機(jī)的正負(fù)類樣本的初始拒識閾值；

步驟S32：利用第k層支持向量機(jī)和設(shè)定的初始拒識閾值，獲得驗(yàn)證數(shù)據(jù)集的分類混淆矩陣，計(jì)算該分類混淆矩陣的互信息；

步驟S33：利用Parzen?Window非參數(shù)估計(jì)法在驗(yàn)證數(shù)據(jù)集上估計(jì)位于拒識閾值處正負(fù)類樣本的條件概率密度與條件概率密度的導(dǎo)數(shù)，從而獲得分類混淆矩陣互信息的梯度與Hessian矩陣；

步驟S34：利用牛頓法，獲得經(jīng)過一步迭代優(yōu)化的拒識閾值，重復(fù)執(zhí)行步驟S32至步驟S34，直到獲得牛頓法迭代收斂的結(jié)果，然則執(zhí)行步驟S35：

步驟S35：牛頓法迭代收斂獲得的拒識閾值是互信息最優(yōu)的拒識閾值，構(gòu)成了第k層支持向量機(jī)的拒識子空間。

4.根據(jù)權(quán)利要求1所述的應(yīng)用于非平衡大數(shù)據(jù)分類的分層支持向量機(jī)分類方法，其特征在于，步驟S5中所述的具體分類過程是：首先，將測試樣本輸入到第1層支持向量機(jī)，如果第1層支持向量機(jī)判定該測試樣本的類別則分類過程結(jié)束；如果第1層支持向量機(jī)拒識該測試樣本則將該測試樣本輸入到第2層支持向量機(jī)，讓第2層支持向量機(jī)判定該測試樣本的類別；上述的分類過程一直持續(xù)到該測試樣本獲得類別標(biāo)簽。

5.根據(jù)權(quán)利要求1-4所述的應(yīng)用于非平衡大數(shù)據(jù)分類的分層支持向量機(jī)分類方法，其特征在于，分層支持向量機(jī)分類方法采用一對多訓(xùn)練判別準(zhǔn)則能夠并行化處理多類分類問題。