[發明專利]一種用于不平衡數據的基于X-mean和樣本錯分類率集成分類方法

在審

• 申請號: 201810991730.0
• 申請日: 2018-08-28
• 公開（公告）號: CN109063787A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 王穎;汝吉東
• 申請（專利權）人: 齊齊哈爾大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 齊齊哈爾鶴城專利事務所 23207
• 代理人: 劉麗

1.一種用于不平衡數據的基于X-mean和樣本錯分類率集成分類方法，其特征在于：包括以下步驟：

步驟1.基于X-mean算法的樣本子集構建方法

設訓練集S＝{S_neg，S_pos}，我們采用K-means算法對反例樣本進行聚類，對于給定的反例樣本集D，其中含有n個樣本；設定閾值為正反例樣本比例T，將反例樣本劃分為T個簇，分別為K₁，K₂，..…，K_t，其中，K_i，K_j∈D，即各簇之間交集為空，劃分的T個簇具有簇內相似，組間相異特點；

對于任意的簇K_i，定義k_m為它的質心，質心通過簇內特征集平均值方法獲得，而簇內任意樣本k_n與質心的距離定義為dist(k_n，k_m)，將簇K₁的質量E定義為簇內所有樣本特征集與質心距離的平方和，如下：

通過計算期初最優距離分布，使樣本在所在簇內距離最小，而與其他簇距離最大，簇與簇之間最大程度相互獨立；基于K-means算法構建質心近距離訓練樣本平衡方法偽代碼描述為：

步驟2.弱分類器平衡數據子集構建

正反例數據比為T，將所有反例樣本分為T組，對于每一組，選取T分之一距離聚類質心距離最近的樣本被選取構成訓練子集1的反例樣本S_neg1；接下來S_neg1與所有正例樣本S_pos聯合構成平衡的訓練子集1 S₁，即

S₁＝S_neg1∪S_pos

接下來，訓練第一個弱分類器，訓練集S采用該分類器進行分類，而且，錯分類樣本集1S_incor1與訓練子集1S₁一起構成新的訓練子集2 S₂用來訓練下一個分類器；因此，訓練子集S_i定義為：

S_i＝S_pos∪S_neg1∪S_incorr(i-1)∪S_incorr(i-2)…∪S_incorr1

步驟3.弱分類器構建

分類器輸入為所有候選者，輸出為每一候選為真的概率，最后，根據實際情況確定選取需要結果，弱分類器選擇貝葉斯、支持向量機、隨機森林和決策樹算法中的一個；

步驟4.基于AdaBoost算法集成分類器構建

基于AdaBoost算法集成分類器構建算法描述如下：

設有訓練集樣本S＝{(x_i，y_i)|i＝1，2，...n}，其中x_i∈X為樣本，y_i∈Y＝(+1，-1}為樣本類別，

第一步，初始化樣本權值，設定訓練集S在第t輪訓練中樣本x_i權值為D_t(i)，其中第一輪樣本權值初始化為：

D₁＝(P₁₁，P₁₂…P_1i...，P_1N)，P₁₁＝P₁₂＝…＝P_1N＝1/N

第二步，訓練弱分類器，在訓練過程中，給定每一個樣本為真概率，選取概率最大候選者類別為+1，其他候選者類別為-1，即分類器G_t(X)：X→{-1，+1}；

第三步，設定訓練輪數T；

第四步，定義訓練集S的權值分布：

D_t＝{P_t1，P_t2，...，P_tN}

其中D_t是由每個樣本權重組成向量集。從訓練集S中，根據樣本權重構建訓練子集S_t；

第五步，計算訓練子集錯分率，假定G_t(X)：X→Y}，樣本錯分率：

第六步，計算樣本及分類器權重，分類器權重為：

樣本集權重更新為：

D_t+1＝(P_t+1，1，P_t+1，2…P_t+1，i…，P_t+1，N) (8)式(8)中，

式(9)中，z_t定義為下一輪訓練集權重，是一個一般化常量，定義為：

最后，根據各弱分類器G_t(X)及其權重集成分類器，定義為：