[發(fā)明專(zhuān)利]基于C-K-SMOTE算法的不平衡數(shù)據(jù)集處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911259004.0
• 申請(qǐng)日: 2019-12-10
• 公開(kāi)（公告）號(hào): CN111062425B
• 公開(kāi)（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 郭朝有;許喆;曹蒙蒙;馬硯堃;姚乾
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍海軍工程大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 西安研創(chuàng)天下知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61239
• 代理人: 郭璐

1.基于C-K-SMOTE算法的不平衡數(shù)據(jù)集處理方法，其特征在于，包括以下步驟：

S1：利用Canopy算法對(duì)不平衡數(shù)據(jù)集的少數(shù)類(lèi)樣本進(jìn)行快速近似聚類(lèi)，得到一系列canopy簇；

S2：利用K-means聚類(lèi)算法對(duì)canopy簇再次進(jìn)行聚類(lèi)，得到精準(zhǔn)聚類(lèi)簇；

S3：利用SMOTE算法在每一個(gè)精準(zhǔn)聚類(lèi)簇內(nèi)進(jìn)行插值處理，增加少數(shù)類(lèi)樣本數(shù)量使不平衡數(shù)據(jù)集趨向平衡；

步驟S1的具體操作過(guò)程為：

S11：根據(jù)不平衡數(shù)據(jù)集的特征或者通過(guò)多次交叉實(shí)驗(yàn)確定距離閾值T₁和T₂，其中T₁＞T₂；

S12：在數(shù)據(jù)集中任取一點(diǎn)A，若無(wú)canopy簇存在，則把A點(diǎn)當(dāng)作第一個(gè)canopy簇；若數(shù)據(jù)集中已經(jīng)存在有canopy簇，計(jì)算A點(diǎn)與各個(gè)canopy簇簇心間距離D，則D＝{D₁,D₂,…,D_k}，其中，k為canopy聚類(lèi)簇的簇?cái)?shù)；

S13：比較D與T₁和T₂的大小，若T₂D≤T₁，則點(diǎn)A歸入相應(yīng)的canopy簇，并根據(jù)canopy簇中各點(diǎn)幾何平均值重新調(diào)整canopy簇的簇心；若D≤T₂，則將點(diǎn)A從數(shù)據(jù)集中剔除；若D＞T₁，則將生成一個(gè)新的canopy簇，并以點(diǎn)A作為該canopy簇的簇心；

S14：重復(fù)執(zhí)行步驟S12和S13，直至數(shù)據(jù)集為空，聚類(lèi)結(jié)束，得到一系列canopy簇，每個(gè)canopy簇對(duì)應(yīng)一個(gè)簇心；

步驟S2的具體操作過(guò)程為：

S21：選取步驟S1中canopy簇簇心以外的任一數(shù)據(jù)，計(jì)算其到k個(gè)簇心的距離，并將它重新劃分至距離最近的簇中；

S22：計(jì)算每個(gè)聚類(lèi)簇中所有數(shù)據(jù)樣本的平均值，將其作為新的聚類(lèi)簇簇心，并計(jì)算目標(biāo)函數(shù)E的值；

所述目標(biāo)函數(shù)E的計(jì)算公式為式中，x_i表示數(shù)據(jù)集中第i個(gè)數(shù)據(jù)樣本，ω_j表示第j個(gè)聚類(lèi)簇，z_j表示第j個(gè)聚類(lèi)簇的簇心；

S23：重復(fù)步驟S21和S22，直至E的值達(dá)到收斂條件，聚類(lèi)結(jié)束，得到k個(gè)精準(zhǔn)聚類(lèi)簇；

所述E值的收斂條件為|E₂-E₁|＜ε，其中，ε取0.001，E₁和E₂分別代表前后兩次迭代的目標(biāo)函數(shù)值；

步驟S3的具體操作過(guò)程為：

S31：在每個(gè)精準(zhǔn)聚類(lèi)簇內(nèi)，以簇心與該精準(zhǔn)聚類(lèi)簇內(nèi)的少數(shù)類(lèi)樣本進(jìn)行隨機(jī)線性插值處理，經(jīng)過(guò)插值后可以得到一個(gè)新的合成樣本；

所述隨機(jī)線性插值采用的隨機(jī)插值公式為P_j＝X_i+rand(0，1)×(u_t-X_i)，式中，X_i為少數(shù)類(lèi)樣本，i＝1,2，…n，n為少數(shù)類(lèi)樣本的總數(shù)；u_t為精準(zhǔn)聚類(lèi)簇簇心，t＝1,2，…k；P_j為合成的新數(shù)據(jù)，j＝1,2，…m，m為新合成數(shù)據(jù)的總數(shù)；rand(0,1)表示(0,1)區(qū)間的隨機(jī)數(shù)；

S32：將插值得到的新樣本放入不平衡數(shù)據(jù)集中，得到新的不平衡數(shù)據(jù)集，計(jì)算新的數(shù)據(jù)集的平衡度；

S33：若平衡度達(dá)不到要求，在S32得到的新的不平衡數(shù)據(jù)集的基礎(chǔ)上重復(fù)S31和S32的操作，直至平衡度達(dá)到[0.6，1.0]要求。