[發(fā)明專利]一種基于改進的SMOTE算法的不平衡數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 202010832796.2
• 申請日: 2020-08-18
• 公開（公告）號: CN111967520A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 王國濤;呂冰澤;孫志剛;梁曉雯;燕會臻
• 申請（專利權(quán)）人: 黑龍江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 哈爾濱市松花江專利商標事務(wù)所 23109
• 代理人: 劉強

1.一種基于改進的SMOTE算法的不平衡數(shù)據(jù)處理方法，其特征在于包括以下步驟：

步驟一：利用支持向量機算法對數(shù)據(jù)集進行初步分類，分離出錯誤分類的少數(shù)類樣本，然后遍歷錯誤分類樣本中每個樣本點，統(tǒng)計選定樣本的K個近鄰樣本中的同類樣本的數(shù)目K*，若K*為零，則該樣本判定為噪聲樣本，將其刪除；

步驟二：利用K-means聚類算法對去除噪聲后的少數(shù)類樣本進行聚類處理，得到少數(shù)類樣本的中心點x_i，然后求得當前樣本點到中心點x_i的歐幾里得距離d，并計算所有距離的平均值d_mean，然后生成新樣本，使生成的樣本數(shù)量與原數(shù)據(jù)集中兩類樣本之間數(shù)量的差值相等后輸出數(shù)據(jù)集；

生成新樣本的具體步驟為：

步驟A：將平均距離d_mean與d之間的比例，記做M；

步驟B：統(tǒng)計少數(shù)類樣本u_i的近鄰樣本的屬性值，即近鄰樣本中同類樣本的數(shù)量a，當同類樣本的數(shù)量a大于近鄰樣本總數(shù)的一半時，則降低新樣本生成的倍率，即M，當同類樣本的數(shù)量a不大于近鄰樣本總數(shù)的一半時，則提高新樣本生成的倍率；

步驟C：根據(jù)每個少類樣本、少數(shù)類樣本中心、歐式距離d及所有距離的平均值d_mean生成新樣本。

2.根據(jù)權(quán)利要求1所述的一種基于改進的SMOTE算法的不平衡數(shù)據(jù)處理方法，其特征在于所述步驟C中生成新樣本的公式為：

x_new＝u_i+rand(0，M)*(x_i-u_i)

其中，x_new為新生成的樣本，u_i為每一個少數(shù)類樣本，x_i是少數(shù)類樣本中心，

rand(0，M)是在0到M之間生成的一個隨機數(shù)。

3.根據(jù)權(quán)利要求2所述的一種基于改進的SMOTE算法的不平衡數(shù)據(jù)處理方法，其特征在于所述步驟二中使生成的樣本數(shù)量與原數(shù)據(jù)集中兩類樣本之間數(shù)量的差值相等后輸出數(shù)據(jù)集的具體步驟為：當新生成樣本數(shù)量等于原數(shù)據(jù)集中兩類樣本之間數(shù)量的差值時，輸出此時的數(shù)據(jù)集，當合成的新樣本數(shù)量大于差值時，則在新生成的樣本中去除新生成的邊界樣本，直到多數(shù)類和少數(shù)類的樣本數(shù)量相等后，輸出此時的數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的一種基于改進的SMOTE算法的不平衡數(shù)據(jù)處理方法，其特征在于所述K為5。