[發明專利]一種基于改進SMOTE算法的非平衡數據集處理方法及系統

有效

• 申請號: 201911258231.1
• 申請日: 2019-12-10
• 公開（公告）號: CN111782904B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 李剛;李野;楊光;董得龍;孔祥玉;宗淑敏;孫虹;盧靜雅;劉浩宇;翟術然;張兆杰;許迪;趙紫敬;喬亞男;呂偉嘉;顧強;何澤昊;季浩;白濤
• 申請（專利權）人: 國網天津市電力公司電力科學研究院;國網天津市電力公司;國家電網有限公司;天津大學
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06Q50/06
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

1.一種基于改進SMOTE算法的非平衡數據集處理方法，其特征在于：包括如下步驟：

步驟一，首先使用聚類算法將樣本集劃分為特定數目的類簇，根據需要合成樣本的數目，以及各類簇中所包含樣本數量，得出各類簇所占權重以及需要合成的樣本數目；

步驟二，通過輪盤賭的方式進行樣本的選擇，記為少數類樣本集合X:X＝{x₁,x₂,...,x_n}；

步驟三，計算步驟二得出的少數類樣本集合X的重心點；

步驟四，對于少數類樣本集合X中的每一個樣本x₁,x₂,...x_n，以歐式距離為標準計算其到少數類樣本集中所有樣本的距離得到其k近鄰，設定向上采樣倍率為m，從集合X中隨機抽取m組樣本近鄰數km記為集合構建一個少數類小區域的重心點，記為X_c；

步驟五，根據公式p_i＝X_i+rand(0,1)*(X_c-X_i)合成新的少數類樣本p_i，

將集合M中的樣本與新合成樣本p_i分別進行隨機線性插值，并判斷少數類樣本的個數是否小于設定的最低閥值，若不小于，則合成新的少數類樣本p_i并將該少數類樣本p_i添加到數據集中，形成新數據集；若小于，則回到步驟四；

步驟六，判斷新數據集的非平衡率是否小于目標值，若小于則回到步驟四，否則得到最終的數據集。

2.根據權利要求1所述的一種基于改進SMOTE算法的非平衡數據集處理方法，其特征在于：所述使用聚類算法將樣本集劃分為特定數目的類簇的方法,包括如下步驟：

步驟(1)：根據公式計算每個數據點的密度指標

式中r_a是一個正數，定義了該點的鄰域半徑；

步驟(2)：根據公式根據第k次選出的聚類中心，對每個數據點的密度指標進行修正

式中r_b—一個正數，定義了一個密度指標函數減少的領域，選取密度指標最高的數據點x_ck+1作為新的聚類中心；

步驟(3)：根據以下判斷條件判斷退出條件否成立

若不成立，則轉到步驟(2)，式中δ是事先給定的參數，且δ＜1。

3.根據權利要求1所述的一種基于改進SMOTE算法的非平衡數據集處理方法，其特征在于：計算步驟二得出的少數類樣本集的重心點的方法為：

采用向量和歐氏距離的計算方式得到少數類樣本的重心點：

根據公式可以計算出少數類樣本的重心點X_g。

4.根據權利要求1所述的一種基于改進SMOTE算法的非平衡數據集處理方法，其特征在于：所述構建一個少數類小區域的重心點的方法為：從少數類樣本集合X中隨機選取兩個樣本，分別記為X_r1，X_r2，通過三個樣本X_g，X_r1，X_r2求取該小區域的重心點X_c，公式如下：

5.根據權利要求1所述的一種基于改進SMOTE算法的非平衡數據集處理方法，其特征在于：所述合成新的少數類樣本p_i的公式為：

p_i＝X_i+rand(0,1)*(X_c-X_i) (6)

其中，X_i(i＝r₁,r₂)為步驟二中隨機選擇的兩個少數類樣本；p_i(i＝r₁,r₂)為合成的新樣本；rand(0，1)取值同上為(0，1)之間的一個隨機數。