[發明專利]一種不平衡數據集的過采樣方法

有效

• 申請號: 202010052607.X
• 申請日: 2020-01-17
• 公開（公告）號: CN111259964B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 程陳;孫偉;余蓋青;費若嵐;王長靜
• 申請（專利權）人: 上海海事大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06T7/66
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 包姝晴;張靜潔

本發明公開了一種不平衡數據集的過采樣方法，首先，將獲取的不平衡數據集劃分為正類樣本集和負類樣本集；其次，求解正類樣本集的質心以及距離質心最遠的三個正類樣本，以所求的三個正類樣本為頂點建立三角形；其次，隨機選取其中一個三角形頂點與質心連線，并在所述連線上隨機生成新的正類樣本；其次，利用CCA和GAN思想評估新生正類樣本合理性，對正類樣本集進行更新；最后，更新的正類樣本集的樣本量遠小于負類樣本集時，需要繼續補充正類樣本集，直到更新的正類樣本集與負類樣本集的樣本量平衡。本發明提供的不平衡數據集的過采樣方法算法簡便和數據集分布合理，顯著提高了不平衡數據分類準確性，并通過實驗證明具有良好應用效果。

技術領域

本發明涉及數據挖掘和機器學習領域，具體涉及一種不平衡數據集的過采樣方法。

背景技術

近些年，分類算法取得了長足的發展，但是隨著數據來源的擴大，人們獲得的不平衡數據越來越多。現有分類算法對不平衡數據敏感，直接采用現有分類算法難以對不平衡數據進行準確分類。

在二分類問題中，不平衡樣本數據集是指某一類的樣本數量明顯少于另一類樣本數量，數量占優勢的類別通常稱為負類或多數類，數量稀少的分類通常稱為正類或少數類。相關學者通過大量實驗總結了不平衡數據集異常點、噪聲和某一類樣本數量稀少等問題，得出了分類器在分類預測不平衡數據集時，結果傾向于多數類，造成很大的預測誤差。實際數據集如癌癥診斷、血液樣本中心、網絡信息安全等數據集通常是不平衡的，所以需要改進傳統算法解決數據集不平衡分類問題。

有的學者以隨機向上抽樣為核心思想提出了SMOTE算法(合成少數過采樣技術)，通過人為構造正類樣本使得數據集中負類樣本和正類樣本的數量趨于平衡；也有學者提出了將boosting機器學習思想與樣本構造結合起來，對原始正類樣本中錯誤分類的樣本加大權值，將訓練的許多弱分類器組合成強分類器，減少了對正類樣本的預測誤差；還有學者提出代價敏感學習算法，其核心思想是賦予正類樣本錯判更大的懲罰，正類較負類錯判代價高迫使模型對稀少的正類具有更高的預測正確率。以上算法存在無法控制正類樣本生成區域和樣本生成個數，樣本分布容易邊緣化，算法計算復雜度大，以及耗費時間、效率較低等問題。

發明內容

為了提高對不平衡數據分類準確性，優化算法計算和數據集分布，本發明提出了一種不平衡數據集的過采樣方法。

本發明提出的不平衡數據集的過采樣方法包含以下過程：

步驟S1將獲取的不平衡數據集劃分為正類樣本集和負類樣本集；

步驟S2求解正類樣本集的質心以及距離質心最遠的三個正類樣本，以所求的三個正類樣本為頂點建立三角形；

步驟S3隨機選取其中一個三角形頂點與質心連線，并在所述連線上隨機生成新的正類樣本；

步驟S4評估新生正類樣本合理性，將評估合理的新生正類樣本加入正類樣本集實現對正類樣本集的更新；

步驟S5更新的正類樣本集與負類樣本集的樣本量不等時重復步驟3和步驟4生成新的正類樣本繼續補充正類樣本集，直到更新的正類樣本集與負類樣本集的樣本量平衡。

可選地，步驟S1通過樣本的Class字段值對不平衡數據集X進行劃分，Class字段值為1的樣本劃入正類樣本集X_positive，Class字段值為0的樣本劃入負類樣本集X_negative。

可選地，步驟S2進一步包含以下過程：

設定正類樣本集X_positive中的正類樣本為N個，每一個正類樣本表示為：

x_i＝(x_i1,x_i2,x_i3,...,x_in)???(1)