[發明專利]基于混合框架的不均衡分類方法、系統、設備和存儲介質

有效

• 申請號: 202110708211.0
• 申請日: 2021-06-24
• 公開（公告）號: CN113378963B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 郭得科;陳銳;羅來龍;陳穎文
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F18/2431
• 分類號: G06F18/2431;G06F18/214
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本申請涉及一種基于混合框架的不均衡分類方法、系統、設備和存儲介質。該方法通過不均衡網絡異常檢測數據集用于驗證我們的混合重采樣的集成模型。通過提出了重采樣方法的組合以減少多數類的數量，從而加快處理速度。并在數據級別處理不均衡數據集，并使用重采樣技術將數據集轉換為均衡分布。通過建立了一個包含12個不同分類器的集成模型，與以前工作中的5個分類器相比，它們提供了更多的選擇。通過使用集成模型對經過上述處理后獲得的略微均衡的數據進行分類，因此，通過提出欠采樣和過采樣的新穎組合，以均衡不同數據類別之間的不均衡性，并以較少的內存開銷加快處理速度。

技術領域

本申請涉及數據處理領域，特別是涉及一種基于混合框架的不均衡分類方法、系統、設備和存儲介質。

背景技術

在當前的大數據時代，數據挖掘和分析在有效決策中占據了越來越重要的地位。在各種數據挖掘技術中，分類分析是應用最廣泛的技術之一，可應用于各種業務和工程問題，例如癌癥預測，流失預測，欺騙檢測，人臉檢測，欺詐檢測等。分類分析是一種有監督的分類器學習問題，用于預測變量，該變量由數量有限的類別組成。通常情況下，分類器學習方法旨在與合理均衡的數據集一起使用。但是，在許多實際情況下，數據集往往是不均衡的。

目前，有兩種主流的方法來解決不均衡分類問題：過采樣可隨機生成現有項目的多個副本以擴展少數類，欠采樣可隨機選擇現有項目的子集以縮小多數類的規模。但是，我們認為，僅僅使用過采樣或欠采樣策略可能不足以適當緩解數據集的不均衡問題。首先，如果僅使用過采樣方法來增加少數類別的數量，那么就時間消耗和訓練成本而言，擴展少數類別以使其具有與多數類別相同的數據量是不切實際的。其次，如果僅使用欠采樣方法縮小多數類別的規模，則數據集的大量減少可能會導致訓練結果不足。生成的模型可能無法區分測試數據集中的這些類。最后，確實有一些工作提到了混合采樣方法，但是對這種方法并沒有明確的描述。因此，社會需要一種混合采樣方法，將過采樣和欠采樣策略結合起來。

數據分類是網絡和分布式系統領域中常用的數據處理方法，近年來引起了廣泛的關注。然而，現有的分類算法主要針對相對均衡的數據集，但現實中的數據通常表現出不均衡的特征。

發明內容

基于此，有必要針對上述技術問題，提供一種基于混合框架的不均衡分類方法、系統、設備和存儲介質。

第一方面，本發明實施例提供了一種基于混合框架的不均衡分類方法，包括以下步驟：

獲取包含有多數類別的訓練數據集D_majority和少數類別的訓練數據集D_minority的給定初始數據集D；

通過隨機欠采樣方法來消除初始數據集D中多數類別的數據樣本，并生成一個新的多數類別據集，采用D_{majority_reduced}數據集表示減少后的子集；

通過隨機過采樣方法來增加初始數據集D中少數類別的數據樣本，并生成一個新的少數類別據集，采用D_{minority_increased}數據集表示增加后的子集；

將D_{majority_reduced}數據集與D_{majority_reduced}數據集相結合生成新的混合數據集D'，將混合數據集D'通過12個分類器訓練集成模型，獲取初始數據集的分類結果。

進一步的，所述通過隨機欠采樣方法來消除初始數據集D中多數類別的數據樣本，并生成一個新的多數類別據集，采用D_{majority_reduced}數據集表示減少后的子集，包括，

通過隨機欠采樣從多數類數據集中進行樣本選擇，并通過預設的類別分布閾值確定樣本類別選擇的比例；

根據減少多數類別數據集的數量，用較少的內存實現相對快速的數據分類處理過程；