[發明專利]基于Spark大數據平臺的三支決策不平衡數據過采樣方法

有效

• 申請號: 201611244051.4
• 申請日: 2016-12-29
• 公開（公告）號: CN106599935B
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 胡峰;王蕾;歐陽衛華;于洪;王進;雷大江;李智星;瞿原;趙蕊;張其龍
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.一種基于Spark大數據平臺的三支決策不平衡數據過采樣方法，其特征在于，包括以下步驟：

1)、在數據預處理階段，獲取并存儲需要采樣的樣本集，對整個樣本使用Spark進行數據變換，得到歸一化的LabeledPoint格式<label:[features]>的樣本集，然后分成訓練集和測試集；

2)、訓練集劃分階段，采用Spark進行數據變換，求樣本間的距離，確定鄰域半徑，最后根據鄰域三支決策模型將整個訓練集中的樣本劃分成正域樣本，邊界域樣本和負域樣本；

3)、采樣階段，首先利用Spark進行數據變換得到邊界域中每個小類樣本的K近鄰，然后插值采樣，對負域中的樣本通過放大負域中小類樣本的鄰域半徑，篩選非噪聲點，進行過采樣處理操作：對每個非噪聲點找到距離其最近的小類樣本，在以兩者距離為鄰域半徑的鄰域內合成K個新的小類樣本點；

步驟3)利用Spark進行數據變換得到邊界域中每個小類樣本的K近鄰，然后插值采樣包括步驟：對轉化后的type_RDD，調用Filter算子，選擇x_i的類別為小類樣本且x_i的類型為邊界域樣本的記錄，定義為新的BND_RDD；然后與持久化在內存中的RDD進行join操作,篩選得到屬于邊界域的小類樣本，然后調用Map算子，最終得到<x_i的標號,[x_i的特征集]，[x_j的特征集]>,其中x_i和x_j的類別均為小類樣本，且x_i的類型為邊界域樣本，最后調用Map算子根據樣本合成公式合成K個新小類樣本，格式為<類別＝1，[新特征集]>添加到用來存儲新合成的樣本NewSimpleSet；

4)、訓練驗證階段，選取訓練器進行訓練驗證，對采樣前和采樣后的實驗結果對比。

2.根據權利要求1所述的基于Spark大數據平臺的三支決策不平衡數據過采樣方法，其特征在于，所述步驟1)獲取并存儲需要采樣的樣本集，對整個樣本使用Spark進行數據變換，得到歸一化的LabeledPoint格式<label:[features]>的樣本集，然后分成訓練集和測試集具體包括步驟：

首先創建SparkContext對象，然后用textFile URL函數創建分布式數據集RDD，一旦創建完成，這個分布式數據集就可以被并行操作；其次，將每個樣本集轉化成LabeledPoint形式，調用Map算子將<特征1，特征2，…,類別>形式的樣本轉化成<類別：[特征集]>形式,然后采用最大值，最小值進行歸一化，最后調用zipWithIndex算子，給每一條樣本做一個標號，將創建的RDD轉化成<標號，<類別，[特征集]>>形式，最后根據標號將整個數據集劃分成10份，隨機選取一份當作測試集，剩余九份當作訓練集，即采用十折交叉驗證。

3.根據權利要求2所述的基于Spark大數據平臺的三支決策不平衡數據過采樣方法，其特征在于，所述步驟2)中采用Spark進行數據變換，求樣本間的距離具體包括：首先，定義廣播變量bc,即利用SparkContext對象的BroadCast算子將RDD作為廣播變量廣播到每個計算節點上；然后RDD調用mapPartitions算子，計算每個Partition上的樣本與廣播變量中樣本全集的歐式距離，將RDD轉化成<x_i的標號,x_i類別,x_j的標號,x_j的類別，x_i與x_j的距離dis,[x_i的特征集],[x_j的特征集]>格式。