[發明專利]一種基于spark的支持向量機參數優選并行粒子群尋優方法

在審

• 申請號: 201710514364.5
• 申請日: 2017-06-29
• 公開（公告）號: CN107247973A
• 公開（公告）日: 2017-10-13
• 發明（設計）人: 劉鵬;仰彥妍;趙慧含;葉帥;尹良飛;王學奎;孟磊
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京瑞弘專利商標事務所(普通合伙)32249
• 代理人: 楊曉玲

1.一種基于spark的支持向量機參數優選并行粒子群尋優方法，其特征在于包括如下步驟：

初始化節點粒子群中所有的節點粒子，并將節點粒子的初始化信息轉化成RDD的形式存儲于數據庫中；

在RDD中針對不同地址坐標參數的節點粒子分別并行的做交叉驗證，節點粒子映射為交叉驗證的正確率、粒子的個體極值，并將RDD中的這些映射結果緩存到服務器內存中，以方便下一次計算時被再次調用；

利用RDD中所有節點粒子的個體極值找到全局極值；

根據全局極值在各個RDD中更新節點粒子；

判斷該全局極值是否達到目標正確率或迭代次數達到上限，達到就退出尋優過程，否則重復對節點粒子分別并行的做交叉驗證。

2.根據權利要求1所述的基于Spark的支持向量機參數優選并行粒子群尋優方法，其特征在于具體步驟如下：

步驟1、利用spark集群平臺的固有定義函數API的轉換操作符map函數，對預設的所有主節點和從節點中的節點粒子進行初始化，從而獲得基于Spark的支持向量機的N個節點粒子的初始化信息包括速度、位置、個體極值、全局極值信息，并將N個節點粒子的初始化信息轉化成彈性分布式數據集RDD的形式保存在數據庫中；

步驟2、在數據庫中彈性分布式數據集RDD中調用spark集群平臺的固有定義函數API的轉換操作符map函數，獲取彈性分布式數據集RDD中各個節點粒子的坐標參數組<c,g>：將帶有不同坐標參數組<c,g>的節點粒子同時并行進行交叉驗證，從而獲取各個節點粒子通過map函數映射為交叉驗證的正確率、節點粒子的個體極值，將各個節點粒子的交叉驗證結果以相互獨立的方式保存在彈性分布式數據集RDD中，使每個粒子都被映射成獨立的新的彈性分布式數據集RDD中；

步驟3：利用集群中所有節點粒子的個體極大值中找到全局極大值；

步驟4：利用集群中節點粒子全局極大值，在彈性分布式數據集RDD中更新每個節點粒子的位置與速度；

步驟5：判斷當前全局極值是否達到預設的目標正確率或當前迭代次數達到預設上限，當滿足任意條件則退出尋優過程，完成整個尋優方法，輸出最后一次的全局極值，否則返回步驟2。

3.根據權利要求2所述的基于spark的支持向量機參數優選并行粒子群尋優方法，其特征在于：所述所有不同的節點粒子的坐標參數組<c,g>，經過map函數映射后，參數c映射為節點粒子x軸方向的位置，參數g映射為節點粒子y軸方向的位置，初始化粒子在x軸方向的速度和在y軸方向上的速度，將不同的節點粒子的坐標參數組<x,y>緩存到內存中去，以便下一次計算時被調用。

4.根據權利要求2所述的基于spark的支持向量機參數優選并行粒子群尋優方法，其特征在于：利用map函數將步驟1的所有粒子映射結果再次進行交叉驗證得到每個粒子的正確率及粒子的個體極值，并將新的映射結果緩存到內存中方便下一次調用。

5.根據權利要求2所述的基于spark的支持向量機參數優選并行粒子群尋優方法，其特征在于在RDD的個體極值找到全局極值的方法為：利用reduce函數對步驟2的映射結果歸納出與N個節點粒子對應的N個個體極值中的最大值，若該最大值大于全局極值，則更新全局極值為最大值，否則全局極值不變。

6.根據權利要求2所述的基于spark的支持向量機參數優選并行粒子群尋優方法，其特征在于根據全局極值更新節點粒子的方法為：利用map函數對步驟4的映射結果映射為更新后粒子的x軸方向的速度和位置，以及y軸方向的速度和位置。