[發明專利]一種面向大規模數據的并行結構化支持向量機分類方法

在審

• 申請號: 201410185389.1
• 申請日: 2014-05-04
• 公開（公告）號: CN103971136A
• 公開（公告）日: 2014-08-06
• 發明（設計）人: 楊明;郭麗娜;高陽
• 申請（專利權）人: 南京師范大學
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06K9/62
• 代理公司: 南京知識律師事務所 32207
• 代理人: 李媛媛

1.一種面向大規模數據的并行結構化支持向量機分類方法，其特征在于，包括如下步驟：

步驟1，樣本歸一化：對訓練樣本和測試樣本分別進行歸一化到相同的范圍內；

步驟2，求得大規模訓練樣本集結構化信息：由于協方差矩陣往往可以反映樣本的分布信息，因此在Hadoop平臺上分別求得正、負類樣本的協方差矩陣作為樣本的整體結構信息；

步驟3，利用大規模訓練樣本集訓練分類模型；根據并行結構化支持向量機隨機次梯度投影并行執行的方法，在Hadoop平臺上訓練得到并行結構化支持向量機模型；

步驟4，根據分類模型對測試樣本進行分類；根據步驟3訓練得到的并行結構化支持向量機模型，對測試樣本進行分類。

2.根據權利要求1所述的一種面向大規模數據的并行結構化支持向量機分類方法，其特征在于，所述步驟2具體包括如下步驟：

在Hadoop平臺下，大規模訓練樣本被劃分為多個子集，分散地存放在多個數據節點上，求得大規模訓練樣本的協方差矩陣可以借助一個MapReduce任務完成；

為了方便描述，記給定的大規模訓練樣本集其中x_i∈Rⁿ，y_i∈{+1,-1}，將訓練樣本集S分成N個子集，記為i＝1,...,N，y_j∈{+1,-1}；表示S_i中的正、負類樣本，記Σ為樣本的整體協方差，μi+=Σxj+∈Sixj+,μi-=Σxj-∈Sixj-,i=1,...,N;]]>

Map階段：依次掃描當前節點i上的樣本，求得當前節點上樣本分別的μi+=Σxj+∈Sixj+]]>和Ni-,Σi-=Σxj-∈Sixj-xj-T,μi-=Σxj-∈Sixj-;]]>

Reduce階段：將在Map階段求得的N節點的i＝1,...,N信息在Reduce中進行匯總；根據公式其中分別求得大規模訓練樣本的正、負類各自的協方差矩陣和將正負類樣本的協方差矩陣求和得到大規模訓練樣本集整體的協方差矩陣，Σ＝Σ⁺+Σ^-。