[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201611250179.1
• 申請日: 2016-12-29
• 公開（公告）號: CN106803099A
• 公開（公告）日: 2017-06-06
• 發(fā)明（設計）人: 董超;張霞;趙立軍;崔朝輝
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司11227
• 代理人: 王寶筠

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

將預設訓練集中的數(shù)據(jù)放入第一節(jié)點中；

采用預設的相似度聚類算法將所述第一節(jié)點中的數(shù)據(jù)類聚成組，得到至少兩組數(shù)據(jù)；

對所述至少兩組數(shù)據(jù)進行支持向量機SVM訓練。

2.根據(jù)權利要求1所述的方法，其特征在于，所述將預設訓練集中的數(shù)據(jù)放入第一節(jié)點中之后，還包括：

分析所述數(shù)據(jù)的類別的個數(shù)；

基于所述類別的個數(shù)等于2，將每個類別的數(shù)據(jù)記為一組，對所述兩組數(shù)據(jù)進行SVM訓練；

基于所述類別的個數(shù)大于2，執(zhí)行所述采用預設的相似度聚類算法將所述第一節(jié)點中的數(shù)據(jù)類聚成組步驟。

3.根據(jù)權利要求1所述的方法，其特征在于，所述采用預設的相似度聚類算法將所述第一節(jié)點中的數(shù)據(jù)類聚成組，得到至少兩組數(shù)據(jù)，包括：

依據(jù)預設相似度算法，計算所述訓練集中任意兩個類別的數(shù)據(jù)之間的相似度；

基于所述相似度生成離散度圖；

依據(jù)預設的轉換規(guī)則，將所述離散度圖轉換成最小生成樹；

依據(jù)預設的分割規(guī)則，將所述最小生成樹分割成至少兩組。

4.根據(jù)權利要求3所述的方法，其特征在于，所述依據(jù)預設相似度算法，計算所述訓練集中任意兩個類別的數(shù)據(jù)之間的相似度，包括：

依據(jù)第一類別的數(shù)據(jù)分布和第二類別的數(shù)據(jù)分布，以及所述第一類別和第二類別的距離，計算得到所述第一類別和第二類別的相似度；

具體采用如下公式計算：

${\mathrm{SIM}}_{ij}=\frac{R_i^2+R_j^2}{D_{ij}^2}$

其中，SIM_ij表示第一類別i和第二類別j的相似度，R_i表示第一類別i的數(shù)據(jù)分布，R_j表示第二類別j的數(shù)據(jù)分布，D_ij表示的第一類別i和第二類別j的距離。

5.根據(jù)權利要求3所述的方法，其特征在于，所述基于所述相似度生成離散度圖，包括：

依據(jù)所述相似度，得到任意兩個類別間的離散度，建立離散度矩陣，所述離散度矩陣中包含至少兩個類別，以及類別之間的離散度；

依據(jù)所述離散度矩陣建立離散度圖，所述離散圖中每個節(jié)點表示一個類別，節(jié)點之間的帶權邊表示類別之間的離散度。

6.根據(jù)權利要求3所述的方法，其特征在于，所述最小生成樹中任意兩個節(jié)點之間的帶權邊的權重值表示所述兩個節(jié)點之間的離散度，所述依據(jù)預設的分割規(guī)則，將所述最小生成樹分割成至少兩組，包括：

依據(jù)預設的閾值，將所述最小生成樹中權重值大于所述閾值的邊截斷，以實現(xiàn)將所述最小生成樹被截為至少三個圖；

將每個圖中所有節(jié)點合并為一組，以實現(xiàn)將所述最小生成樹分割成至少兩組。

7.根據(jù)權利要求1所述的方法，其特征在于，所述對所述至少兩組數(shù)據(jù)進行SVM訓練，包括：

依次從所述至少兩組數(shù)據(jù)中獲取每一組數(shù)據(jù)作為一組訓練樣本，分別進行訓練。

8.根據(jù)權利要求1所述的方法，其特征在于，還包括：

依據(jù)分成的至少兩組數(shù)據(jù)，生成與所述數(shù)據(jù)組數(shù)對應個數(shù)的第二節(jié)點；

將每組數(shù)據(jù)依次放入對應的第二節(jié)點中；

將任一第二節(jié)點作為新的第一節(jié)點，并循環(huán)執(zhí)行所述采用預設的相似度聚類算法將所述第一節(jié)點中的數(shù)據(jù)類聚成組，得到至少兩組數(shù)據(jù)步驟。