[發明專利]一種高維數據模式分類方法、裝置及系統

有效

• 申請號: 201610059942.6
• 申請日: 2016-01-28
• 公開（公告）號: CN105760427B
• 公開（公告）日: 2019-04-30
• 發明（設計）人: 張兵;高建威;李利偉;高連如;吳遠峰
• 申請（專利權）人: 中國科學院遙感與數字地球研究所
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本申請公開了一種高維數據模式分類方法、裝置及系統，方法包括：主節點讀取待分類的高維數據，高維數據為三維數組，任意行和列組合對應位置處的數據集合作為一個目標，目標為Bands維列向量，Bands為三維數組的層數；主節點讀取標記有分類類別的訓練樣本集，并在從屬節點中分配存儲空間，將三維數據、訓練樣本集拷貝到對應存儲空間，以供從屬節點啟動若干個線程，每個線程分別利用訓練樣本集，對自身負責的若干個目標進行模式分類計算；主節點將從屬節點計算的各目標的分類結果拷貝到主節點。本申請中主節點負責流程控制，從屬節點負責并行處理高維數據的模式分類計算工作，提高了計算效率。

技術領域

本申請涉及模式分類技術領域，更具體地說，涉及一種高維數據模式分類方法、裝置及系統。

背景技術

現代生活逐漸進入物聯網時代，各種不同類別和功能的實體目標通過數字化描述和網絡通信實現相互聯系，極大提高了生活質量和生產效率。傳感器技術依據電磁波等介質與目標作用原理，能夠經濟便捷地采集實體目標的多種屬性數據，有力支撐了人們對實體目標數字化管理和科學認知。

伴隨著傳感器類型及其應用程度的不斷增加，人們能夠獲取的目標屬性數據的種類和數量不斷增大，通過挖掘蘊含在大量數據中的不同類別的模式信息，為日常生活和科研活動帶來了更多可能。

然而，實際應用中關于目標的屬性數據通常包含數個乃至百千個維度，具有很強的復雜性和巨大的數據量，給模式分類在效率上帶來了很大困難。高維數據模式分類在實際應用中的難點主要體現在：在數據處理環節，高維數據通常數據量大，計算效率低，制約了其在時效性要求比較高的場景中應用。

發明內容

有鑒于此，本申請提供了一種高維數據模式分類方法、裝置及系統，用于解決現有高維數據模式分類計算效率低下的問題。

為了實現上述目的，現提出的方案如下：

一種高維數據模式分類方法，應用于主節點，所述主節點與從屬節點具備通信連接關系，該方法包括：

讀取待分類的高維數據，所述高維數據為由行、列和層組成的三維數組R，其中，任意行和列組合對應位置處的數據集合作為一個目標，目標為Bands維列向量，Bands為三維數組R的層數；

讀取標記有分類類別的訓練樣本集S；

在所述從屬節點中為所述三維數組R分配第一存儲空間DeviceR、為所述訓練樣本集S分配第二存儲空間DeviceS、為分類結果C分配第三存儲空間DeviceC；

將所述三維數組R拷貝到第一存儲空間DeviceR中、將所述訓練樣本集S拷貝到第二存儲空間DeviceS中，以供所述從屬節點啟動若干個線程，每個線程分別利用所述訓練樣本集S，對自身負責的三維數組R中的若干個目標進行模式分類計算，并將各目標的分類結果存儲到所述第三存儲空間DeviceC中；

將從屬節點的第三存儲空間DeviceC中的各目標的分類結果拷貝到本地。

優選地，在所述將從屬節點的第三存儲空間DeviceC中的各目標的分類結果拷貝到本地之后，該方法還包括：

向所述從屬節點發送存儲空間釋放指令，以釋放在所述從屬節點中分配的存儲空間。

優選地，所述主節點為中央處理器CPU，所述從屬節點為圖形處理單元GPU。

一種高維數據模式分類方法，應用于從屬節點，所述從屬節點與主節點具備通信連接關系，該方法包括：

響應所述主節點分配存儲空間的指令，在本地存儲空間中分配第一存儲空間DeviceR、第二存儲空間DeviceS和第三存儲空間DeviceC；