[發明專利]一種面向大數據的特征提取并行處理方法

無效

• 申請號: 201310487250.8
• 申請日: 2013-10-17
• 公開（公告）號: CN103577160A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 劉鎮;焦弘杰;呂超;錢萍
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

1.一種面向大數據的特征提取并行處理方法，其特征在于：在硬件處理能力的范圍內，該處理方法包含以下步驟：

步驟1：在GPU上為任務數據和特征數據分配存儲空間；

步驟2：在處理大數據時，根據所要處理的任務數據和特征數據，并行構建一個具有良好并行性的矩陣數組；

步驟3：通過采用并行處理矩陣數組的方法，對數據進行多線程并發執行特征匹配；

步驟4：提取出符合特征的數據，并統計成功提取數據的次數。

2.根據權利要求1所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的采用并行處理矩陣數組的方法是基于CUDA的架構，利用GPU并行計算能力實現的。

3.根據權利要求1所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的任務數據需要從CPU傳遞到GPU的存儲單元中，以便使用GPU進行并行運算。

4.根據權利要求1所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的提取出符合特征的數據，在大數據環境下，實時對緩存區中的數據進行特征提取的速率大于或等于數據流的發送速率，并且根據數據流的發送速率自適應的調整特征提取的并發寬度，保證動態數據流處理的可并發控制。

5.根據權利要求1所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的對數據進行多線程并發執行特征匹配，結合GPU硬件特性，在其處理能力的范圍內，匹配算法采取的利用可并行化矩陣數組處理數據的方法包含以下兩個步驟，且均并行執行：

步驟1：將任務數據和特征數據每個字符依次進行并行匹配，形成一個有效的矩陣數組；

步驟2：根據特征數據的長度，并行處理有效數組，得出正確匹配的結果，即成功特征匹配的次數。

6.根據權利要求1和5所述的面向大數據的特征提取并行處理方法，其特征在于：所述的特征數據需要從CPU傳遞到GPU的常量內存中，使用常量內存來存儲特征數據key，常量內存的訪問限制為只讀，在第一次從常量內存的某個地址上讀取特征數據后，當其他線程請求同一個地址時，將直接從緩存中讀取特征數據。

7.根據權利要求5所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的步驟1的并行匹配是，根據任務數據長度STRLEN和特征數據長度KEYLEN，將任務數據和特征數據的每個字符依次進行并行匹配，形成一個KEYLEN*STRLEN的“01”矩陣數組，即用矩陣數組的第i行分別與特征數據第i個字符作比較，相同則記為“1”，不同則記為“0”。

8.根據權利要求5所述的一種面向大數據的特征提取并行處理方法，其特征在于：所述的依次并行匹配時根據特征數據長度KEYLEN，依次并行處理(STRLEN-KEYLEN+1)個KEYLEN*KEYLEN的小數組矩陣，判斷它的對角線數值是否全為“1”，即先判斷小數組矩陣對角線的第一位數值是否為“1”，如果不是“1”（而是“0”），則不用繼續判斷下一位數值，直接轉向判斷下一個小數組矩陣；如果是“1”，則繼續判斷對角線上的下一位數值是否為“1”，直到對角線數值全部為“1”，則有一個成功的特征提取，記錄成功匹配一次。