[發(fā)明專利]一種面向大數(shù)據(jù)的特征提取并行處理方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310487250.8
• 申請(qǐng)日: 2013-10-17
• 公開(kāi)（公告）號(hào): CN103577160A
• 公開(kāi)（公告）日: 2014-02-12
• 發(fā)明（設(shè)計(jì)）人: 劉鎮(zhèn);焦弘杰;呂超;錢萍
• 申請(qǐng)（專利權(quán)）人: 江蘇科技大學(xué)
• 主分類號(hào): G06F9/38
• 分類號(hào): G06F9/38
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 樓高潮

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)處理技術(shù)領(lǐng)域，涉及一種特征提取的方法，更具體是涉及一種面向大數(shù)據(jù)的特征提取并行處理方法。

技術(shù)背景

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，如何快速處理大數(shù)據(jù)，并提取出有效信息已經(jīng)成為IT行業(yè)前沿性的研究熱點(diǎn)。“大數(shù)據(jù)”是指一個(gè)體量特別大，數(shù)據(jù)類別多且要求處理速度足夠快的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行提取和管理。

根據(jù)對(duì)現(xiàn)有專利資料的檢索，目前對(duì)大數(shù)據(jù)的處理方法主要有：提高CPU核數(shù)量、建立分布式集群系統(tǒng)和優(yōu)化并行算法等方面。但由于這些方法都僅局限于依賴CPU的運(yùn)算處理能力，加之CPU核的數(shù)量有限、建立分布式集群系統(tǒng)成本較高等因素的制約，對(duì)大數(shù)據(jù)的處理方法和能力仍有待于進(jìn)一步創(chuàng)新和提高。

當(dāng)前，特征提取技術(shù)在圖像處理、模式識(shí)別和網(wǎng)絡(luò)入侵檢測(cè)等方面的運(yùn)用越來(lái)越廣泛，尤其在大數(shù)據(jù)環(huán)境下特征提取的效率已經(jīng)成為制約快速處理數(shù)據(jù)能力的瓶頸。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)大數(shù)據(jù)環(huán)境下，傳統(tǒng)的計(jì)算機(jī)對(duì)數(shù)據(jù)的特征提取主要依靠CPU來(lái)串行完成的現(xiàn)狀，提出一種面向大數(shù)據(jù)的特征提取并行處理方法，使得計(jì)算機(jī)對(duì)特征提取數(shù)據(jù)處理的速度更快，處理能力更強(qiáng)。

為了實(shí)現(xiàn)上述目的，本發(fā)明解決上述問(wèn)題的技術(shù)方案是一種面向大數(shù)據(jù)的特征提取并行處理方法，該方法在硬件允許處理范圍內(nèi)處理大數(shù)據(jù)時(shí)，根據(jù)所要處理的任務(wù)數(shù)據(jù)和特征數(shù)據(jù)，構(gòu)建一個(gè)可并行化操作的矩陣數(shù)組，通過(guò)采用并行處理數(shù)組的方式，對(duì)數(shù)據(jù)進(jìn)行多線程并發(fā)執(zhí)行特征匹配，提取出符合特征的數(shù)據(jù)，并統(tǒng)計(jì)成功提取數(shù)據(jù)的次數(shù)。

根據(jù)上述的技術(shù)方案，本發(fā)明采用并行處理的方法是基于CUDA的架構(gòu)，利用GPU并行計(jì)算能力實(shí)現(xiàn)的。

上述的任務(wù)數(shù)據(jù)需要從CPU傳遞到GPU的存儲(chǔ)單元中，以便使用GPU進(jìn)行并行運(yùn)算。

針對(duì)上述在大數(shù)據(jù)環(huán)境下的并行計(jì)算，實(shí)時(shí)對(duì)緩存區(qū)中的數(shù)據(jù)進(jìn)行特征提取的速率大于或等于數(shù)據(jù)流的發(fā)送速率，并且根據(jù)數(shù)據(jù)流的發(fā)送速率自適應(yīng)的調(diào)整特征提取的并發(fā)寬度，保證動(dòng)態(tài)數(shù)據(jù)流處理的可并發(fā)控制。

上述的特征提取并行處理方法，結(jié)合GPU硬件特性，在其處理能力的范圍內(nèi)，匹配算法采取的利用可并行化矩陣數(shù)組處理數(shù)據(jù)的方法包含以下兩個(gè)步驟，且均并行執(zhí)行。

步驟1：將任務(wù)數(shù)據(jù)和特征數(shù)據(jù)每個(gè)字符依次進(jìn)行并行匹配，形成一個(gè)有效的矩陣數(shù)組。

步驟2：根據(jù)特征數(shù)據(jù)的長(zhǎng)度，并行處理有效數(shù)組，得出正確匹配的結(jié)果，即成功特征匹配的次數(shù)。

上述的特征數(shù)據(jù)的提取過(guò)程，為減少程序運(yùn)行時(shí)不斷讀取特征數(shù)據(jù)的次數(shù)，進(jìn)一步提高運(yùn)算速度，將使用常量?jī)?nèi)存來(lái)存儲(chǔ)特征數(shù)據(jù)key，所述的特征數(shù)據(jù)需要從CPU傳遞到GPU的常量?jī)?nèi)存中。常量?jī)?nèi)存的訪問(wèn)限制為只讀，在第一次從常量?jī)?nèi)存的某個(gè)地址上讀取特征數(shù)據(jù)后，當(dāng)其他線程請(qǐng)求同一個(gè)地址時(shí)，將直接從緩存中讀取特征數(shù)據(jù)，從而節(jié)省時(shí)間。

將上述的任務(wù)數(shù)據(jù)和特征數(shù)據(jù)每個(gè)字符依次進(jìn)行并行匹配，形成一個(gè)有效的矩陣數(shù)組，即根據(jù)任務(wù)數(shù)據(jù)長(zhǎng)度STRLEN和特征數(shù)據(jù)長(zhǎng)度KEYLEN，將任務(wù)數(shù)據(jù)和特征數(shù)據(jù)的每個(gè)字符依次進(jìn)行并行匹配，形成一個(gè)KEYLEN*STRLEN的“01”矩陣數(shù)組，即用矩陣數(shù)組的第i行分別與特征數(shù)據(jù)第i個(gè)字符作比較，相同則記為“1”，不同則記為“0”。

根據(jù)上述的特征數(shù)據(jù)長(zhǎng)度KEYLEN，對(duì)有效數(shù)組的并行處理的方法為：依次并行處理(STRLEN-KEYLEN+1)個(gè)KEYLEN*KEYLEN的小數(shù)組矩陣，判斷它的對(duì)角線數(shù)值是否全為“1”，即先判斷小數(shù)組矩陣對(duì)角線的第一位數(shù)值是否為“1”，如果不是“1”（而是“0”），則不用繼續(xù)判斷下一位數(shù)值，直接轉(zhuǎn)向判斷下一個(gè)小數(shù)組矩陣；如果是“1”，則繼續(xù)判斷對(duì)角線上的下一位數(shù)值是否為“1”，直到對(duì)角線數(shù)值全部為“1”，則有一個(gè)成功的特征提取，記錄成功匹配一次。

附圖說(shuō)明

附圖1為本發(fā)明中針對(duì)大數(shù)據(jù)環(huán)境的特征數(shù)據(jù)提取算法的流程圖。

附圖2為本發(fā)明中針對(duì)大數(shù)據(jù)環(huán)境的特征數(shù)據(jù)提取算法具體實(shí)施方式流程圖。

附圖3為本發(fā)明中任務(wù)數(shù)據(jù)匹配特征數(shù)據(jù)中字符的結(jié)構(gòu)示意圖。

附圖4為本發(fā)明中利用劃分?jǐn)?shù)組的方法，并行處理“01”矩陣數(shù)組的結(jié)構(gòu)示意圖。

附圖5為本發(fā)明中并行處理矩陣數(shù)組的算法流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的內(nèi)容作進(jìn)一步的詳細(xì)介紹。