[發(fā)明專利]基于GPU的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的設(shè)計

無效

• 申請?zhí)枺?/td>: 201010508723.4
• 申請日: 2010-10-15
• 公開（公告）號: CN102081641A
• 公開（公告）日: 2011-06-01
• 發(fā)明（設(shè)計）人: 黃冬梅;張弛;趙明;何世鈞;何盛琪;馮國富;方的茍;侯澤東;方錢;廖娟
• 申請（專利權(quán)）人: 上海海洋大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種實時數(shù)據(jù)流高速匹配分析系統(tǒng)的設(shè)計，尤其是利用GPU提高實時數(shù)據(jù)流匹配查詢速度的設(shè)計。

背景技術(shù)

實時數(shù)據(jù)流檢測和存儲成為了數(shù)據(jù)流檢測業(yè)務(wù)的瓶頸，如何設(shè)計出一種全新的海量數(shù)據(jù)階段化存儲裝置，該裝置的特點是可以將分布式工作站中的數(shù)據(jù)定期進行歸類整理，并將工作人員需要查詢匹配的實時數(shù)據(jù)流快速調(diào)用。并且存儲機制中過期的數(shù)據(jù)流存儲到獨立的海量存儲器中以備做長期數(shù)據(jù)挖掘推理分析的功能。

實時數(shù)據(jù)流的監(jiān)測手段不斷更新和對結(jié)果數(shù)據(jù)精確度的不斷需求，使得對實時數(shù)據(jù)流與國家標準的準確、快速匹配分析成為了當前實時數(shù)據(jù)流監(jiān)測業(yè)務(wù)需解決的問題。同傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)相比，數(shù)據(jù)流具有實時、連續(xù)、無限量等特點，數(shù)據(jù)流的這些特殊性給信息處理技術(shù)的研究與應用帶來了新的機遇和挑戰(zhàn).數(shù)據(jù)流的特點決定了其主要查詢匹配方式為連續(xù)查詢匹配。連續(xù)查詢是指當一個查詢確立之后將長時間的連續(xù)執(zhí)行，隨著新數(shù)據(jù)的到達將不斷地產(chǎn)生新的查詢匹配結(jié)果。由于數(shù)據(jù)流是一系列離散狀態(tài)的集合，如果采用傳統(tǒng)基于CPU計算的數(shù)據(jù)庫查詢匹配方式，很多查詢條件下難以快速得到準確的查詢匹配結(jié)果，由于傳統(tǒng)的數(shù)據(jù)流存儲方式將海量數(shù)據(jù)流全部存入磁盤等存儲介質(zhì)，當執(zhí)行查詢匹配命令時需要進行大量的I/O操作，其響應速度慢，難以適應實時查詢匹配的要求。實際上最新階段的數(shù)據(jù)要比歷史數(shù)據(jù)更加重要，所以在數(shù)據(jù)流匹配分析中人們關(guān)心的往往是最新階段的數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明提供一種實時數(shù)據(jù)流高速匹配分析系統(tǒng)的設(shè)計，特別是基于GPU的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的設(shè)計，可用于便攜式終端設(shè)備上對實時數(shù)據(jù)流進行高速匹配分析。

本系統(tǒng)主要包括數(shù)據(jù)流接收裝置，海量數(shù)據(jù)階段存儲裝置，一套完整的實時數(shù)據(jù)流高速匹配分析系統(tǒng)，無線通訊設(shè)備，以及移動智能終端；實現(xiàn)過程是這樣的，觀測衛(wèi)星將觀測結(jié)果作為數(shù)據(jù)流傳給地面數(shù)據(jù)流接收站，臺站將監(jiān)測數(shù)據(jù)流傳給數(shù)據(jù)流接收站，此兩種形式的數(shù)據(jù)流接收裝置接收了監(jiān)測數(shù)據(jù)流，并將數(shù)據(jù)流存儲到分布各地的工作站，海量數(shù)據(jù)階段化存儲裝置負責把工作站上的數(shù)據(jù)分類規(guī)整并階段化存儲，之后當接收到移動智能終端的匹配分析請求時，系統(tǒng)首先檢查用戶是否被授權(quán)，確認無誤后將從實時數(shù)據(jù)流高速匹配分析的系統(tǒng)中進行匹配分析處理，匹配分析結(jié)果由無線通訊設(shè)備負責與相應的代理商協(xié)定后，發(fā)送到移動智能終端設(shè)備上。本發(fā)明能夠有效地在便攜裝置上對實時數(shù)據(jù)流進行匹配分析，匹配分析速度較快、準確率較高，特別適合外出作業(yè)的工程人員。

附圖說明

圖1為本發(fā)明所揭示的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的示意圖。

圖2為本發(fā)明所揭示的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的查詢框架圖。

圖3為本發(fā)明所揭示的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的查詢流程圖。

圖4為本發(fā)明所揭示的實時數(shù)據(jù)流高速匹配分析系統(tǒng)的結(jié)構(gòu)內(nèi)部示意圖。

具體實施方式

本發(fā)明所要解決的技術(shù)難點是怎樣滿足對實時數(shù)據(jù)匹配查詢提供高速度、高精確度的數(shù)據(jù)流匹配分析機制，以應對各種數(shù)據(jù)流業(yè)務(wù)信息的應用需求。

如圖1，提供實時數(shù)據(jù)流接收裝置包括各種不同類別的監(jiān)測裝置、檢測數(shù)據(jù)接收裝置、工作站等設(shè)備。監(jiān)測裝置有觀測衛(wèi)星、臺站等，面向不同領(lǐng)域會有不同的監(jiān)測設(shè)備；每一個監(jiān)測設(shè)備都有與之相對應的數(shù)據(jù)流接收裝置，比如衛(wèi)星檢測數(shù)據(jù)接收站、臺站數(shù)據(jù)接收站等。這些裝置為我們提供了最原始的實測數(shù)據(jù)，這些數(shù)據(jù)會根據(jù)指令存儲到分布式的工作站中，此時的數(shù)據(jù)并沒有經(jīng)過統(tǒng)一的數(shù)據(jù)預處理過程，由于數(shù)據(jù)量巨大，所以執(zhí)行匹配分析指令時將會占用用戶大量的等待時間，不適合外出工作人員隨時查詢調(diào)用。改進的方法采用海量數(shù)據(jù)階段化存儲裝置和基于GPU的實時數(shù)據(jù)流高速匹配分析系統(tǒng)，對存儲和計算速度都是一次飛躍性的改進和優(yōu)化。

海量數(shù)據(jù)階段化存儲裝置用來保存各工作站傳送過來的數(shù)據(jù)流并階段化的存儲在分布式數(shù)據(jù)庫中。這其中包括對原始數(shù)據(jù)的預處理，數(shù)據(jù)分類，入庫的操作。數(shù)據(jù)預處理負責對傳送的數(shù)據(jù)進行數(shù)據(jù)清洗、去噪聲等操作，這一步的目的是減少數(shù)據(jù)冗余、數(shù)據(jù)不一致性，避免讀取無效的臟數(shù)據(jù)。數(shù)據(jù)分類是將原始數(shù)據(jù)按屬性信息和格式差異分類，比如臺站數(shù)據(jù)和衛(wèi)星監(jiān)測數(shù)據(jù)是不同類別的數(shù)據(jù)，必須存儲在不同的數(shù)據(jù)庫中。數(shù)據(jù)分類完畢，接下來就是對這些數(shù)據(jù)執(zhí)行入庫操作。

基于GPU的實時數(shù)據(jù)流高速匹配分析系統(tǒng)主要包含中介器、匹配處理器。系統(tǒng)接受終端的查詢請求，從異構(gòu)數(shù)據(jù)庫中獲取數(shù)據(jù)。查詢結(jié)果必須通過無線通訊硬件和無線通訊代理商的中轉(zhuǎn)，才能返回到移動終端上。這里的無線通訊硬件實現(xiàn)將查詢結(jié)果傳遞給代理商，由代理商負責將電磁信號轉(zhuǎn)為數(shù)字信號，發(fā)送給終端請求。