[發明專利]一種GPU上數據流處理系統及其數據流處理方法

有效

• 申請號: 201410657243.2
• 申請日: 2014-11-18
• 公開（公告）號: CN104317751A
• 公開（公告）日: 2015-01-28
• 發明（設計）人: 盧曉偉;沈鉑;周勇
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F13/20
• 分類號: G06F13/20
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及一種GPU上數據流處理的技術領域，具體地說是一種GPU上數據流處理系統及其數據流處理方法。?

背景技術

GPU(Graphic?Processing?Unit)，中文翻譯為“圖形處理器”。GPU是顯卡的“心臟”，也就相當于CPU在電腦中的作用。GPU具有相當高的內存帶寬，以及大量的執行單元，它可幫助CPU進行一些復雜的計算工作，使顯卡減少了對CPU的依賴。?

傳統上，GPU的應用被局限于處理圖形渲染計算任務，無疑是對計算資源的極大浪費。隨著GPU可編程性的不斷提高，利用GPU完成通用計算的研究漸漸活躍起來。將GPU用于圖形渲染以外領域的計算成為GPGPU（General-purpose?computing?on?graphics?processing?units，基于GPU的通用計算）。GPGPU計算通常采用CPU+GPU異構模式，由CPU負責執行復雜邏輯處理和事務管理等不適合數據并行的計算，由GPU負責計算密集型的大規模數據并行計算。這種利用GPU強大處理能力和高帶寬彌補CPU性能不足的計算方式在發掘計算機潛在的性能，在成本和性價比方面有顯著優勢。但是傳統的GPGPU受硬件可編程和開發方式的制約，應用領域受到了限制，開發難度也很大。?

2007年，由NVIDIA推出的CUDA（Compute?Unified?Device?Architecture，統一計算設備架構），?這一編程接口彌補了傳統GPGPU的不足。利用CUDA編程接口，?可以用C語言直接調用GPU資源，?而無需將其映射到圖形API，?為GPU的非圖形編程普及消除了障礙。?

CUDA模型將CPU作為主機（Host），GPU作為協處理器（co-processor）或設備(device),兩者協同工作。CPU負責進行邏輯性強的事物處理和串行計算，GPU則專注于執行高度線程化的并行處理任務。CPU、GPU各自擁有相互獨立的存儲器地址空間：主機端內存和設備端顯存。一旦確定了程序中的并行計算函數（kernel），就考慮把這部分計算交給GPU。?

（數據流的定義）數據流實際上就是連續移動的元素隊伍，其中的元素是由相關數據的集合組成。令t表示任一時間戳，at表示在該時間戳到達的數據，流數據可以表示成{…，at1，at，at+1，…}.區別于傳統應用模型，流數據模型具有以下4點共性:（1）數據實時到達;（2）數據到達次序獨立，不受應用系統所控制;（3）數據規模宏大且不能預知其最大值;（4）數據一經處理，除非特意保存，否則不能被再次取出處理，或者再次提取數據代價昂貴。?

同時，流是以雙重身份出現的：（1）作為一個軟件可見的程序變量存在。（2）作為一個硬件可見的管理單位存在。實際應用中流往往具有很多屬性，當流被映射到硬件中時，這些屬性仍然被保持或者變個形式被硬件所見。?

現有技術的數據挖掘中，為了消除數據中的噪音、空值和異常值等錯誤數據，以保證結果的準確性，通常會在挖掘數據庫中的靜態數據集之前進行預處理操作；當然，數據流中也避免不了各種錯誤數據，為了提高挖掘結果的精確度，對其進行預處理也是十分必要的。然而數據流挖掘一般都是在線進行的，無法在挖掘前預處理數據。?

GPU并行計算如何在數據流挖掘領域應用？在計算資源受限的環境下，如何保證數據流處理的實時性和通用性。?

發明內容

本發明的技術任務是提供一種具有顯著的速度優勢，很好地滿足了高維數據流的實時性需求，可以作為通用的分析方法廣泛應用于高維數據流挖掘領域的一種GPU上數據流處理系統及其數據流處理方法。?

本發明的技術任務是按以下方式實現的，?

數據源輸出的是高維的時間序列數據流，經數據流處理系統處理后，再輸出給客戶端的是數據流的頻繁模式或查詢結果。

一種GPU上數據流處理系統，數據源（data?sources）的數據流通過數據流處理系統至客戶端（client），數據流處理系統包括CPU主機（CPU-Host）和GPU設備（GPU-Device）；?