[發明專利]一種GPU上數據流處理系統及其數據流處理方法

有效

• 申請號: 201410657243.2
• 申請日: 2014-11-18
• 公開（公告）號: CN104317751A
• 公開（公告）日: 2015-01-28
• 發明（設計）人: 盧曉偉;沈鉑;周勇
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F13/20
• 分類號: G06F13/20
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種GPU上數據流處理系統，其特征在于數據源的數據流通過數據流處理系統至客戶端，數據流處理系統包括CPU主機和GPU設備；

CPU主機包括CPU端加載引擎模塊、CPU端緩沖模塊、數據流預處理模塊、數據流減負模塊和可視化模塊，CPU端加載引擎模塊設置有裝載或存儲單元，CPU端緩沖模塊設置有內存，CPU端加載引擎模塊的裝載或存儲單元、數據流預處理模塊、數據流減負模塊和可視化模塊均與CPU端緩沖模塊的內存連接交互，CPU端加載引擎模塊的裝載或存儲單元與可視化模塊連接交互；

GPU設備包括GPU端加載引擎模塊、GPU端緩沖模塊、數據流概要抽取模塊、數據流處理模型庫和數據流處理模塊，GPU端加載引擎模塊設置有裝載或存儲單元，GPU端緩沖模塊設置有顯存，數據流概要抽取模塊用于集成概要抽取方法供數據流處理模塊調用，數據流處理模型庫用于集成數據流處理算法供數據流處理模塊調用，GPU端加載引擎模塊的裝載或存儲單元、數據流處理模塊均與GPU端緩沖模塊的顯存連接交互，數據流概要抽取模塊、數據流處理模型庫均與GPU端加載引擎模塊的裝載或存儲單元連接，GPU端緩沖模塊的顯存中開辟有存儲空間為滑動窗口；

CPU端加載引擎模塊的裝載或存儲單元通過互聯網絡與數據源、GPU端加載引擎模塊的裝載或存儲單元以及客戶端的交互。

2.根據權利要求1所述的一種GPU上數據流處理系統，其特征在于CPU端緩沖模塊還設置有用于管理內存的內存管理器，內存管理器內設置有輸入監測器，輸入監測器用于監視內存中臨時存儲未處理的數據流；CPU端加載引擎模塊包括速度調節器、裝載或存儲單元和初始化集成器；速度調節器用于根據內存的緩存狀態調整數據源的數據流流入CPU端加載引擎模塊的裝載或存儲單元內的流速，速度調節器內設有反饋機制；初始化集成器用于集成CPU主機和GPU設備的初始化操作。

3.一種GPU上數據流處理方法，其特征在于數據源輸出的數據流通過權利要求1或2中任意一種數據流處理系統處理后將數據結果傳輸至客戶端；數據流的處理流程如下：

（1）、加載數據流：數據源中的數據流流入CPU端加載引擎模塊的裝載或存儲單元，由CPU端加載引擎模塊的裝載或存儲單元將數據流存儲到CPU端緩沖模塊的內存中；

（2）、數據流預處理：數據流預處理模塊將內存中的原始數據流進行預處理，并把預處理過的數據流存入內存；

（3）、傳輸數據流：預處理過的數據流由內存至CPU端加載引擎模塊的裝載或存儲單元，由CPU端加載引擎模塊的裝載或存儲單元至互聯網絡，經互聯網絡到達GPU端加載引擎模塊的裝載或存儲單元，再由GPU端加載引擎模塊的裝載或存儲單元將其加載到顯存的滑動窗口中；

（4）、數據流概要抽取：由數據流處理模塊調用數據流概要抽取模塊中的概要抽取方法，對滑動窗口中的數據流進行概要抽取，并將最終形成的概要數據結構存儲到顯存中；

（5）、數據流處理：由數據流處理模塊調用數據流處理模型庫中的數據流處理算法對概要數據進行處理，并把處理的數據結果存儲到顯存中；

（6）、傳輸數據結果：數據結果由GPU端緩沖模塊的顯存至GPU端加載引擎模塊的裝載或存儲單元，由GPU端加載引擎模塊的裝載或存儲單元發送至互聯網絡，經互聯網絡到達CPU端加載引擎模塊的裝載或存儲單元，再由CPU端加載引擎模塊的裝載或存儲單元將數據結果加載到內存，或者是由CPU端加載引擎模塊的裝載或存儲單元將數據結果發送給可視化模塊；

（7）、結果可視化：可視化模塊將數據結果規范化之后發送給CPU端加載引擎模塊的裝載或存儲單元，由CPU端加載引擎模塊的裝載或存儲單元將數據結果展示給客戶端。

4.根據權利要求3所述的一種GPU上數據流處理方法，其特征在于步驟（2）中，數據流預處理模塊將內存中的原始數據流使用預處理方法進行預處理，預處理方法包括數據清洗方法、數據集成方法、數據變換方法和數據規約方法，使用的預處理方法可以為上述的一種方法，或者選擇多種方法結合使用。