[發明專利]一種基于GPU的大數據快速檢索系統及其使用方法

有效

• 申請號: 201911073999.1
• 申請日: 2019-11-06
• 公開（公告）號: CN110569312B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 許強;應晶;方敏;余小益;付超;馬新強;張智林
• 申請（專利權）人: 創業慧康科技股份有限公司;江陰市人民醫院;浙江醫康數據科技研究院有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2458;G06F9/54;G06F9/50;G06F9/48
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 張歡勇

本發明涉及數據檢索技術領域，公開了一種基于GPU大數據快速檢索系統及其使用方法，包括多個分布式數據庫節點，用于存儲數據；GPU模塊，連接于每個分布式數據庫節點，GPU模塊包括GPU任務判斷模塊、任務創建模塊、GPU數據廣播模塊、通用并行架構模塊和GPU運行模塊；GPU任務判斷模塊用于判斷查詢請求是否能完全或部分運行；任務創建模塊用于創建需運行的查詢任務；通用并行架構模塊用于協調多個查詢任務同時運行；GPU運行模塊運行查詢任務并返回數據。本發明能夠使用相對成本較低的GPU硬件輔助計算，處理一般查詢、對查詢性能要求不高的操作時使用傳統CPU運算，能夠提供超越純CPU架構的大數據平臺的超高算力。

技術領域

本發明涉及數據檢索技術領域，尤其涉及了一種基于GPU大數據快速檢索系統及其使用方法。

背景技術

傳統的大數據平臺，對大規模數據量的計算分析能力較弱，滿足不了大數據領域的實時數據計算需求，大數據平臺雖然采用了分布式的集群存儲和計算架構，能夠將計算任務分散到多個處理計算節點并行運算以提高計算速度與分析能力，解決了大規模數據的處理需求，但計算速度與分析性能受限于計算節點的硬件性能，無法實現大數據的實時處理。

在處理大規模數據的查詢分析時，對硬件尤其是CPU的處理性能要求極高，造成了大數據技術架構高昂的硬件成本，在處理一般查詢時，高配置的CPU查詢又不能夠發揮全部的硬件優勢，造成算力閑置現象。

發明內容

本發明針對現有技術中硬件要求高、處理效率差的缺點，提供了一種基于GPU大數據快速檢索系統及其使用方法。

為了解決上述技術問題，本發明通過下述技術方案得以解決

一種基于GPU的大數據快速檢索系統，包括：

分布式數據存儲模塊，包括多個分布式數據庫節點，用于存儲數據；

多個GPU模塊，連接于每個分布式數據庫節點，GPU模塊包括GPU任務判斷模塊、任務創建模塊、GPU數據廣播模塊、通用并行架構模塊和GPU運行模塊；GPU任務判斷模塊用于判斷查詢請求是否能完全或部分運行；任務創建模塊用于創建需運行的查詢任務；GPU數據廣播模塊，用于對多個GPU模塊之間建立數據廣播鏈路并同步數據傳輸消息；通用并行架構模塊用于協調多個查詢任務同時運行；GPU運行模塊運行查詢任務并返回數據。

作為優選，任務創建模塊中，創建運行任務過程包括創建GPU本地二進制文件的源代碼，在執行階段前啟動即時編譯進程。

作為優選，GPU運行模塊中，運行過程包括提取數據行集裝載入直接存儲器存儲緩存并異步啟動存儲器傳輸和GPU內核執行。

作為優選，分布式數據庫節點輸出的數據為列式存儲數據表。

作為優選，GPU運行模塊中，還包括過濾、聚合和分組三種處理方式。

作為優選，GPU任務判斷模塊包括GPU處理器和CPU處理器，用于分配任務、判斷運行成本和判斷運行任務量。

作為優選，GPU數據廣播模塊運行過程為在數據發送GPU模塊和數據接受GPU模塊之間建立廣播數據傳輸鏈路，同時對余下的GPU模塊均與數據發送GPU模塊生成轉發樹，通過轉發樹對數據傳輸消息進行發送。

一種基于GPU的大數據快速檢索系統的使用方法，包括如下步驟：

（1）獲取檢索任務，系統調用GPU任務判斷模塊對給定查詢是否可以在GPU上執行進行判斷，判斷過程包括：對任務量的是否能在GPU模塊運行判斷和對是否小于CPU處理器運行成本的判斷，如判斷結果都為是，則返回結果可以運行，則進入下一步，如不可以運行則跳出；

（2）判斷任務是否可以在計算場景執行，如可以則調用GPU創建模塊在運行中創建GPU本地二進制文件的源代碼，在執行階段前啟動即時編譯進程生成GPU可執行程序；