[發明專利]一種自適應的數據庫混合查詢方法

有效

• 申請號: 202010581766.9
• 申請日: 2020-06-23
• 公開（公告）號: CN111767305B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 文軍;鄭立源;李宇
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/242
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 韋海英

本發明公開了一種自適應的數據庫混合查詢方法，該方法包括服務進程監聽查詢請求，調用數據庫管理層的函數進行實際的GPU查詢任務執行和資源調度任務，并將結果返回給查詢任務客戶端。同時處理來自該進程的后續請求，并將結果通過IPC機制回傳到查詢任務控制進程；查詢控制進程完成查詢時，向服務端發起退出請求，服務進程結束相應服務線程；查詢控制進程生成查詢計劃，利用動態鏈接庫攔截查詢任務控制進程發起的CUDA?Runtime?API，轉化為服務進程的IPC請求。本發明根據查詢數據特征基于代價模型分析混合平臺上的查詢操作任務，創建查詢優化方案，利用CPU和GPU協作運行實現數據庫查詢，提高了數據庫整體查詢處理性能，實現最大化利用計算機硬件性能，減少額外時間開銷。

技術領域

本發明屬于GPU數據庫查詢技術領域，具體涉及一種CPU和GPU協作運行實現自適應的數據庫混合查詢方法。

背景技術

現有的GPU數據庫以列式存儲，結合內存+顯存，無需優化，無需建索引。在生產時間，將數據加載到顯存和內存里，無需訪問磁盤，因此無需依靠索引來降低訪問扇區的開銷。通過每個GPU的幾千個核，并發上萬個線程并行掃描全表，尤其適合幾千萬到幾十億行的JOIN、模糊匹配、Group?By、全表掃描或聚合等。GPU數據庫以內存作為橋梁，實現磁盤--內存--顯存的三級緩存結構，這將提供高達10倍的CPU?DRAM帶寬和更低的延遲。

當前GPU數據庫查詢仍存在一些不足：

1、各查詢任務單獨管理GPU資源會帶來重復開銷；

2、對于大量數據的查詢，頻繁使用PCie進行內存--顯存數據交換，不同的查詢任務重復傳輸了數據庫中相同的列存儲數據，仍會導致gpu整體利用率較低；

3、GPU中雖有幾百甚至幾千的流處理器能夠提供強大的向量計算能力，但對于復雜分支指令、迭代處理、線程間數據同步、大數據高延遲訪問等操作的效率弱于通用處理器。客觀地說，關系操作模型并不是適合GPU向量計算特征的理想的查詢處理模型。采用何種策略協作CPU和GPU，針對海量數據進行多分支語句查詢，也是當前gpu數據庫研究的一個方向；

4、對于相同的算法，由于GPU在邏輯控制和復雜數據管理能力上弱于CPU，GPU的綜合性能對于深度優化的CPU算法優勢并不明顯，甚至在一些查詢中，GPU算法性能低于CPU算法。因此，GPU對數據庫的加速并不是全方位的，需要根據數據的特征和操作的特征組合CPU和GPU查詢處理模塊。

發明內容

針對現有技術中的上述不足，本發明提供了自適應的數據庫混合查詢方法，以提高數據庫整體查詢處理性能，最大化利用計算機硬件性能，減少額外時間開銷。

為了達到上述發明目的，本發明采用的技術方案為：

一種自適應的數據庫混合查詢方法，包括以下步驟：

S1、啟動數據庫系統服務進程，監聽查詢請求；

S2、向數據庫提交sql查詢語句；

S3、根據監聽到的sql查詢語句生成查詢計劃，啟動查詢任務控制進程；

S4、利用動態鏈接庫攔截查詢任務控制進程發起的CUDA?Runtime?API，轉化為服務進程的IPC請求；

S5、服務端接收IPC請求后，創建新的服務線程處理來自該進程的后續請求，并將結果通過IPC機制回傳到查詢任務控制進程；

S6、查詢任務控制進程完成查詢時，向服務端發起退出請求，服務進程結束相應服務線程。

進一步地，所述步驟S1具體包括：

啟動數據庫系統服務進程，創建CUDA?context，并根據啟動參數datadir修改文件夾預加載列存儲數據到系統內存，然后監聽查詢請求。