[發明專利]支持國產CPU SIMD指令的分布式數據庫高性能執行器設計方法

在審

• 申請號: 202011205013.4
• 申請日: 2020-11-02
• 公開（公告）號: CN112416926A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳偉;富浩;臧鋮;王明越;張云糧
• 申請（專利權）人: 浙商銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/27;G06Q40/02
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種支持國產CPU SIMD指令的分布式數據庫高性能執行器設計方法，在調用分布式數據庫執行任務時，查詢語句經過解析，生成一棵查詢樹，執行計劃從頂部向數據庫調用next()接口，數據從樹的根節點向上被子節點遞歸調用，最終經過project節點處理，返回結果。本發明使用SIMD指令集在各個結點充分利用CPU的計算效率進行數據并行處理，減少結點的運算時間；同時SIMD指令集采用AVX型，計算精度為64位的雙精度，既可以并行運算又可以保證查詢結果的精度，本發明很好的契合了精準快速業務對于分布式數據庫的要求。

技術領域

本發明屬于分布式數據庫數據并行運算領域，尤其涉及一種支持國產CPU SIMD指令的分布式數據庫高性能執行器設計方法。

背景技術

隨著互聯網發展水平的不斷進步，商業銀行從傳統的業務，至信貸業務和銀行零售等緊跟時代潮流的新業務不斷涌現。隨之而來的是數據高增長，導致傳統關系型數據庫不再滿足使用要求；各大銀行廠商紛紛搭建分布式數據庫，以應對此問題。大數據下的分布式數據庫對于搜索和分析效率低，耗時長；而銀行業務對于時效性又有很大的要求，所以優化分布式數據庫的查詢性能成為研究的重要方向。

優化分布式數據庫的查詢性能的常見的方法：通過對表格式的修改，采用列式存儲、存儲數據時添加非主鍵便于查詢和另外添加索引表等等提高查詢性能，但是從根本上來說，分布式數據庫真正對其限制是利用每臺處理器硬件能力，但分布式數據庫大都沒有充分利用現在硬件能力。

SIMD指令可以大大提高并行數據的能力，增加數據吞吐量，提高處理器的計算速度，從而達到提高分布式數據庫查詢性能的目標?，F在大多數的CPU已經具備與SIMD指令配合使用的向量寄存器，但是大部分分布式數據的執行器都沒有使用基于SIMD的執行器，制約了數據庫利用硬件的能力。

發明內容

本發明的目的在于基于SIMD指令設計一種分布式數據庫的執行器，使得分布式數據的運行步驟能夠充分使用國產CPU的能力，進而在保證數據精度的同時，增加數據吞吐量，優化分布式數據的執行效率。

本發明的目的是通過以下技術方案來實現的：一種支持國產CPU SIMD指令的分布式數據庫高性能執行器設計方法，該方法包括如下步驟：

(1)接收用戶查詢請求，解析請求并轉換成SQL任務；

(2)將SQL任務在分布式數據庫中進行解析，生成一棵查詢樹，用于指導執行計劃，所述執行計劃中包括表查詢順序及表執行計劃；

(3)執行計劃從頂部節點不斷向下調用next()接口直到分布式數據庫；

(4)查詢到的數據以列數據集合的形式，從樹的根節點(即分布式數據庫)不斷向上被各層葉子節點遞歸調用處理；

對于HashAgg節點，不是立刻往上層節點返回數據，而是處理完所有的列數據集合后再往上層節點返回數據，具體為：當數據經過CPU加載進行hash操作時，調用CPU執行接口，以icc編譯器編譯代碼，調換CPU執行方式為AVX類型的SIMD指令集(AVX指令集)，使得國產CPU的控制器將數據放入到國產CPU的向量寄存器中，一個控制器控制多個處理進程，做四組循環操作，一次共操作256bit數據，并行處理一組若干列(3～5列)數據集合，并緩存處理結果；

對于除HashAgg節點之外的節點，每處理完一列數據集合后立刻往上層節點返回數據。

進一步地，在查詢樹中，不同節點層的任務是不同的，執行不同任務的節點數量也是不同的。

進一步地，所述表執行計劃包括表掃描、索引掃描、多表連接時的連接方式、子表與父表的繼承關系。

進一步地，通過Scan節點從分布式數據庫調用壓縮數據塊，返回一組符合過濾條件的col組織的列數據集合給上層HashAgg節點處理。