[發明專利]一種基于列存儲的多核并行數據查詢優化方法

有效

• 申請號: 201310306838.9
• 申請日: 2013-07-19
• 公開（公告）號: CN103324765A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 劉慧;劉志鏡;袁通;王韋樺;邱龍濱;強波;曹志高;王梓;趙宏偉;李雨楠;姚勇;屈鑒銘;張璐萱;張慧澤;徐曾
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/46
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于列存儲的多核并行數據查詢優化方法，其特征在于，所述方法包括以下步驟：?

（1）讀取用戶輸入的查詢語句；?

（2）生成查詢計劃，其中，對所述用戶輸入的查詢語句，利用延時物化策略生成針對該查詢語句的查詢計劃，所述查詢計劃可用圖的形式來表示；?

（3）構建對應所述查詢計劃的映射-化簡執行流程，根據所述查詢計劃圖，利用映射-化簡模型中的映射階段和化簡階段的交叉使用構建基于圖中操作節點的映射-化簡執行流程，其中，一個映射-化簡執行流程中可能包含一個或多個子映射-化簡執行流程，而在子映射-化簡執行流程中只包含一個映射階段與一個化簡階段；?

（4）按照映射-化簡執行流程完成所述查詢計劃的執行，依次執行映射-化簡執行流程中的各個子映射-化簡執行流程；?

（5）向所述用戶輸出查詢結果。?

2.根據權利要求1所述的數據查詢優化方法，其特征在于，所述步驟（3）包括以下步驟：?

（1）將所述查詢計劃劃分成多個串行執行的子查詢計劃，構成子查詢計劃序列：?

(plan₁,plan₂,plan₃,...,plan_m)；?

其中，在某一操作符之前可并行執行的多個單獨操作符或操作符集合作為一個子查詢計劃存在；?

（2）遍歷子查詢計劃序列，若某個子查詢計劃plan_p的執行是以?子查詢計劃plan_q的執行為前提的，并且在plan_q中存在著多于一個的可并行執行的操作符，則將plan_p和plan_q合并為一個子映射-化簡執行流程，同時，將plan_q標記為映射，將plan_p標記為化簡。?

3.根據權利要求1所述的數據查詢優化方法，其特征在于，所述步驟（4）包括如下步驟：?

（1）統計映射-化簡執行流程隊列中子映射-化簡執行流程的個數，將其標記為count；?

（2）遍歷映射-化簡執行流程隊列中的各個子映射-化簡執行流程；?

（2.1）令k＝1；?

（2.2）當k≤count時，讀取映射-化簡執行流程隊列中第k個子映射-化簡執行流程，通過對該子映射-化簡執行流程中子查詢計劃的分析，確定在此子映射-化簡執行流程中三個鍵值對的具體數據結構；?

（2.3）依次執行如下的映射階段與化簡階段，其中各階段的具體執行過程如下:?

映射階段，讀取該子流程中標記為映射的子查詢計劃，將該子查詢計劃中的多個并行操作分配給處于空閑狀態的核；由這些核并行完成子查詢計劃中的多個操作；?

化簡階段，讀取該子流程中標記為化簡的子查詢計劃，并從中間結果集中讀取相關數據，完成該子查詢計劃中的操作；?

（2.4）k++，返回步驟（2.2）。?

4.根據權利要求3所述的數據查詢優化方法，其特征在于，所?述三個鍵值對分別為:映射函數的輸入鍵值對、映射函數的輸出鍵值對和化簡函數的輸入鍵值對，其中，各鍵值對的結構為由鍵key和其相對應的值value構成的鍵值對。?