[發明專利]用于大規模并行處理數據庫集群中的兩階段查詢優化的方法

有效

• 申請號: 201380067322.1
• 申請日: 2013-12-28
• 公開（公告）號: CN104885078B
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 孫揚;周慶慶;莫罕·森格姆什提
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

在大規模并行處理(MPP)數據庫中通過本地優化全局執行計劃可以更加有效地處理查詢。MPP協調器可以向MPP數據節點提供全局執行計劃和語義樹。隨后MPP數據節點可使用全局執行計劃和語義樹生成本地執行計劃。之后，MPP數據節點可根據成本評估選擇全局執行計劃或本地執行計劃。

技術領域

本發明涉及通信網絡，以及在具體實施例中，涉及用于大規模并行處理數據庫集群中的兩階段查詢優化的方法。

背景技術

大規模并行處理(MPP)是多個處理器處理同一程序的不同部分時該程序的協調過程。處理器互相通信以完成任務，但各處理器運用自身的操作系統和內存資源。MPP數據庫系統基于無共享架構，在該架構中，數據庫被劃分為段并分發給多個處理器(數據節點)用于并行處理。由于每個數據節點僅并行存儲一部分MPP數據庫，因此與順序處理系統中可能的數據庫操作相比，該系統中的數據庫操作(例如，搜索、掃描等)可以更快地執行。

客戶端通過與MPP協調器交互來訪問MPP數據庫中的信息，MPP協調器為用于接收和響應查詢的進程。具體而言，對于每個發出的查詢，MPP協調器查閱全局目錄以開發一種單條查詢計劃(本文中稱為“全局執行計劃(global execution plan)”)，該計劃隨后被分發給各個MPP數據節點用于本地執行。需注意的是，MPP協調器的資源和數據分布的全局視圖可能缺少對MPP數據節點的本地配置信息和/或統計的了解，但取而代之，可尤其對本地數據分布和/或資源可用性作出廣義的假設。例如，MPP協調器可假設數據在多個MPP數據節點中均勻分布和/或不限制MPP數據節點的資源(例如，處理或其它)。因此，MPP協調器的全局執行計劃對于一個或多個本地MPP數據節點而言是次佳的，這可能會導致全局執行計劃的低效執行。因此，需要用于提高MPP數據庫系統中的查詢優化的機制。

發明內容

本發明的實施例提供了一種大規模并行處理數據庫集群中用于兩階段查詢優化的方法，通過這些實施例一般能獲得技術優勢。

根據實施例，提供了一種用于在大規模并行處理(MPP)數據庫中處理查詢的方法。在該示例中，所述方法包括MPP數據節點從MPP協調器接收全局執行計劃和語義樹；所述MPP數據節點根據所述語義樹生成本地執行計劃；以及所述MPP數據節點選擇執行所述全局執行計劃或所述本地執行計劃。還提供了一種用于執行所述方法的裝置。

根據另一實施例，提供了一種大規模并行處理(MPP)數據庫系統。在該示例中，所述系統包括一個或多個MPP協調器，用于從客戶端接收查詢；生成語義樹；根據所述語義樹開發用于執行所述查詢的全局執行計劃；以及將所述全局執行計劃分發給多個MPP數據節點。所述系統還包括MPP數據節點，用于從所述一個或多個MPP協調器接收所述全局執行計劃和所述語義樹；根據所述第一MPP數據節點的本地配置信息使用所述語義樹優化所述全局執行計劃來獲取優化后的執行計劃；以及執行所述優化后的執行計劃。

附圖說明

為了更完整地理解本發明及其優點，現在參考下文結合附圖進行的描述，其中：

圖1示出了實施例MPP數據庫系統的圖解；

圖2示出了描繪如何將常規數據庫劃分為MPP數據庫的圖解；

圖3示出了用于響應查詢的常規MPP數據庫架構的圖解；

圖4示出了用于響應查詢的實施例MPP數據庫架構的圖解；

圖5示出了優化全局執行計劃的方法的流程圖；

圖6示出了用于全局執行計劃的查詢流的圖解；

圖7(a)和7(b)示出了用于本地優化后的全局執行計劃的查詢流的圖解；

圖8示出了一種包括本地優化的額外階段的處理查詢的方法的流程圖；

圖9示出了MPP協調器的查詢處理模塊的方框圖；