[發明專利]數據處理設備和操作數據處理設備的方法

有效

• 申請號: 201580083383.6
• 申請日: 2015-09-28
• 公開（公告）號: CN108027819B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 亞歷山大·弗拉基米羅維奇·斯萊薩連科;康斯坦丁·亞歷山德羅維奇·克尼日尼克
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F9/455
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本發明涉及一種數據處理設備(100)，用于從數據存儲庫(107)中提取數據以響應數據查詢。所述數據處理設備(100)包括：轉換器(101)，用于將所述查詢轉換成高級語言查詢；優化器(103)，用于基于所述存儲庫(107)的配置來優化所述高級語言查詢以生成優化查詢。此外，本發明涉及一種操作這種數據處理設備(100)的方法。

技術領域

本發明涉及一種數據處理設備和操作數據處理設備的方法。特別地，本發明涉及一種數據處理設備，用于從諸如數據庫等數據存儲庫中提取數據以響應數據查詢。

背景技術

自關系數據庫的早期階段以來，為提升數據庫的性能，嘗試將數據查詢編譯為本地代碼而不是解析該查詢。這些嘗試的主要目的是減少解析開銷，從而提高查詢的執行速度。通常，使用一些基于模式的代碼生成器將查詢編譯為本地機器代碼。通常，該方法非常復雜，不可移植，并且不允許對生成的本地代碼進行進一步的優化，例如通用子表達式消除、代碼融合和循環展開等。

幾年前，已經開發了一個名為Volcano的可擴展和并行查詢評估系統。它為數據庫系統設計、查詢優化的啟發式方法、并行查詢執行和資源分配提供了研究環境。Volcano系統使用兩個元運算符，即選擇方案元運算符，其支持動態查詢評估方案，即直到運行時仍允許延遲選定的優化決策，例如，對于具有自由變量的嵌入式查詢；以及交換元運算符，其支持分區數據集上的運算符內部并行以及垂直和水平運算符間并行，在進程之內的需求驅動數據流和進程之間的數據驅動數據流之間進行轉換。

隨著智能編譯器生成具有可接受性能的機器代碼，許多高級編程語言開發得越來越多，這帶來了幾次嘗試，即將查詢執行方案轉換為這種高級編程語言，而不是本地代碼。其中一項嘗試稱為LegoBase，它是一種以高級編程語言Scala編寫的內存查詢執行引擎，并且通過生成編程來實現抽象概念。LegoBase中的數據查詢用Scala語言編寫，然后轉換成專門的Scala或C代碼。這樣，查詢引擎結構本身可以適應于特定的查詢。例如，根據TPC-H標準對LegoBase進行了評估，其明顯優于大多數商用內存數據庫系統以及現有的查詢編譯器。此外，只需幾百行高級語言代碼編程改進這些性能，而無需其他查詢編譯器所需的復雜低級語言代碼編程。

盡管上述嘗試已經改進了性能，但仍然需要進一步改進，特別是針對從數據庫中提取數據的數據查詢的執行性能方面。

因此，需要一種改進的數據處理設備和操作這種數據處理設備的改進方法，特別是用于從諸如數據庫等數據存儲庫中提取數據以響應數據查詢的數據處理設備。

發明內容

本發明的目的是提供一種改進的數據處理設備和操作這種數據處理設備的改進方法，特別是用于從諸如數據庫等數據存儲庫中提取數據以響應數據查詢的數據處理設備。

上述和其它目的通過獨立權利要求的主題來實現。根據所述獨立權利要求、描述以及附圖，其他實施形式是顯而易見的。

第一方面，提供了一種數據處理設備，用于從存儲庫或存儲器中提取數據以響應數據查詢。所述數據處理設備包括轉換器，用于將所述查詢轉換成高級編程語言查詢；優化器，用于基于所述存儲庫的配置來優化所述高級編程語言查詢以生成優化查詢。所述存儲庫或所述存儲器可以是數據庫。或者，所述存儲庫或所述存儲器可以是至少臨時存儲數據的其他任何設備，例如ROM、RAM和數據通信信道等。高級編程語言中的查詢比低級編程語言中的同一查詢具有更高層次的抽象定義。

通過考慮存儲庫的具體配置，即使得查詢適應于存儲庫的特定配置，這樣有利于獲得查詢，相較于使用傳統的方法進行優化的查詢，這種查詢優化得更好。這具有極大的優越性，尤其是對提供許多不同模型的組織數據(例如分庫、列式存儲、垂直和水平分布和復制等)的數據庫。因此，提供了一種改進的數據處理設備，特別是用于從諸如數據庫等數據存儲庫中提取數據以響應數據查詢的數據處理設備。