[發明專利]用于大規模集群中的分析型查詢處理的自動反規范化

在審

• 申請號: 201380054274.2
• 申請日: 2013-09-06
• 公開（公告）號: CN104737162A
• 公開（公告）日: 2015-06-24
• 發明（設計）人: S·伊蒂庫拉;S·皮瑞德;N·阿格爾沃
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 邊海梅

技術領域

本發明一般涉及數據庫管理系統，并且更具體地涉及用于處理存儲器中查詢的反規范化。

背景技術

數據倉庫中的分析型查詢處理通常涉及大型數據集合，該數據集合很少以面向批處理的方式被更新。在許多情況下，期望在更大量的數據上執行查詢(通常跨越更長的時間段)，但查詢處理系統的性能限制了數據集合的大小。

可以通過在存儲器中處理查詢以及通過增加運行該查詢的服務器的數目來改善性能。然而，更多的服務器增加了用于服務器的功率以及與功率相關的基礎設施的成本，從而限制了服務器的數量繼而限制了數據集合的大小。

作為替代，通過在低功率處理單元的集群中執行存儲器中數據庫查詢，能夠在低功率的情況下改善性能。每個處理單元具有低的計算能力，但具有成千上萬個處理單元的集群卻具有非常高的性能。盡管在集群中的存儲器中數據庫查詢處理改善了性能，但一種查詢操作仍然構成挑戰。大型表連接(join)的性能不隨集群的大小而成比例縮放。因此，需要在大型表連接的存儲器中處理的性能方面尋求更大的改善。

附圖說明

在附圖中：

圖1根據一個實施例示出整體操作的流程圖；

圖2示出常規的連接；

圖3和圖4示出用于TPC-H工作負荷的數據庫架構；

圖5根據一個實施例示出發現階段的流程圖；

圖6和圖7示出用于圖3和圖4所示的數據庫架構的有向圖；

圖8示出用于圖3所示的數據庫架構的有向子圖；

圖9根據一個實施例示出優化階段的流程圖；

圖10根據一個實施例示出優化函數的流程圖；

圖11根據一個實施例示出部署的流程圖；及

圖12示出實施例在其中運行的系統設置。

具體實施例

在下面的描述中，為了解釋的目的，闡明了眾多具體的細節以便提供對本發明的全面理解。但是，應當很明顯的是，本發明可以在沒有這些特定的細節的情況下實施。在其它情況下，眾所周知的結構和設備以框圖的形式來示出，以便避免不必要地使本發明變得晦澀難懂。

總體概況

一實施例執行大型關系型連接的自動反規范化。使反規范化適合于集群的每個處理單元中的查詢工作負荷和存儲器量。在圖1所示的一個實施例中，自動反規范化具有三個階段：(i)發現102；(ii)優化104，及(iii)部署106。

在發現階段中，該實施例為給定的架構構造表和連接條件的表示，并然后分析該表示來找到可能的反規范化的集合。

在優化階段，任務是選擇最好利用了給定存儲器量的反規范化。優化階段具有兩個部分，(i)減少每個單獨的反規范化所需的存儲器量，以及(ii)確定可能的反規范化的最優集合。通過壓縮所涉及的表的列或行來減少存儲器。通過對每個可能的反規范化計算成本和收益來發現可能的反規范化的最優集合。成本是反規范化所需的存儲器量，并且該成本基于查詢工作負荷統計數據或基于表的大小。該收益基于被反規范化消除的連接的數量。最優子集包括在可用存儲器中以最小成本提供最大收益的那些反規范化。

在部署階段，該實施例將最優集合中的每個反規范化整合到實時系統中，以便到來的查詢能夠找到和使用該反規范化。

詳細討論

有許多種類的關系型連接。一種是圖2所示的自然連接。在該連接中，基于列DeptName連接兩張表，即Employee?202和Dept?204。自然連接被定義為滿足條件的兩張表中的元組的合并，該條件為元組是兼容的。這意味著這兩張表具有至少一個共同的屬性。在圖2示出的示例中，Employee表和Dept表都具有共同的DeptName。自然連接產生連接表206，該連接表206只具有來自Dept表的、其DeptName列中的值與Employee表中DeptName列中的值相匹配的條目。

另一種連接是笛卡爾連接。如果連接中的兩張表沒有共同屬性，則這種連接產生其中第一張表的每個元組與第二張表的每個元組合并的表。

反規范化指連接的物化，或換句話說，連接的永久存儲的數據表示。因此，根據實施例，反規范化可以是例如，連接表206的永久存儲的表示。連接的反規范化可以被重新用于要求連接的多個查詢的計算，并通過消除重新計算整個連接的需要而提高這種計算的效率。

發現階段