[發(fā)明專利]基于數(shù)據(jù)模式轉換和并行框架的關系數(shù)據(jù)查詢優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201710249567.6
• 申請日: 2017-04-17
• 公開（公告）號: CN107169033B
• 公開（公告）日: 2020-03-31
• 發(fā)明（設計）人: 聶鐵錚;申德榮;寇月;于戈;高晶;房俊;楊冬菊
• 申請（專利權）人: 東北大學;北方工業(yè)大學
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/28
• 代理公司: 沈陽東大知識產(chǎn)權代理有限公司 21109
• 代理人: 梁焱

本發(fā)明提供一種基于數(shù)據(jù)模式轉換和并行框架的關系數(shù)據(jù)查詢優(yōu)化方法，涉及計算機數(shù)據(jù)庫技術領域。該方法通過對關系模型數(shù)據(jù)上復雜查詢語句進行結構分析，構建新的數(shù)據(jù)存儲結構，實現(xiàn)在數(shù)據(jù)存儲上的轉換處理，將關系模型數(shù)據(jù)庫中存儲的數(shù)據(jù)轉存到新的數(shù)據(jù)模式存儲系統(tǒng)中，針對數(shù)據(jù)模式的變化進行相應查詢語句的轉換，基于SPARK SQL查詢生成SPARK任務并執(zhí)行該任務。本發(fā)明提供的關系數(shù)據(jù)查詢優(yōu)化方法能夠?qū)㈥P系數(shù)據(jù)庫中的數(shù)據(jù)針對查詢的特征準確地轉換到SPARK并行查詢處理框架之上，從而有效提高對關系數(shù)據(jù)庫上部分頻繁執(zhí)行的復雜查詢的處理效率。

技術領域

本發(fā)明涉及計算機數(shù)據(jù)庫技術領域，尤其涉及一種基于數(shù)據(jù)模式轉換和并行框架的關系數(shù)據(jù)查詢優(yōu)化方法。

背景技術

隨著各類應用中數(shù)據(jù)的規(guī)模不斷增加，這導致了在集中式的關系數(shù)據(jù)庫上的對大規(guī)模數(shù)據(jù)查詢操作執(zhí)行響應時間增加，影響了應用系統(tǒng)在查詢處理實時性上的需求，如何提高海量數(shù)據(jù)上查詢處理的性能已經(jīng)成為數(shù)據(jù)庫應用領域一個重要需求；針對海量數(shù)據(jù)的存儲和訪問，現(xiàn)有數(shù)據(jù)管理系統(tǒng)采用分布式存儲和并行查詢處理的方式來提高查詢處理的性能；將集中式關系數(shù)據(jù)庫上的查詢進行分解，將需要并行處理部分合理地轉移到并行處理框架下運行，將能夠極大地提高查詢處理的性能，滿足實際應用在實時性上的需求；

造成當前關系數(shù)據(jù)庫系統(tǒng)在一些復雜查詢上性能低下的主要原因在于關系模型針對的是通用型數(shù)據(jù)庫，在模式設計上主要面向減少數(shù)據(jù)冗余的思想，這樣的結果就是在實際的查詢執(zhí)行時需要對多個關系表進行連接操作，而連接操作在關系數(shù)據(jù)庫中屬于執(zhí)行代價較高的操作，數(shù)據(jù)庫管理系統(tǒng)自身的查詢優(yōu)化器并不一定能夠生產(chǎn)最優(yōu)的執(zhí)行策略；關系數(shù)據(jù)庫系統(tǒng)在并行查詢處理上的能力較弱，現(xiàn)有的關系數(shù)據(jù)庫管理系統(tǒng)雖然支持多處理器的并行方式，但是并不支持多主機的并行處理，這樣在數(shù)據(jù)規(guī)模變大的情況下，很難通過水平擴展的方式保證查詢處理的執(zhí)行性能；采用關系模型存儲的數(shù)據(jù)在實現(xiàn)一些特助應用中的業(yè)務邏輯時會收到關系代數(shù)操作符的限制，從而不得不以較復雜的查詢方式實現(xiàn)，這導致了查詢執(zhí)行性能的進一步下降；

現(xiàn)在，針對一些特殊數(shù)據(jù)查詢應用已經(jīng)提出了新的數(shù)據(jù)模型，如鍵值模型，同時基于這些數(shù)據(jù)模型也有相應的并行計算框架以支撐對海量數(shù)據(jù)信息的并行查詢處理。然而，目前缺少一種有效的方法將關系數(shù)據(jù)庫中的數(shù)據(jù)針對查詢的特征準確地轉換到SPARK并行查詢處理框架之上以提高各類復雜查詢處理的執(zhí)行效率。

發(fā)明內(nèi)容

針對現(xiàn)有技術的缺陷，本發(fā)明提供一種基于數(shù)據(jù)模式轉換和并行框架的關系數(shù)據(jù)查詢優(yōu)化方法，能夠?qū)㈥P系數(shù)據(jù)庫中的數(shù)據(jù)針對查詢的特征準確地轉換到SPARK并行查詢處理框架之上，從而有效提高對關系數(shù)據(jù)庫上部分頻繁執(zhí)行的復雜查詢的處理效率。

一種基于數(shù)據(jù)模式轉換和并行框架的關系數(shù)據(jù)查詢優(yōu)化方法，包括以下步驟：

步驟1：對關系模型數(shù)據(jù)上復雜查詢語句進行結構分析；

首先對執(zhí)行性能較低的關系數(shù)據(jù)庫上的結構化查詢語句，即SQL查詢語句，轉化為SQL語法解析樹結構，以進行下一步分析，找出關系數(shù)據(jù)庫上的SQL查詢語句中能夠通過轉換為新的數(shù)據(jù)模式存儲數(shù)據(jù)和并行查詢方式進行優(yōu)化以提高查詢效率的查詢語句結構，以用于在下一個步驟中生成數(shù)據(jù)的鍵值模型存儲結構；要找出的能進行優(yōu)化的查詢語句結構包括基于關系表關鍵字作為連接屬性的多表連接查詢結構、能聚合文本屬性值的嵌套查詢結構、能并行執(zhí)行的嵌套查詢結構和查詢謂詞中包含的編碼屬性匹配查詢；

步驟2：構建新的數(shù)據(jù)存儲結構；

基于對數(shù)據(jù)模式上的SQL查詢語句的分析，結合查詢所涉及關系表的關系模式結構，進一步構建新的數(shù)據(jù)模式存儲結構，以實現(xiàn)通過新的數(shù)據(jù)模式的數(shù)據(jù)存儲提高查詢執(zhí)行效率，新的數(shù)據(jù)模式為關系模型或鍵值模型；

步驟3：基于步驟2中所生成的新的數(shù)據(jù)模式存儲結構，實現(xiàn)在數(shù)據(jù)存儲上的轉換處理，將關系模型數(shù)據(jù)庫中存儲的數(shù)據(jù)轉存到新的數(shù)據(jù)模式存儲系統(tǒng)中；