[發明專利]面向分布式計算的矩陣數據庫系統及其查詢方法

有效

• 申請號: 201310199404.3
• 申請日: 2013-05-24
• 公開（公告）號: CN103246749B
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 黃斌;劉嶠
• 申請（專利權）人: 北京立新盈企大數據技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京汲智翼成知識產權代理事務所(普通合伙) 11381
• 代理人: 陳曦;景志

本發明公開了一種面向分布式計算的矩陣數據庫系統及其查詢方法。在該矩陣數據庫系統中，包括模式轉換模塊、元數據管理模塊、數據存儲系統、檢索系統和工作流管理模塊；其中，模式轉換模塊以關系型數據庫管理系統作為輸入源，并將預定的數據庫分解成相對獨立的部分，冗余存儲到數據存儲系統中；元數據管理模塊與工作流管理模塊進行雙向的數據交互，用來維持原有的關系模式和新的存儲結構之間的映射關系；工作流管理模塊用于分析SQL語句，并對查詢處理的子任務進行調度管理。相對于兩個現有的數據倉庫工具Hive和HadoopDB，本矩陣數據庫系統及其查詢方法具有明顯的性能優勢。

技術領域

本發明涉及一種關系型數據庫系統，尤其涉及一種面向分布式計算的需要，將面向對象的實體存儲和鍵-值索引存儲集成在一起的矩陣數據庫系統，同時也涉及該矩陣數據庫系統實現查詢處理的方法，屬于數據庫管理技術領域。

背景技術

隨著互聯網技術的深入發展和分布式計算技術的興起，數據庫管理系統需要處理的數據量越來越龐大，基于單機運行的傳統關系型數據庫管理系統很難滿足要求。為此，人們進行了多方面的技術嘗試。例如多種沒有共享服務器的NoSQL分布式數據庫系統已經被開發出來，包括BigTable、HBase、MongoDB、Cassandra和Redis等。這些分布式數據庫系統可以包括數百或數千個節點，具有處理從TB級到PB級數據的能力。

在現有技術中，NoSQL分布式數據庫系統往往傾向于簡化集中與自治相結合的控制機制，以避免復雜的邏輯分析和事務管理，實現可擴展性和可用性。然而，大量的事實已經證明，這樣的設計特點只能實現弱一致性，并且很少的復雜查詢可以打破傳統關系型數據庫在高并發訪問效率上的瓶頸。例如，MongoDB作為現有的文檔型數據庫，適合嵌套的數據結構和不同類型的文件，但是不能針對特定的復雜查詢，而且缺乏高度的可擴展性。HBase是一個分布式、可伸縮的列數據庫。它構建在HDFS文件系統與隨機實時讀寫訪問數據之上。每個HBase的表存儲為多維稀疏圖。每個單元具有一個時間戳，通過主鍵訪問所有表。但HBase本身并不能支持SQL查詢。因此，現有的NoSQL分布式數據庫系統大多不符合理想的數據訪問要求。

MapReduce是美國Google公司提出的一種軟件架構，用于實現大規模數據集的并行運算。在軟件實現時，指定一個Map（映射）函數，用來將一組鍵值對映射成一組新的鍵值對；指定并發的Reduce（化簡）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce通過將對數據集的大規模操作分發給網絡上的每個節點實現可靠性，但是它仍存在嚴重的效率問題。

在MapReduce的基礎上，人們先后提出了Hive和HadoopDB兩種數據倉庫工具。Hive是一種基于Hadoop的數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。HadoopDB是一種開源并行數據庫，集關系型數據庫的數據處理能力與Hadoop、MapReduce等技術于一身。與Hive等不同，HadoopDB不是簡單地在語言/接口層面上的混合，而是在系統實現層面上實現了MapReduce和并行數據庫管理技術的集成。

發明內容

本發明所要解決的首要技術問題在于提供一種面向分布式計算的矩陣數據庫系統。該數據庫系統將面向對象的實體存儲和鍵-值索引存儲集成在一起，可以提高數據查詢處理的效率。

本發明所要解決的另一技術問題在于提供上述矩陣數據庫系統實現查詢處理的方法。

為實現上述的發明目的，本發明采用下述的技術方案：

一種面向分布式計算的矩陣數據庫系統，包括關系型數據庫管理系統、模式轉換模塊、元數據管理模塊、數據存儲系統、檢索系統和工作流管理模塊；其中，

所述模式轉換模塊以所述關系型數據庫管理系統作為輸入源，并將預定的數據庫分解成相對獨立的部分，冗余存儲到所述數據存儲系統中；