[發明專利]一種適用流式處理的大規模數據連續分析系統

有效

• 申請號: 201110450268.1
• 申請日: 2011-12-29
• 公開（公告）號: CN102546247A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: 金海;趙峰;袁平鵬;張冬潔
• 申請（專利權）人: 華中科技大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

技術領域

本發明屬于數據分析領域，具體涉及一種適用流式處理的大規模數據連續分析系統。它適用于針對大規模數據的并行分析計算，滿足對查詢響應時間要求較高數據分析應用。

背景技術

隨著大數據時代的來臨，面對如何從海量的數據中獲取有價值的信息的問題，大規模數據分析變得越來越重要，同時也對數據分析系統提出了更高的要求。傳統的使用單一數據庫管理系統(DBMS)進行數據分析的方法已經無法支撐不斷增長的數據，也無法滿足多樣的，快速的數據分析需求。

現有的兩類主要的大規模數據分析系統：并行數據庫系統(Parallel?DBMS)和基于MapReduce(MR)框架的系統均存在不足之處。并行數據庫的擴展性有限，且隨著數據量的增量容錯性難以保證，而基于MR的系統面對多數據集的處理效率較低，尤其是對關系數據的處理。因此，無論是學術界還是業界都開始考慮對兩者的優勢進行整合。但是大部分的整合僅僅是在接口層次上的整合，很少有進行體系結構上的整合。

對于已有的從體系結構上對MR框架和數據庫進行整合的系統，依然存在整合不徹底，沒有充分利用二者的優點的問題，而且缺乏對現有架構的改進，不能很好地適應多樣的，快速的數據分析需求。如長時間的數據導入過程，MR的批處理設計等問題并沒有很好的解決。

發明內容

本發明的目的是提供一種適用流式處理的大規模數據連續分析系統，該系統有機地整合了分布式數據處理系統Hadoop和數據庫系統的優點，使用連續和流式的處理方式，在保持系統的可擴展性和可靠性的前提下，大大提高了對大規模數據集查詢的響應速度。

一種適用流式處理的大規模數據連續分析系統，包括元數據管理模塊、查詢計劃生成模塊、數據導入任務生成模塊、增量處理模塊、MR消息處理模塊和數據庫連接模塊；

所述元數據管理模塊，用于存儲配置文件、源數據模式信息、數據導入模式信息、數據庫節點信息和數據庫連接信息；

所述查詢計劃生成模塊，用于接收用戶查詢請求，依據所述元數據管理模塊的源數據模式信息解析用戶查詢請求，依據查詢解析結果生成查詢計劃傳送給增量處理模塊，并將所述查詢解析結果傳送給數據導入任務生成模塊；

所述數據導入任務生成模塊，用于接收用戶數據導入請求，依據所述用戶數據導入請求和元數據管理模塊提取源數據信息，生成配置文件，配置文件包含分配給源數據的數據庫節點信息以及數據庫連接信息；接收所述查詢計劃生成模塊的查詢解析結果，依據所述查詢解析結果和源數據模式確定數據導入模式，數據導入模式只包含與查詢相關的屬性以及用于標識數據導入進度的增量標識屬性，將配置文件、源數據模式和數據導入模式信息存儲于所述元數據管理模塊；依據數據導入模式和配置文件生成Hapdoop系統可執行的數據導入MR作業集，將數據導入MR作業集傳送給增量處理模塊；

所述增量處理模塊，用于接收查詢計劃生成模塊的查詢計劃和數據導入任務生成模塊的數據導入MR作業集；所述增量處理模塊將數據導入MR作業集提交給Hapdoop系統，Hapdoop系統調用所述數據庫連接模塊執行數據導入MR作業集；所述增量處理模塊結合所述元數據管理模塊中的配置文件將所述查詢計劃編譯成Hapdoop系統可執行的查詢MR作業集，每當導入數據達到預定量后，所述增量處理模塊就向Hapdoop系統提交一次查詢MR作業集，Hapdoop系統調用所述數據庫連接模塊針對導入的這一部分數據執行查詢MR作業集；

MR消息處理模塊，嵌入在Hadoop系統中，用于使Hadoop系統在執行數據導入或查詢MR作業集時，將Map端產生的中間數據推送給對應的Reduce端，將Reduce端產生的執行結果推送給下一任務的Map端；

數據庫連接模塊，用于提供Hadoop系統與數據庫之間的接口。

進一步地，所述查詢計劃生成模塊包括查詢緩存、解析器、優化器和規劃器；

所述查詢緩存，用于緩存歷史查詢和對應的查詢計劃；

所述解析器，用于接收用戶查詢請求，在所述查詢緩存查找是否有與本次查詢請求相同的歷史查詢請求，若有，則從查詢緩存中提取相應的查詢計劃并傳送給所述增量處理模塊，否則，依據所述元數據管理模塊的源數據模式信息，通過進行詞法和語義分析生成抽象語法樹，再將抽象語法樹轉化成由查詢子操作組成的有向無連通圖即邏輯查詢計劃；

所述優化器，用于對所述邏輯查詢計劃中的查詢子操作進行修剪和合并生成優化的邏輯查詢；