[發明專利]一種適用流式處理的大規模數據連續分析系統

有效

• 申請號: 201110450268.1
• 申請日: 2011-12-29
• 公開（公告）號: CN102546247A
• 公開（公告）日: 2012-07-04
• 發明（設計）人: 金海;趙峰;袁平鵬;張冬潔
• 申請（專利權）人: 華中科技大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種適用流式處理的大規模數據連續分析系統，包括元數據管理模塊、查詢計劃生成模塊、數據導入任務生成模塊、增量處理模塊、MR消息處理模塊和數據庫連接模塊；

所述元數據管理模塊，用于存儲配置文件、源數據模式信息、數據導入模式信息、數據庫節點信息和數據庫連接信息；

所述查詢計劃生成模塊，用于接收用戶查詢請求，依據所述元數據管理模塊的源數據模式信息解析用戶查詢請求，依據查詢解析結果生成查詢計劃傳送給增量處理模塊，并將所述查詢解析結果傳送給數據導入任務生成模塊；

所述數據導入任務生成模塊，用于接收用戶數據導入請求，依據所述用戶數據導入請求和元數據管理模塊提取源數據信息，生成配置文件，配置文件包含分配給源數據的數據庫節點信息以及數據庫連接信息；接收所述查詢計劃生成模塊的查詢解析結果，依據所述查詢解析結果和源數據模式確定數據導入模式，數據導入模式只包含與查詢相關的屬性以及用于標識數據導入進度的增量標識屬性，將配置文件、源數據模式和數據導入模式信息存儲于所述元數據管理模塊；依據數據導入模式和配置文件生成Hapdoop系統可執行的數據導入MR作業集，將數據導入MR作業集傳送給增量處理模塊；

所述增量處理模塊，用于接收查詢計劃生成模塊的查詢計劃和數據導入任務生成模塊的數據導入MR作業集；所述增量處理模塊將數據導入MR作業集提交給Hapdoop系統，Hapdoop系統調用所述數據庫連接模塊執行數據導入MR作業集；所述增量處理模塊結合所述元數據管理模塊中的配置文件將所述查詢計劃編譯成Hapdoop系統可執行的查詢MR作業集，每當導入數據達到預定量后，所述增量處理模塊就向Hapdoop系統提交一次查詢MR作業集，Hapdoop系統調用所述數據庫連接模塊針對導入的這一部分數據執行查詢MR作業集；

MR消息處理模塊，嵌入在Hadoop系統中，用于使Hadoop系統在執行數據導入或查詢MR作業集時，將Map端產生的中間數據推送給對應的Reduce端，將Reduce端產生的執行結果推送給下一任務的Map端；

數據庫連接模塊，用于提供Hadoop系統與數據庫之間的接口。

2.根據權利要求1所述的大規模數據連續分析系統，其特征在于，所述查詢計劃生成模塊包括查詢緩存、解析器、優化器和規劃器；

所述查詢緩存，用于緩存歷史查詢和對應的查詢計劃；

所述解析器，用于接收用戶查詢請求，在所述查詢緩存查找是否有與本次查詢請求相同的歷史查詢請求，若有，則從查詢緩存中提取相應的查詢計劃并傳送給所述增量處理模塊，否則，依據所述元數據管理模塊的源數據模式信息，通過進行詞法和語義分析生成抽象語法樹，再將抽象語法樹轉化成由查詢子操作組成的有向無連通圖即邏輯查詢計劃；

所述優化器，用于對所述邏輯查詢計劃中的查詢子操作進行修剪和合并生成優化的邏輯查詢；

所述規劃器，用于對所述優化后的邏輯查詢計劃中的查詢子操作按照Map端和Reduce端任務進行歸類，得到最終物理查詢計劃并傳送給增量處理模塊。

3.根據權利要求1所述的大規模數據連續分析系統，其特征在于，所述數據導入任務生成模塊包括源數據解析模塊、配置文件生成模塊、數據導入模式生成模塊和數據導入任務編譯模塊；

所述源數據解析模塊，用于接收用戶數據導入請求，解析用戶數據導入請求中的源數據信息并傳送給所述配置文件生成模塊和數據導入模式生成模塊；

所述配置文件生成模塊，用于接收所述源數據解析模塊的源數據信息，從所述元數據管理模塊的所有數據庫節點中選取適合的數據庫節點分配給所述源數據，在分配的數據庫節點內選取存儲源數據的數據庫，進而生成包含分配的數據庫節點及選取的數據庫連接信息的配置文件，將配置文件存儲于所述元數據管理模塊；

所述數據導入模式生成模塊，用于接收所述查詢計劃生成模塊的查詢解析結果和數據導入模式生成模塊的源數據模式，依據所述查詢解析結果和源數據模式確定數據導入模式，數據導入模式只包含與查詢相關的屬性以及用于標識數據導入進度的增量標識屬性，將配置文件、源數據模式和數據導入模式信息存儲于所述元數據管理模塊；

所述數據導入任務編譯模塊，用于依據所述數據導入模式和所述配置文件生成Hapdoop系統可執行的數據導入MR作業集，將數據導入MR作業集傳送給增量處理模塊；