[發明專利]基于列存儲的智能雙引擎分析系統及方法

在審

• 申請號: 201410335740.0
• 申請日: 2014-07-15
• 公開（公告）號: CN104133858A
• 公開（公告）日: 2014-11-05
• 發明（設計）人: 郝俊瑞;向智宇;許德瑋;高漢松;郭嘉
• 申請（專利權）人: 武漢郵電科學研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京捷誠信通專利事務所(普通合伙) 11221
• 代理人: 魏殿紳;龐炳良

1.一種基于列存儲的智能雙引擎分析系統，包括HBase存儲單元、客戶端、智能結構化查詢語言SQL路由單元，該系統在用戶側實現智能SQL路由單元；其特征在于：該系統采用HBase存儲單元作為底層數據的存儲單元，并在HBase存儲單元上建立實時查詢引擎和批量分析引擎，該系統針對的數據是結構化的關系型數據；

所述HBase存儲單元用于：實現對數據的底層存儲，在存儲數據時，將數據的主鍵自動映射到HBase的主鍵上，如果用戶的數據還有其他列帶有索引，那么通過單獨的HBase表來生成二級索引表，二級索引表的主鍵對應用戶表的索引列；

所述客戶端用于：接收用戶輸入的SQL語句，然后將用戶輸入的SQL語句發送給智能SQL路由單元；

所述智能SQL路由單元用于：對用戶輸入的SQL語句進行解析，并進行分析和判斷，根據分析的結果將SQL路由到實時查詢引擎或者批量分析引擎，進行分析和查詢；

所述實時查詢引擎用于：將使用索引的簡單查詢轉化為HBase的主鍵查詢操作或范圍查詢操作，通過HBase的主鍵和索引對數據進行檢索、查詢和分析；

所述批量分析引擎是Hive在HBase存儲單元上的實現，對于復雜的統計和分析，實時查詢引擎無法完成，批量分析引擎將復雜的統計和分析轉化為映射化簡MapReduce的并行任務，然后由MapReduce任務在HBase存儲單元的底層存儲文件HFile上直接進行并行分析和處理。

2.如權利要求1所述的基于列存儲的智能雙引擎分析系統，其特征在于：所述批量分析引擎包括編譯器、執行器和元數據管理模塊，編譯器用于將SQL語句轉化為MapReduce任務；執行器用于執行MapReduce任務，MapReduce任務直接在HBase的底層存儲文件HFile上進行；元數據管理模塊用于管理HBase存儲單元存儲的數據表，進行數據表的建立、刪除和修改操作。

3.適用于權利要求1或2所述系統的基于列存儲的智能雙引擎分析方法，其特征在于，包括以下步驟：

S1、用戶在客戶端輸入SQL語句，客戶端將用戶輸入的SQL語句發送到智能SQL路由單元，智能SQL路由單元在用戶側截獲用戶輸入的SQL語句；

S2、智能SQL路由單元分析用戶輸入的SQL語句的類型，判斷用戶輸入的SQL語句是數據定義語句，還是數據操作語句，如果用戶輸入的SQL語句是數據定義語句，則轉到步驟S3；如果用戶輸入的SQL語句是數據操作語句，則轉到步驟S4；

S3、如果用戶輸入的SQL語句是數據定義語句，智能SQL路由單元將該SQL語句路由到批量分析引擎，批量分析引擎的元數據管理模塊根據數據定義語句的要求進行表的建立、刪除和修改操作；

S4、如果用戶輸入的SQL語句是數據操作語句，判斷該SQL語句是否為選擇select語句，如果是select語句，則轉到步驟S5；如果不是select語句，則轉到步驟S7；

S5、如果select語句的查詢條件是單列或雙列，并且其中任意一列建有索引，則轉到步驟S6；否則，轉到步驟S7；

S6、智能SQL路由單元將該SQL語句路由到實時查詢引擎進行查詢：實時查詢引擎根據用戶的SQL語句找出對應的主鍵列或索引列，如果是主鍵列，則直接在HBase存儲單元的表里，用HBase存儲單元的編程接口進行快速查找；如果是索引列，則在索引表里利用HBase存儲單元的編程接口進行快速查找，找到主鍵位置，然后再從主鍵表中進行查找；

S7、智能SQL路由單元將該SQL語句路由到批量分析引擎進行進行并行的查找和分析：批量分析引擎先進行一個刷新操作，將HBase存儲單元緩存在內存中的數據，刷新到磁盤中，HBase存儲單元在磁盤中保存文件的格式是以HFile格式來保存的；然后對HBase存儲單元的底層存儲文件進行分割操作，分割后形成一個個的文件塊；再將文件塊作為MapReduce的并行輸入，進行并行的查找和分析。