[發明專利]一種針對混合型大數據處理系統的數據交互分析方法

在審

• 申請號: 201410710850.0
• 申請日: 2014-12-01
• 公開（公告）號: CN104391957A
• 公開（公告）日: 2015-03-04
• 發明（設計）人: 亓開元;盧軍佐;楊勇;辛國茂
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種針對混合型大數據處理系統的數據交互分析方法，混合型大數據處理系統是基于HBase數據庫及基于內存計算引擎的Hive系統構建，交互查詢sql語句由客戶端發出，包括針對Hive表和HBase表的join操作，其特征在于采用bucket?join方法進行數據交互，bucket?join方法包括數據準備過程和運行時執行過程；

數據準備過程：建立Hive表并按關聯字段join_key分桶，按分桶導入數據，顯式的設置參與分桶的reduce數與分桶數n相同，按照hashCode=join_key?%?n將數據分別存入n個桶文件；建立hbase表并導入數據，hbase的主鍵除了表的key外，在key之前連接join_key的hashCode；

運行時執行過程：客戶端Driver解釋sql語句，編譯執行計劃，在客戶端構造內存空間、線程池用于驅動執行的運行時環境。

2.根據權利要求1所述的一種針對混合型大數據處理系統的數據交互分析方法，其特征在于利用HBase?coprocessor引擎實現bucket?join；?Coprocessor分為Observer和EndPoint，Observer監聽HBase?Get、?Put、Delete、Scan數據操作，以及元數據和日志操作；EndPoint屬于遠過程調用RPC類型的Coprocessor，客戶端通過調用PRC接口按每個row或range的位置自動分片為多個并行的RPC調用。

3.?根據權利要求1所述的一種針對混合型大數據處理系統的數據交互分析方法，其特征在于在bucket?join方法中，客戶端調用HBase的Endpoint類型coprocessor?Server?Caching?Protocal進行數據緩存；在Server?Caching?Protocal的實現中，每個Region調用Hive驅動查詢分桶數據，Hive引擎僅僅針對所需分桶執行查詢操作，返回結果后，以HashMap形式緩存在內存cache中，并通知客戶端。

4.根據權利要求1所述的一種針對混合型大數據處理系統的數據交互分析方法，其特征在于客戶端Driver調用設定scan的類型為bucket?join，發出scan調用原語；每個Region的Obesever型coprocessor?region?sever?Scan?Observer攔截該join請求，調用MapJoin?Scanner；Map?Join?Scanner執行Hash?join算法；針對在本Region?Sever上掃描結果result中的每個tuple，判斷是否在cache中存在相同join_key的數據，如有，則進行join處理；各個Region?Server將join結果返回客戶端。