[發明專利]基于HBase協處理器的類SQL查詢的方法和系統

有效

• 申請號: 201610308094.8
• 申請日: 2016-05-11
• 公開（公告）號: CN107368477B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 邵先凱;李威;張鵬
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

本發明提供一種基于HBase協處理器的類SQL查詢的方法和系統，能夠規范統一查詢的條件及返回的結果，并能在避免對上層業務侵入的同時，執行高性能的實時數據并行計算。該方法包括：在HBase客戶端預先配置HBase存儲的表的元數據；建立上層業務接入連接，解析從上層業務傳入的SQL查詢語句，生成查詢請求；所述HBase客戶端將所述查詢請求分發至RegionServer；所述RegionServer根據所述查詢請求利用HBase協處理器并行查詢和處理數據；所述HBase客戶端合并由所述RegionServer返回的數據并封裝結果集。

技術領域

本發明涉及計算機技術及軟件領域，尤其涉及一種基于HBase協處理器的類SQL查詢的方法和系統。

背景技術

近年來，電商行業不斷發展，對于大數據的存儲、抽取、計算、分析以及展示越來越受到各大電商的關注。隨著電商數據的爆炸性增長及對大數據處理分析的迫切需求，同時由于數據存儲空間與數據訪問時間之間的矛盾，各大電商選擇分布式的存儲系統HBase(HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統)來對數據進行存儲，以滿足對數據高效的插入和讀取操作。

但是由于業務需求的多樣化，導致了針對HBase的原生API查詢條件以及對其查詢所得到的Key-Value數據模型趨于多元化、差異化，無法使得上層業務以一種統一的、規范的形式來進行對HBase數據的查詢和計算；另外，單純的使用HBase原生API來進行HBase的查詢，并將查詢所得到的數據在客戶端進行單節點的計算，會導致了HBase資源沒有充分利用且計算效率低下等問題。

目前，針對HBase上的查詢引擎解決方案，根據與HBase的操作方式，可以分為兩種：一種是以Map-Reduce為核心，結合Map-Reduce思想，單個任務使用HBase-Client API原始接口訪問，以Hive SQL為代表；另一種是以HBase-Coprocessor為核心，結合GoogleDremel的思想，客戶端合并多個節點的處理結果，以Phoenix為核心。

但是上述兩種方式中，由于Hive基于Map-Reduce思想，數據查詢響應時間長，實時性較差，在較小的數量級上的數據查詢及計算的效率較低；而Phoenix對HBase有著極強的侵入性，其創建的表HBase可以識別并使用，但是使用HBase創建的表，Phoenix不能識別，因此無法應對現有線上HBase數據表的業務需求。故現有的針對HBase的查詢方式并不能解決現有HBase查詢過程中無法應對業務需求多樣化需求及查詢效率低下、HBase資源不能充分利用的問題。

發明內容

有鑒于此，本發明提供一種基于HBase協處理器的類SQL查詢的方法和系統，能夠規范統一查詢的條件及返回的結果，并能在避免對上層業務侵入的同時，執行高性能的實時數據并行計算。

為實現上述目的，根據本發明的一個方面，提供了一種基于HBase協處理器的類SQL查詢的方法。

本發明的基于HBase協處理器的類SQL查詢的方法包括：在HBase客戶端預先配置HBase存儲的表的元數據；建立從上層業務接入連接，解析上層業務傳入的SQL查詢語句，生成查詢請求；所述HBase客戶端將所述查詢請求分發至RegionServer；所述RegionServer根據所述查詢請求利用HBase協處理器并行查詢和處理數據；所述HBase客戶端合并由所述RegionServer返回的數據并封裝結果集。

可選地，所述上層業務接入連接采用JDBC連接方式。

可選地，解析從上層業務傳入的SQL查詢語句還包括：接收業務端的SQL查詢語句，對SQL查詢語句進行預處理，并通過詞法、語法分析生成SQL查詢請求。

可選地，所述HBase客戶端將所述查詢請求分發至RegionServer還包括：根據Rowkey信息將所述查詢請求分發至所述RegionServer。