[發(fā)明專利]一種基于Hbase查詢性能優(yōu)化的裝置及其方法

在審

• 申請?zhí)枺?/td>: 202010897302.9
• 申請日: 2020-08-31
• 公開（公告）號: CN112069179A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 周小潤;劉躍紅;李佳喜;管正爽
• 申請（專利權(quán)）人: 銀盛支付服務(wù)股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/2455
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 劉昌剛

本發(fā)明公開了一種基于Hbase查詢性能優(yōu)化的裝置及其方法，包括ElasticSearch、Proxy、Appache phoenix以及應(yīng)用程序客戶端，Hbase用于將查詢條件數(shù)據(jù)和一級索引同步至ElasticSearch，應(yīng)用程序客戶端用于發(fā)送標(biāo)準(zhǔn)SQL至Proxy,Proxy實現(xiàn)與ElasticSearch交互，ElasticSearch根據(jù)查詢條件生成索引數(shù)組，并將該索引數(shù)組返回至Proxy，Proxy根據(jù)返回的rowkey數(shù)組觸發(fā)一級索引和二級索引，轉(zhuǎn)譯并提交SQL至Appache phoenix進(jìn)行數(shù)據(jù)解析，所述Appache phoenix將SQL解析成相關(guān)語句并提交至Hbase中執(zhí)行，生成的結(jié)果組合成結(jié)果集，Hbase將結(jié)果集通過Appache phoenix返回至Proxy，Proxy對結(jié)果集進(jìn)行封裝后返回至應(yīng)用程序客戶端，本發(fā)明能夠快速響應(yīng)需要查詢的數(shù)據(jù)，支持二次索引，支持標(biāo)準(zhǔn)SQL，極大地方便業(yè)務(wù)的數(shù)據(jù)查詢，而且支持任意組合查詢，極大的提高了查詢的自由度。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)數(shù)據(jù)查詢性能優(yōu)化領(lǐng)域，具體涉及一種基于Hbase查詢性能優(yōu)化的裝置及其方法。

背景技術(shù)

目前大數(shù)據(jù)已經(jīng)廣泛應(yīng)用在金融、電子商務(wù)、物流、企業(yè)政務(wù)等領(lǐng)域，最近這些年開始應(yīng)用于產(chǎn)業(yè)互聯(lián)網(wǎng)，在5G時代隨著萬物互聯(lián)進(jìn)程加速，海量數(shù)據(jù)的存儲帶來了挑戰(zhàn)。Hbase以其極強(qiáng)的水平在線擴(kuò)展能力、易于維護(hù)、高可用性以及良好的寫入性能廣泛被應(yīng)用于大數(shù)據(jù)存儲。

HBase是Apache Hadoop中的一個子項目，Hbase依托于Hadoop的HDFS作為最基本存儲基礎(chǔ)單元，通過使用hadoop的DFS工具就可以看到這些這些數(shù)據(jù)存儲文件夾的結(jié)構(gòu),還可以通過Map/Reduce的框架(算法)對HBase進(jìn)行操作。HBase在產(chǎn)品中還包含了Jetty，在HBase啟動時采用嵌入式的方式來啟動Jetty，因此可以通過web界面對HBase進(jìn)行管理和查看當(dāng)前運行的一些狀態(tài)，非常輕巧。但是Hbase使用過程中也存在其固有的缺點，這其中面臨一些需要解決的技術(shù)點：

1、只能支持主鍵查詢查詢唯一記錄或者指定條件獲取一批記錄，查詢效率比較低；

2、Hbase原生是不支持二次索引的，而唯一主鍵通常為了避免數(shù)據(jù)傾斜會進(jìn)行特殊處理，使得給查詢帶來麻煩；

3、不支持任意組合的查詢，給用戶取數(shù)帶來困難。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于Hbase查詢性能優(yōu)化的裝置及其方法，支持二次索引，支持標(biāo)準(zhǔn)SQL，極大地方便業(yè)務(wù)的數(shù)據(jù)查詢。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于Hbase查詢性能優(yōu)化的方法，其改進(jìn)之處在于，包括下列步驟：

步驟一：Hbase將查詢條件數(shù)據(jù)和一級索引同步至ElasticSearch；

步驟二：應(yīng)用程序客戶端發(fā)送標(biāo)準(zhǔn)SQL至Proxy,Proxy與ElasticSearch交互；

步驟三：Proxy與ElasticSearch交互后生成索引數(shù)組，并將索引數(shù)組返回，Porxy觸發(fā)一級索引和二級索引，轉(zhuǎn)譯并提交SQL至Appache phoenix進(jìn)行數(shù)據(jù)解析；

步驟四：Appache phoenix將SQL解析成相關(guān)語句并提交至Hbase中執(zhí)行，生成的結(jié)果組合成結(jié)果集；

步驟五:Hbase將結(jié)果集通過Appache phoenix返回至Proxy，Proxy對結(jié)果集進(jìn)行封裝后返回至應(yīng)用程序客戶端。

作為上述技術(shù)方案的進(jìn)一步改進(jìn)，所述的步驟三中，Proxy與ElasticSearch交互后，ElasticSearch根據(jù)查詢條件生成索引數(shù)組。