[發(fā)明專利]一種對多HBase集群的數(shù)據(jù)操作方法及裝置

在審

• 申請?zhí)枺?/td>: 202211524125.5
• 申請日: 2022-11-30
• 公開（公告）號: CN115827757A
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計）人: 王年明;張銳;白小波;曹曉航
• 申請（專利權(quán)）人: 西部科學(xué)城智能網(wǎng)聯(lián)汽車創(chuàng)新中心（重慶）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京科領(lǐng)智誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11782
• 代理人: 陳士騫

本發(fā)明公開一種對多HBase集群的數(shù)據(jù)操作方法及裝置，方案可以包括：接收客戶端發(fā)送的對多HBase集群進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)操作請求；數(shù)據(jù)操作請求中攜帶有數(shù)據(jù)操作請求對應(yīng)的目標(biāo)HBase集群標(biāo)識信息；目標(biāo)HBase集群標(biāo)識信息所標(biāo)識的HBase集群屬于多HBase集群的子集群；判斷數(shù)據(jù)操作請求是否用于請求從多HBase集群中讀取數(shù)據(jù)，得到判斷結(jié)果；若判斷結(jié)果表明數(shù)據(jù)操作請求用于請求從多HBase集群中讀取數(shù)據(jù)，則確定數(shù)據(jù)操作請求對應(yīng)的目標(biāo)數(shù)據(jù)表后，基于預(yù)先配置的集群路由表確定目標(biāo)數(shù)據(jù)表對應(yīng)的子集群中的目標(biāo)HBase集群；集群路由表包括多個目標(biāo)數(shù)據(jù)表中任意一個目標(biāo)數(shù)據(jù)表與此其對應(yīng)的子集群中目標(biāo)HBase集群的關(guān)聯(lián)信息；基于目標(biāo)HBase集群對數(shù)據(jù)操作請求進(jìn)行響應(yīng)，并將響應(yīng)結(jié)果反饋到客戶端。

技術(shù)領(lǐng)域

本發(fā)明涉及云計算技術(shù)領(lǐng)域，具體而言，涉及一種對多HBase集群的數(shù)據(jù)操作方法及裝置。

背景技術(shù)

隨著企業(yè)數(shù)字化轉(zhuǎn)型，企業(yè)內(nèi)部一般會建立自己的數(shù)據(jù)倉庫系統(tǒng)，對于數(shù)據(jù)量龐大，實時性要求比較高的業(yè)務(wù)，一般會采用搭建HBase集群的方式來支持業(yè)務(wù)處理。其中，HBase即hadoopdatabase，本身單個HBase集群是高可靠，高性能，易伸縮的分布式存儲系統(tǒng)，但隨著企業(yè)要處理的業(yè)務(wù)越來越多，數(shù)據(jù)量也越來越大，對數(shù)據(jù)的可用性要求也越來越高，此時企業(yè)一般會搭建多個HBase集群，然后對多個HBase集群進(jìn)行管理以實現(xiàn)集群的高可用性。目前現(xiàn)有技術(shù)中，一般是基于zk集群來管理多個HBase集群，高可用性與zk集群強相關(guān)，但是在使用zk集群的方式中，當(dāng)對多HBase集群的訪問量比較大時，流量會首先打到zk集群上，此時zk集群壓力過大，可能會會出現(xiàn)zk集群長時間鎖住的現(xiàn)象，甚至出現(xiàn)zk集群不能提供服務(wù)等問題，從而給HBase集群提供的包括讀和寫數(shù)據(jù)在內(nèi)的服務(wù)造成很大的負(fù)面影響。

因此，有必要提供一種可靠的管理多HBase集群的方法。

發(fā)明內(nèi)容

本發(fā)明提供一種對對多HBase集群的數(shù)據(jù)操作方法及裝置，用以克服現(xiàn)有技術(shù)中存在的至少一個技術(shù)問題。

根據(jù)本發(fā)明實施例的第一方面，提供一種對多HBase集群的數(shù)據(jù)操作方法，包括：

接收客戶端發(fā)送的對多HBase集群進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)操作請求；所述數(shù)據(jù)操作請求中攜帶有所述數(shù)據(jù)操作請求對應(yīng)的目標(biāo)HBase集群標(biāo)識信息；所述目標(biāo)HBase集群標(biāo)識信息所標(biāo)識的HBase集群屬于所述多HBase集群的子集群；

判斷所述數(shù)據(jù)操作請求是否用于請求從所述多HBase集群中讀取數(shù)據(jù)，得到判斷結(jié)果；

若所述判斷結(jié)果表明所述數(shù)據(jù)操作請求用于請求從所述多HBase集群中讀取數(shù)據(jù)，則確定所述數(shù)據(jù)操作請求對應(yīng)的目標(biāo)數(shù)據(jù)表后，基于用戶預(yù)先配置的集群路由表確定所述目標(biāo)數(shù)據(jù)表對應(yīng)的所述子集群中的目標(biāo)HBase集群；所述集群路由表包括多個目標(biāo)數(shù)據(jù)表中任意一個目標(biāo)數(shù)據(jù)表與所述任意一個目標(biāo)數(shù)據(jù)表對應(yīng)的所述子集群中目標(biāo)HBase集群的關(guān)聯(lián)信息；所述目標(biāo)HBase集群包括至少兩個HBase集群；

基于所述目標(biāo)HBase集群對所述數(shù)據(jù)操作請求進(jìn)行響應(yīng)，并將響應(yīng)結(jié)果反饋到所述客戶端。

優(yōu)選的，所述接收客戶端發(fā)送的對多HBase集群進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)操作請求之前，包括：

接收用戶基于客戶端發(fā)送的對所述對多HBase集群的訪問配置信息，所述訪問配置信息用于基于所述用戶的歸屬地確定所述多HBase集群中的子集群。

優(yōu)選的，所述接收客戶端發(fā)送的對多HBase集群進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)操作請求之前，包括：預(yù)先為所述多HBase集群的每個用戶分配用戶標(biāo)識信息，所述數(shù)據(jù)操作請求還攜帶有對應(yīng)的用戶標(biāo)識信息；

所述目標(biāo)HBase集群包括所述目標(biāo)HBase集群所歸屬的子集群中的兩個集群，所述兩個集群包括第一HBase集群和第二HBase集群；