[發(fā)明專利]一種基于HBase的數(shù)據(jù)同步方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210102586.7
• 申請日: 2022-01-27
• 公開（公告）號: CN114443662A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 宋文豪
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/27
• 代理公司: 北京市萬慧達律師事務(wù)所 11111
• 代理人: 劉艷麗

本發(fā)明公開了一種基于HBase的數(shù)據(jù)同步方法、裝置及存儲介質(zhì)，涉及大數(shù)據(jù)領(lǐng)域。所述方法包括：接收用戶操作索引更新對應(yīng)的索引列表；接收HBase數(shù)據(jù)并同步到公用region server中；Indexer根據(jù)索引列表對所述公用regionserver中數(shù)據(jù)進行索引，得到索引數(shù)據(jù)；根據(jù)更新后的所述索引列表對所述索引數(shù)據(jù)進行過濾，輸出有效數(shù)據(jù)流，并將所述有效數(shù)據(jù)流寫入ES中。本發(fā)明通過公用region server對數(shù)據(jù)進行同步利于數(shù)據(jù)的索引，能夠大幅度降低內(nèi)存、CPU和線程資源占用，提高Indexer組件高負載場景下的魯棒性，提高產(chǎn)品競爭力。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體涉及一種基于HBase的數(shù)據(jù)同步方法、裝置及存儲介質(zhì)。

背景技術(shù)

目前，HBase作為大數(shù)據(jù)領(lǐng)域常用的分布式數(shù)據(jù)庫，支持千億行、百萬列的數(shù)據(jù)存儲，但HBase本身只提供基于行鍵和全表掃描的查詢，涉及到了多條件的組合查詢時，只能通過全表掃描，但效率低下。多條件組合查詢在大數(shù)據(jù)應(yīng)用場景中是比較常見的，我們產(chǎn)品中的Indexer基于開源hbase-indexer進行改造，將HBase表里的某些列索引到ES里面，不會給HBase帶來入侵式的代碼，而且不會影響寫入性能。該需求可以提升HBase二級索引的效率，滿足全文索引場景。大數(shù)據(jù)量多查詢組合場景下，可將查詢耗時從小時級提升至秒級，組合查詢性能極大提升，但是由于開源HBase-indexer社區(qū)近幾年不夠活躍，Indexer組件的部分核心設(shè)計邏輯已很長時間沒有進行優(yōu)化，限制了Indexer組件的性能。

在實際使用中存在以下問題：每個表的索引都會模擬一個regionserver服務(wù)，對HBase中所有表寫入數(shù)據(jù)的WAL文件進行解析，但僅保留該索引對應(yīng)表的寫入記錄，有多少個二級索引表，就模擬多少個regionserver進行數(shù)據(jù)同步和解析。在高負載背景下，會引起機器資源消耗殆盡，進而導(dǎo)致Indexer組件處于不可用狀態(tài)，對業(yè)務(wù)影響極大。

發(fā)明內(nèi)容

為了解決上述背景技術(shù)中提到的至少一個問題，本發(fā)明提供了一種基于HBase的數(shù)據(jù)同步方法、裝置及存儲介質(zhì)，通過公用region server對數(shù)據(jù)進行同步利于數(shù)據(jù)的索引，大幅度降低內(nèi)存、CPU和線程資源占用，提高Indexer組件高負載場景下的魯棒性，提高產(chǎn)品競爭力。

本發(fā)明實施例提供的具體技術(shù)方案如下：

第一方面，提供一種基于HBase的數(shù)據(jù)同步方法，所述方法包括：

接收用戶操作索引并更新對應(yīng)的索引列表；

接收HBase數(shù)據(jù)并同步到公用region server中；

Indexer根據(jù)所述索引列表對所述公用region server中數(shù)據(jù)進行索引，得到索引數(shù)據(jù)；

根據(jù)更新后的所述索引列表對所述索引數(shù)據(jù)進行過濾，輸出有效數(shù)據(jù)流，并將所述有效數(shù)據(jù)流寫入ES中。

進一步的，構(gòu)建公用region server，并采用所述公用region server對所述HBase數(shù)據(jù)進行同步。

進一步的，在將所述有效數(shù)據(jù)流寫入ES中之前，還包括：將所述有效數(shù)據(jù)流轉(zhuǎn)換為所述ES可識別的數(shù)據(jù)格式。

進一步的，還包括：所述用戶操作索引至少包括索引的新增、刪除以及更新中的一種或者幾種。

進一步的，接收用戶操作索引更新對應(yīng)的索引列表，具體包括：

接收用戶操作索引，自動將索引信息記錄到zookeeper中；

通過Indexer獲取zookeeper中的所述索引信息，并將所述索引信息更新到所述索引列表中。

進一步的，接收HBase數(shù)據(jù)并同步到公用region server中，具體包括：