[發(fā)明專利]搭建HBase災(zāi)備集群的方法

在審

• 申請?zhí)枺?/td>: 202010515293.2
• 申請日: 2020-06-09
• 公開（公告）號: CN111400108A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計）人: 李燁
• 申請（專利權(quán)）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 成都智言知識產(chǎn)權(quán)代理有限公司 51282
• 代理人: 濮云杉

本發(fā)明涉及搭建HBase災(zāi)備集群的方法，包括：S1．針對只有寫入操作的生產(chǎn)集群，新建一套沒有數(shù)據(jù)的供災(zāi)備使用的災(zāi)備集群；S2．配置所述生產(chǎn)集群和災(zāi)備集群之間的與實時復(fù)制相關(guān)的參數(shù)；S3．以輪詢方式重啟生產(chǎn)集群的所有節(jié)點，生產(chǎn)集群的所有節(jié)點重啟全部完成后，生產(chǎn)集群新寫入的數(shù)據(jù)會實時復(fù)制到災(zāi)備集群；S4．通過命令將生產(chǎn)集群中的數(shù)據(jù)導(dǎo)出，再通過命令將所述導(dǎo)出的數(shù)據(jù)導(dǎo)入到災(zāi)備集群中，并且在導(dǎo)入時，導(dǎo)入數(shù)據(jù)將覆蓋通過步驟S3已經(jīng)復(fù)制到災(zāi)備集群的相同數(shù)據(jù)。本發(fā)明在進行數(shù)據(jù)遷移時不需要中斷生產(chǎn)集群的業(yè)務(wù)，有效避免了對生產(chǎn)集群中業(yè)務(wù)連續(xù)性的影響，并且也保證了兩個集群數(shù)據(jù)的一致性。

技術(shù)領(lǐng)域

本發(fā)明涉及IT系統(tǒng)災(zāi)備技術(shù)，具體講是搭建HBase災(zāi)備集群的方法。

背景技術(shù)

災(zāi)備系統(tǒng)是指在相隔較遠的異地，建立兩套或多套功能相同且可以互相之間進行功能切換的IT系統(tǒng)，當一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時，整個系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作。

HBase是目前非常流行的一個分布式的、面向列的NoSQL數(shù)據(jù)庫，是Apache社區(qū)的頂級開源項目，其應(yīng)用場景主要是海量數(shù)據(jù)的存儲和高并發(fā)條件下的根據(jù)固定條件的檢索。

在搭建HBase的災(zāi)備集群之前，往往存在一套已經(jīng)運行了較長時間并存儲了較多數(shù)據(jù)的正在承載業(yè)務(wù)運行的HBase集群。通常把先存在并承載業(yè)務(wù)運行的HBase集群叫HBase生產(chǎn)集群，把后搭建的供數(shù)據(jù)實時復(fù)制備份并在生產(chǎn)集群不可用時可以承載業(yè)務(wù)運行的HBase集群叫HBase災(zāi)備集群。一般搭建HBase災(zāi)備集群的方法是，將先新搭建一套空的（沒有數(shù)據(jù)的）供災(zāi)備使用的HBase集群，再將現(xiàn)有HBase生產(chǎn)集群上的業(yè)務(wù)停服一段時間（即：停止上層應(yīng)用對HBase生產(chǎn)集群的讀寫操作），從而保證生產(chǎn)集群的數(shù)據(jù)不再變化。接著，將生產(chǎn)集群的全部數(shù)據(jù)通過導(dǎo)入、導(dǎo)出命令遷移復(fù)制到HBase災(zāi)備集群中，然后配置生產(chǎn)集群和災(zāi)備集群之間的HBase Replication，并重啟兩套集群。其中遷移復(fù)制歷史數(shù)據(jù)和配置HBase Replication這兩個步驟的先后順序可以交換。最后再恢復(fù)HBase生產(chǎn)集群上的業(yè)務(wù)。由于生產(chǎn)集群的數(shù)據(jù)量往往較大（通常TB級），因此數(shù)據(jù)遷移復(fù)制時間較長會造成HBase生產(chǎn)集群上的業(yè)務(wù)停服較長，這種搭建HBase災(zāi)備集群的方法對業(yè)務(wù)連續(xù)性影響較大。

發(fā)明內(nèi)容

本發(fā)明提供了一種搭建HBase災(zāi)備集群的方法，以解決現(xiàn)有方法中進行數(shù)據(jù)遷移時需要業(yè)務(wù)停止時間較長的問題。

本發(fā)明搭建HBase災(zāi)備集群的方法，包括：

S1．針對只有寫入操作的HBase生產(chǎn)集群，新建一套沒有數(shù)據(jù)的供災(zāi)備使用的HBase災(zāi)備集群；

S2．配置所述HBase生產(chǎn)集群和HBase災(zāi)備集群之間的與實時復(fù)制相關(guān)的參數(shù)；

S3．以輪詢方式重啟HBase生產(chǎn)集群的所有節(jié)點，HBase生產(chǎn)集群的所有節(jié)點重啟全部完成后，HBase生產(chǎn)集群新寫入的數(shù)據(jù)會實時復(fù)制到HBase災(zāi)備集群；

S4．通過HBase生產(chǎn)集群的Export命令將HBase生產(chǎn)集群中的數(shù)據(jù)導(dǎo)出，再通過HBase災(zāi)備集群的導(dǎo)入命令將所述導(dǎo)出的數(shù)據(jù)導(dǎo)入到HBase災(zāi)備集群中，并且在導(dǎo)入時，導(dǎo)入數(shù)據(jù)將覆蓋通過步驟S3已經(jīng)復(fù)制到HBase災(zāi)備集群的相同數(shù)據(jù)。