[發(fā)明專利]一種適用于HBase進(jìn)行數(shù)據(jù)備份與恢復(fù)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210188558.1
• 申請(qǐng)日: 2022-02-28
• 公開（公告）號(hào): CN114546728A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 趙圣杰;周永進(jìn);胡清
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F9/50
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 闞恭勇

本發(fā)明提供一種適用于HBase進(jìn)行數(shù)據(jù)備份與恢復(fù)的方法，屬于大數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)領(lǐng)域，本發(fā)明使用HDFS接口展示大數(shù)據(jù)集群的HDFS存儲(chǔ)目錄，用于選擇數(shù)據(jù)備份目錄，通過MapReduce任務(wù)讀取HBase數(shù)據(jù)，將數(shù)據(jù)文件備份到HDFS分布式文件系統(tǒng)中，并在MySql關(guān)系型數(shù)據(jù)庫(kù)中寫入一條備份操作的記錄。進(jìn)行數(shù)據(jù)恢復(fù)時(shí)，選中之前的備份記錄，系統(tǒng)自動(dòng)根據(jù)備份記錄調(diào)用MapReduce將數(shù)據(jù)恢復(fù)到備份時(shí)的狀態(tài)。提供大數(shù)據(jù)備份與恢復(fù)的功能，更加快速、高效的達(dá)到容災(zāi)的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)領(lǐng)域，尤其涉及一種適用于HBase進(jìn)行數(shù)據(jù)備份與恢復(fù)的方法。

背景技術(shù)

數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，為了防止操作失誤、機(jī)器宕機(jī)等故障必須進(jìn)行數(shù)據(jù)備份。隨著技術(shù)的不斷發(fā)展，存量數(shù)據(jù)越來越多，對(duì)數(shù)據(jù)備份及恢復(fù)的要求也越來越高。傳統(tǒng)的數(shù)據(jù)備份先讀取數(shù)據(jù)，然后將數(shù)據(jù)寫入到本地磁盤的文件中，數(shù)據(jù)恢復(fù)時(shí)再解析本地磁盤的數(shù)據(jù)文件轉(zhuǎn)換格式后批量寫入表中，這種方式會(huì)消耗大量的網(wǎng)絡(luò)IO，性能差。

發(fā)明內(nèi)容

為了解決以上技術(shù)問題，本發(fā)明提供了一種適用于HBase進(jìn)行數(shù)據(jù)備份與恢復(fù)的方法。將數(shù)據(jù)備份到HDFS中，備份速度快，數(shù)據(jù)恢復(fù)耗時(shí)短，且易于操作，節(jié)省運(yùn)維成本。

本發(fā)明的技術(shù)方案是：

一種適用于HBase進(jìn)行數(shù)據(jù)備份與恢復(fù)的方法，使用HDFS分布式文件系統(tǒng) API，獲取HDFS路徑，通過MapReduce任務(wù)讀取HBase數(shù)據(jù)，將數(shù)據(jù)文件備份到 HDFS分布式文件系統(tǒng)中，并在MySql關(guān)系型數(shù)據(jù)庫(kù)中添加一條備份操作記錄，記錄表名、備份時(shí)間、備份類型等信息。數(shù)據(jù)恢復(fù)時(shí)，選擇數(shù)據(jù)備份列表中需要恢復(fù)的記錄，通過MapReduce任務(wù)將備份的數(shù)據(jù)恢復(fù)到指定的HBase表中。

進(jìn)一步的，

數(shù)據(jù)備份時(shí)，通過執(zhí)行遠(yuǎn)程命令提交MapReduce任務(wù)讀取HBase數(shù)據(jù)，將數(shù)據(jù)文件備份到HDFS分布式文件系統(tǒng)中。

數(shù)據(jù)恢復(fù)時(shí)通過操作記錄獲取數(shù)據(jù)備份列表中需要恢復(fù)的記錄，數(shù)據(jù)恢復(fù)時(shí)后臺(tái)通過執(zhí)行遠(yuǎn)程命令提交MapReduce任務(wù)進(jìn)行數(shù)據(jù)恢復(fù)，利用日志監(jiān)聽獲取當(dāng)前任務(wù)的執(zhí)行情況。

再進(jìn)一步的，

執(zhí)行遠(yuǎn)程命令

實(shí)現(xiàn)將命令發(fā)送至集群所在節(jié)點(diǎn)并執(zhí)行，同時(shí)監(jiān)聽該命令的執(zhí)行日志記錄；當(dāng)該命令執(zhí)行完成并且無日志輸出后，將執(zhí)行結(jié)果返回前臺(tái)并展示給客戶，包括：

1)、用戶操作所在節(jié)點(diǎn)與集群節(jié)點(diǎn)之間生成公私鑰免密配置文件并配置ssh 免密登陸；

2)、利用程序連接集群節(jié)點(diǎn)時(shí)，需指定使用的秘鑰文件的絕對(duì)路徑，并指定用戶名稱；

3)、連接到遠(yuǎn)程節(jié)點(diǎn)并發(fā)送執(zhí)行命令，循環(huán)監(jiān)聽命令的執(zhí)行日志，直至無新的日志產(chǎn)生，說明該命令執(zhí)行完成。

操作記錄

實(shí)時(shí)更新并記錄任務(wù)操作進(jìn)度的功能；通過日志監(jiān)聽獲取任務(wù)執(zhí)行日志，分析日志內(nèi)容，獲取當(dāng)前任務(wù)執(zhí)行狀態(tài)，并更新到表中，包括：

1)、設(shè)計(jì)操作記錄的存儲(chǔ)表結(jié)構(gòu)，包括操作類型、操作時(shí)間、存儲(chǔ)目錄；

2)、用戶點(diǎn)擊備份或恢復(fù)按鈕時(shí)，先向表中記錄一條操作記錄，該記錄的狀態(tài)為初始狀態(tài)；

3)、通過監(jiān)聽日志功能，根據(jù)當(dāng)前任務(wù)的進(jìn)度，實(shí)時(shí)更新為進(jìn)行中、操作成功或操作失敗狀態(tài)。

日志監(jiān)聽

實(shí)現(xiàn)任務(wù)執(zhí)行日志監(jiān)聽的功能；接口持續(xù)獲取任務(wù)的執(zhí)行日志，通過分析日志獲得當(dāng)前任務(wù)的執(zhí)行狀態(tài)，并反饋至前臺(tái)展示給用戶，包括：

1)、執(zhí)行備份或恢復(fù)命令后，獲取該任務(wù)的ID；