[發明專利]HBase數據備份恢復的方法和裝置

在審

• 申請號: 201410483014.3
• 申請日: 2014-09-19
• 公開（公告）號: CN104199963A
• 公開（公告）日: 2014-12-10
• 發明（設計）人: 劉璧怡;郭美思;吳楠
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王丹;李丹

技術領域

本發明涉及數據處理技術領域，尤其涉及一種HBase(Hadoop?Database)數據備份恢復的方法和裝置。

背景技術

伴隨著海量數據時代的到來，計算模型也經歷著多種模式的演變。從單一的計算機到分布式計算的演變過程是持續增長數據量的必然趨勢。現階段，大數據集的分析、管理、挖掘等需求都是傳統的數據庫無法勝任的，據統計，數據庫工具處理的結構化數據是在GB級別上，傳統技術無法適應這種擴展性。現擁有的技術和工具中，最成熟的是Hadoop文件存儲計算框架及架構于其上的相關組件。Hadoop本身由Hadoop分布式文件系統(HDFS，Hadoop?Distributed?File?System)和分布式計算框架MapReduce組成，其中MapReduce計算框架主要適用于批量文件處理，而在實時數據分析處理方面主要運用的技術是HBase。

HBase是建立在分布式文件系統HDFS之上，是一個提供高可靠性、列存儲、高性能、可伸縮、能實時讀寫的分布式數據庫系統。它介于非關系型數據庫和關系型數據庫之間，能通過主鍵及主鍵范圍來檢索數據。在HBase中的數據是隨時間而變化的，如果想要使用某一時間段的數據需要對其進行備份恢復。因此，HBase數據備份恢復是非常重要的。

在HBase中數據是分成兩部分存儲的，一部分是在內存中，另一部分是以HFile(Hadoop?File)文件的形式持久化到HDFS上。因此，在執行數據備份恢復時需將兩部分的內容進行備份恢復，但是，現有的HBase數據備份恢復方法在進行HBase數據備份恢復時需要對HBase的服務進行停止，影響用戶操作，而且根據HBase中的日志文件進行數據備份恢復，難以保證在備份恢復時兩部分內容的數據完整性。

發明內容

為了解決上述技術問題，本發明提供了一種HBase數據備份恢復方法和裝置，能夠高效且完整地對HBase數據進行備份恢復。

為了達到本發明目的，本發明提供了一種HBase數據備份恢復方法，包括：在HBase數據進行備份時，將HBase內存中的數據刷到HFile文件中；為HBase表結構下的每個Region中的每個HFile文件創建相應的引用文件，對每個HBase表的HFile文件進行備份；在HBase數據進行恢復時，若所需要恢復的數據是持久化數據，根據所需要恢復的數據對應的引用文件，進行持久化數據恢復；若所需要恢復的數據是內存數據，根據日志文件，對HBase內存數據進行恢復。

進一步地，若所需要恢復的數據是持久化數據，根據所需要恢復的數據對應的引用文件，進行持久化數據恢復，包括：若所需要恢復的數據是持久化數據，將所需要恢復的數據對應的引用文件放入HBase表中對應Region文件夾下，進行持久化數據恢復。

進一步地，進行持久化數據恢復是在HBase的Region進行合并時整理成完整的數據，合并操作是將多個HFile文件合并成大文件，在達到HBase合并配置參數值時自動觸發。

進一步地，日志文件包括執行操作的HBase表、執行操作的HBase表對應的Region和進行的相應執行操作。

進一步地，若所需要恢復的數據是內存數據，根據日志文件，對HBase內存數據進行恢復，包括：若所需要恢復的數據是內存數據，根據日志文件中對應的HBase表名稱和Region名稱，將日志文件恢復到相應的Region文件夾下；當引用文件及日志放置到Region文件夾下相應的位置時，啟動HBase表，Region被分配到相應的RegionServer中，且Region會讀取對應的日志文件到自己內部的MemStore中，完成HBase數據恢復。

一種HBase數據備份恢復裝置，包括：備份單元，用于在HBase數據進行備份時，將HBase內存中的數據刷到HFile文件中；為HBase表結構下的每個Region中的每個HFile文件創建相應的引用文件，對每個HBase表的HFile文件進行備份；恢復單元，用于在HBase數據進行恢復時，若所需要恢復的數據是持久化數據，根據所需要恢復的數據對應的引用文件，進行持久化數據恢復；若所需要恢復的數據是內存數據，根據日志文件，對HBase內存數據進行恢復。