[發明專利]HDFS中數據異地備份的方法及裝置

在審

• 申請號: 201611220231.9
• 申請日: 2016-12-26
• 公開（公告）號: CN108241556A
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 林文輝
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;H04L29/08
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

1.一種HDFS中數據異地備份的方法，其特征在于，包括：

確定HDFS中發生變化的數據塊，所述HDFS中至少保存一個文件，每個文件至少包括一個數據塊；

根據所述HDFS中發生變化的數據塊對應的數據塊信息，逐個備份發生變化的數據塊至異地的HDFS備份集群中。

2.根據權利要求1所述的方法，其特征在于，所述確定HDFS中發生變化的數據塊包括：

根據HDFS備份集群中存儲的元數據的文件信息與所述HDFS中存儲的對應元數據的文件信息，確定發生變化的文件，以確定所述發生變化的文件中發生變化的數據塊。

3.根據權利要求2所述的方法，其特征在于，所述發生變化的文件包括：增加的文件、刪除的文件或修改的文件中的任一種。

4.根據權利要求3所述的方法，其特征在于，所述發生變化的文件為增加的文件或刪除的文件時，增加或刪除的文件中包括的數據塊均為發生變化的數據塊；

所述逐個備份發生變化的數據塊至異地的HDFS備份集群中包括：

若所述發生變化的文件為增加的文件，則逐個復制增加的文件中發生變化的數據塊，并保存至異地的HDFS備份集群中；

若所述發生變化的文件為刪除的文件，則逐個刪除異地的HDFS備份集群中的文件中發生變化的數據塊。

5.根據權利要求4所述的方法，其特征在于，所述逐個刪除異地的HDFS備份集群中的文件中發生變化的數據塊包括：

設置異地的HDFS備份集群上存儲的文件中發生變化的數據塊為待刪除狀態；

間隔設定的保護時長后，逐個刪除設為所述待刪除狀態的所述數據塊。

6.根據權利要求3所述的方法，其特征在于，所述發生變化的文件為修改的文件時，所述確定所述發生變化的文件中發生變化的數據塊包括：

確定所述發生變化的文件包括的數據塊分別在HDFS備份集群和所述HDFS中的元數據對應的數據塊信息，并進行比對，進而確定所述發生變化的文件中發生變化的數據塊。

7.根據權利要求2所述的方法，其特征在于，還包括：預先建立信息索引表，所述信息索引表用于存儲HDFS備份集群的元數據。

8.根據權利要求1所述的方法，其特征在于，所述確定HDFS中發生變化的數據塊對應的數據塊信息之前，還包括：分多次獲取HDFS中的元數據，以對HDFS中保存的文件進行監控。

9.根據權利要求8所述的方法，其特征在于，在分多次獲取HDFS中的元數據時，按照設定的時間間隔，分多次獲取HDFS中的元數據。

10.根據權利要求1所述的方法，其特征在于，所述根據所述HDFS中發生變化的數據塊對應的數據塊信息，逐個備份發生變化的數據塊至異地的HDFS備份集群中之后還包括：比對備份后的HDFS備份集群中元數據的文件信息、數據塊信息與HDFS的元數據中的文件信息、數據塊信息，以校驗備份是否完成。

11.一種HDFS中數據異地備份的裝置，其特征在于，包括：

數據確認模塊,用于確定HDFS中發生變化的數據塊對應的數據塊信息，所述HDFS中保存的至少一個文件包括多個數據塊；

數據同步模塊,用于根據所述HDFS中發生變化的數據塊對應的數據塊信息，逐個備份發生變化的數據塊至異地的HDFS備份集群中。