[發明專利]HDFS中數據備份的方法

在審

• 申請號: 201611221011.8
• 申請日: 2016-12-26
• 公開（公告）號: CN108241557A
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 林文輝
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本發明提供了一種HDFS中數據備份的方法，包括：獲取針對所述HDFS中保存的文件執行的操作命令，所述HDFS中保存的至少一個文件包括多個數據塊；確定執行所述操作命令后所述保存的文件中發生變化的數據塊，以確定執行所述操作命令前需備份的所述數據塊；備份所述執行操作命令前需備份的數據塊，并確定執行操作命令后的備份節點且保存所述備份節點對應的備份節點信息。本發明實施例提供的一種HDFS中數據備份的方法，通過備份執行操作命令前的文件中包括的所述發生變化的數據塊，減少了HDFS中數據備份時的數據量，在不影響HDFS系統性能的基礎上，實現了輕量級的數據備份，從而提高了HDFS中數據備份的效率。

技術領域

本發明涉及大數據領域，尤其涉及一種HDFS中數據備份的方法。

背景技術

HDFS(Hadoop分布式文件系統)由于其具有高容錯性、高可靠性、高擴展性等優點，被廣泛使用。HDFS采用主從架構，一個HDFS集群包含一個Name Node主節點和眾多DataNode從節點。Name Node作為HDFS文件系統的主節點，負責維護整個HDFS文件系統的命名空間，管理所有文件和目錄的元數據。Data Node作為HDFS文件的從節點，負責存儲文件分為的多個固定大小的數據塊(默認塊大小為64MB或者128MB)。Name Node節點存儲數據塊相關信息，包括文件和數據塊的映射關系，數據塊和Data Node節點的映射關系。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：隨著當前大數據技術的應用，各企業和政府部門對數據的依賴性越來越強，數據保護也變得非常重要。但對于HDFS中存儲的大數據，如果由于誤操作或其他原因導致數據丟失，要恢復TB甚至是PB級別的數據往往是非常困難的，或者需要耗費非常長的時間。

發明內容

有鑒于此，本發明提供了一種HDFS中數據備份的方法，通過把文件中發生變化的數據塊作為備份文件保存，從而減少HDFS中數據備份時的數據量，實現了輕量級的數據備份，在不影響HDFS系統性能的基礎上，提高了HDFS中海量數據備份的效率，從而提高數據還原的效率。

本發明實施例提供一種HDFS中數據備份的方法，包括：

獲取針對所述HDFS中保存的文件執行的操作命令，所述HDFS中保存的至少一個文件包括多個數據塊；

確定執行所述操作命令后所述保存的文件中發生變化的數據塊，以確定執行所述操作命令前需備份的所述數據塊；

備份所述執行操作命令前需備份的數據塊，并確定執行操作命令后的備份節點且保存所述備份節點對應的備份節點信息。

可選地，本發明任一實施例中，所述操作命令包括：追加命令、刪除命令、還原命令中的任一種或幾種的組合。

可選地，本發明任一實施例中，所述操作命令為所述追加命令時，所述確定執行操作命令后所述保存的文件中發生變化的數據塊，以確定執行所述操作命令前需備份的所述數據塊包括：執行所述操作命令前復制所述文件中最后一個數據塊；

比對復制的數據塊與執行所述追加命令后文件中與所述復制的數據塊對應的數據塊，若比對結果不同，則確定所述保存的文件的最后一個數據塊為需備份的所述數據塊。

可選地，本發明任一實施例中，所述操作命令為所述刪除命令時，所述確定執行操作命令后所述保存的文件中發生變化的數據塊包括：

根據所述刪除命令確定需要刪除的所述保存的文件中的數據塊，確定需要刪除的所述數據塊為發生變化的數據塊。

可選地，本發明任一實施例中，所述備份所述執行操作命令前需備份的數據塊包括：標記需要刪除的所述數據塊為已刪除。

可選地，本發明任一實施例中，所述操作命令為所述還原命令時，所述確定執行操作命令后所述保存的文件中發生變化的數據塊包括：