[發明專利]基于Hadoop分布式文件系統的數據備份方法及系統

在審

• 申請號: 202110233087.7
• 申請日: 2021-03-03
• 公開（公告）號: CN112800019A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 段軍紅;靳丹;張旭;楊波;王瓊
• 申請（專利權）人: 國網甘肅省電力公司;國網甘肅省電力公司信息通信公司;國網電力科學研究院有限公司;南京航空航天大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;G06F11/14;G06F21/44;G06F21/64
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于Hadoop分布式文件系統的數據備份方法及系統，方法包括通過HDFS客戶端對文件夾通過快照的方式備份，通過客戶端生成文件夾的時間點快照，文件夾內的數據存儲至外部存儲介質。系統包括HDFS系統以及與該系統連接的存儲服務器，所述儲服務器包含存儲介質和文件索引數據庫；所述存儲介質用于保存系統文件數據，文件索引數據庫用于保存系統文件元數據。本發明能夠提高HDFS中數據的安全性，防止Hadoop集群發生災難，能夠自動化、快速恢復系統數據，保護公司數據完整性、一致性。

技術領域

本發明涉及一種數據備份方法及系統，尤其涉及一種基于Hadoop分布式文件系統的數據備份方法及系統。

背景技術

“大數據”在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為近年來互聯網和信息行業的發展而引起人們關注。隨著計算機和信息技術的迅猛發展和普及應用，大數據越來越彰顯其優勢，進而行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長。

Hadoop實現了一個具有高容錯性的分布式文件系統(Hadoop Distributed FileSystem，HDFS),用來解決低廉的硬件，能搭建可伸縮的超大集群，實現大數據量的存儲、訪問等問題。隨著技術的越來越成熟，系統的越來越穩定，像Cloudera、Hortonworks等廠家相繼推出基于Hadoop架構的大數據解決方案，越來越多的企業也將Hadoop作為公司的基礎平臺。在Hadoop集群發生災難性情況的時候，市場上缺少一種能從遠程、外部保護數據、恢復數據的方法。本發明就是為了應對這種集群災難性情況的發生。

發明內容

發明目的：本發明旨在提供一種基于Hadoop分布式文件系統的利用第三方介質、高效、安全的數據備份方法及系統。

技術方案：本發明的基于Hadoop分布式文件系統的數據備份方法，通過HDFS客戶端對文件夾通過快照的方式備份，通過客戶端生成文件夾的時間點快照，文件夾內的數據存儲至外部存儲介質。

包括以下步驟：

(1)創建HDFS客戶端；

(2)創建文件夾快照：通過HDFS客戶端讀取當前集群的快照信息，對備份文件夾生成只讀時間點快照，不拷貝任何數據塊；

(3)數據備份：將外部存儲介質與HDFS文件系統建立連接，讀取文件內容，寫入到外部存儲介質；

(4)元數據元備份：通過HDFS客戶端，讀取文件/文件夾的元數據，連接遠程存儲索引庫，將元數據寫入文件索引數據庫中。

所述步驟(1)包括：

(11)在Hadoop管理系統界面下載HDFS服務客戶端和用戶憑據，獲取HDFS配置信息和Kerberos認證信息，并將配置放置在代理節點上；

(12)通過代理框架下發備份作業，在作業中讀取獲取到的HDFS配置和Kerberos認證，創建HDFS客戶端。

所述步驟(2)中，若文件夾是增量備份，則對前后兩個快照進行對比，獲取文件夾的修改信息。

所述步驟(2)的外部存儲介質為遠程存儲介質。

所述步驟(4)的元數據包括分布式文件的屬性信息和分布式文件在外部存儲介質中的存儲位置信息。

還包括以下步驟：當系統中的文件損壞或丟失時，HDFS客戶端通過獲取文件在外部存儲介質中的位置信息，選擇性的恢復部分文件，而不需要恢復全部的快照。