[發明專利]一種數據備份方法及云HDFS系統

有效

• 申請號: 201610268816.1
• 申請日: 2016-04-27
• 公開（公告）號: CN107315652B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 魯瑞;侯建衛;付長東
• 申請（專利權）人: 中國移動通信集團山西有限公司;北京天和科瑞信息技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 江宇;張穎玲

本發明公開了一種數據備份方法及云HDFS系統，所述方法包括：在當前備份周期內，通過預定接口從數據的源存儲平臺獲取至少一種待備份數據，所述源存儲平臺為關系數據庫管理系統RDBMS系統平臺、大規模并行處理機制MPP系統平臺和基于云架構的分布式文件系統HDFS系統平臺中的至少一個；計算當前備份周期內的每種待備份數據的屬性信息；依據所述屬性信息，對所述至少一種待備份數據進行備份。本方案中利用數據的使用價值對數據進行備份，至少能夠提高備份效率、避免對備份空間的浪費。

技術領域

本發明涉及數據備份技術，具體涉及一種數據備份方法及基于云架構(Hadoop)的分布式文件系統(HDFS，Hadoop Distributed File System)系統。

背景技術

移動互聯網時代，數據正在呈爆炸性增長，增值業務、定制業務等各種業務的數據量已呈現指數增長，而對這些海量數據的備份已經成為其中難以解決的問題之一。

目前，對于海量數據的備份，主要可采用如下幾種方法：(1)數據庫備份技術；(2)塊設備備份技術；(3)基于云存儲的數據備份技術。其中，采用數據庫備份技術和塊設備備份技術是較為傳統的備份技術，數據庫備份技術主要利用mirror、Copy技術對數據進行備份；而塊設備備份技術基本上針對小型計算機系統接口(SCSI，Small Computer SystemInterface)類設備中的數據進行備份，如直連式存儲設備(DAS，Direct AttachedStorage)、存儲區域網絡(SAN，Storage Area Network)設備。海量數據的備份要求系統具有很強的擴展性，而這兩種傳統的備份系統的可擴展性不足，無法滿足對海量數據的備份?；谠拼鎯Φ膫浞菁夹g由于具有較大的數據吞吐量而備受關注，對于不需要備份的數據或利用價值較小的數據也進行云存儲，無非是浪費了備份空間，降低了備份效率。

發明內容

為解決現有存在的技術問題，本發明實施例提供一種數據備份方法及云HDFS系統，至少能夠提高備份效率、避免對備份空間的浪費。

本發明實施例的技術方案是這樣實現的：

本發明實施例提供一種數據備份方法，所述方法包括：

在當前備份周期內，通過預定接口從數據的源存儲平臺獲取至少一種待備份數據，所述源存儲平臺為關系數據庫管理系統RDBMS系統平臺、大規模并行處理機制MPP系統平臺和基于云架構的分布式文件系統HDFS系統平臺中的至少一個；

計算當前備份周期內的每種待備份數據的屬性信息；

依據所述屬性信息，對所述至少一種待備份數據進行備份。

上述方案中，所述通過預定接口從數據的源存儲平臺獲取至少一種待備份數據，包括：

通過預定接口讀取存儲在所述源存儲平臺中的數據，得到所述至少一種待備份數據。

上述方案中，在計算當前備份周期內的每種待備份數據的屬性信息之前，所述方法還包括：

獲取每種待備份數據的第一信息，第一信息表征為在歷史周期內的待備份數據被用戶操作的頻繁程度；

獲取每種待備份數據的存儲時間信息，所述存儲時間信息表征為待備份數據在所述至少一源存儲平臺中的存放時間；

獲取每種待備份數據的遷移度信息，所述遷移度信息表征為待備份數據在所有源存儲平臺的至少兩個源存儲平臺中的遷移次數；

相應的，所述計算當前備份周期內的每種待備份數據的屬性信息，包括：

依據每種待備份數據的第一信息、存儲時間信息及遷移度信息，確定每種待備份數據的屬性信息。

上述方案中，所述依據待備份數據的第一信息、存儲時間信息及遷移度信息，確定每種待備份數據的屬性信息，包括：