[發(fā)明專利]基于云存儲的備份數(shù)據(jù)存儲管理方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710841028.1
• 申請日: 2017-09-18
• 公開（公告）號: CN107729177A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計）人: 吳廣君;祝林楓;王樹鵬;賈思宇;王振宇
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06;H04L29/08
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11200
• 代理人: 邱曉鋒

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)容災(zāi)備份技術(shù)領(lǐng)域，具體涉及的是一種基于云存儲的備份數(shù)據(jù)存儲管理方法、裝置和系統(tǒng)。

背景技術(shù)

據(jù)IDC統(tǒng)計數(shù)字表明，到2020年，全球產(chǎn)生和復(fù)制的數(shù)據(jù)將達(dá)到35ZB，隨著物聯(lián)網(wǎng)技術(shù)的普及，數(shù)據(jù)量規(guī)模將進(jìn)一步擴(kuò)大。與此同時，基于大數(shù)據(jù)技術(shù)的應(yīng)用與服務(wù)，促進(jìn)了人們的生產(chǎn)、生活方式的深入革新與發(fā)展。人們在享受大數(shù)據(jù)以及大數(shù)據(jù)服務(wù)帶來的便利的同時，進(jìn)一步加劇了對數(shù)據(jù)的依賴程度。然而，自然災(zāi)害、病毒攻擊、誤操作等形式多樣的數(shù)據(jù)損壞方式為數(shù)據(jù)帶來極大的威脅。例如最近，針對開放式MongoDB數(shù)據(jù)庫的攻擊、針對windows平臺的勒索病毒大范圍傳播、擴(kuò)散，都極大的威脅了數(shù)據(jù)的可靠性，數(shù)據(jù)一旦丟失將造成無法估計的損失。

數(shù)據(jù)的容災(zāi)備份技術(shù)已經(jīng)成為保障數(shù)據(jù)安全的最后一道屏障，目前已經(jīng)引起各大云服務(wù)廠商的關(guān)注，例如華為提出基于openstack的容災(zāi)標(biāo)準(zhǔn)等。因此，如何面對大數(shù)據(jù)環(huán)境，高效的進(jìn)行數(shù)據(jù)備份與恢復(fù)、提升數(shù)據(jù)的安全性和生存能力，業(yè)界提出不同的解決思路。

基于云存儲技術(shù)的提出，為數(shù)據(jù)容災(zāi)提供了新的方法與解決思路。由于云存儲系統(tǒng)往往擁有數(shù)據(jù)多副本管理技術(shù)、低成本、海量存儲規(guī)模等優(yōu)點，成為目前構(gòu)建“云災(zāi)備”系統(tǒng)的有效平臺。例如，文章“Pokharel M,Lee S,Park J S.Disaster recovery for system architecture using cloud computing”中提出利用云存儲環(huán)境優(yōu)化傳統(tǒng)容災(zāi)系統(tǒng)的解決方案。但是云存儲系統(tǒng)往往數(shù)據(jù)讀寫速度慢，尤其在設(shè)置多副本條件下，副本之間的同步進(jìn)一步降低了數(shù)據(jù)的傳輸效率，無法支撐在線業(yè)務(wù)與應(yīng)用程序的快速備份。

隨著信息處理技術(shù)的不斷發(fā)展，數(shù)據(jù)已經(jīng)成為各類信息系統(tǒng)核心價值。數(shù)據(jù)備份與恢復(fù)系統(tǒng)，是保證數(shù)據(jù)安全性、可靠性的最后一道屏障。但是在大數(shù)據(jù)應(yīng)用背景下，不但數(shù)據(jù)規(guī)模巨大，而且數(shù)據(jù)類型眾多，用戶對備份數(shù)據(jù)管理需求差異也較大，對備份數(shù)據(jù)存儲管理提出了新的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明針對上述問題，提出一種基于云存儲的高效備份數(shù)據(jù)存儲管理方法、裝置和系統(tǒng)。該方案充分結(jié)合了本地存儲的高效性與云存儲的可靠性，通過在備份系統(tǒng)中設(shè)計一種備份數(shù)據(jù)在本地存儲與云存儲之間的自動遷移技術(shù)，在提升備份效率的同時實現(xiàn)了備份數(shù)據(jù)云存儲的目標(biāo)。

本發(fā)明采用的技術(shù)方案如下：

一種數(shù)據(jù)本地備份方法，包括以下步驟：

1)通過備份控制端定義備份作業(yè)；

2)備份客戶端執(zhí)行備份控制端的備份作業(yè)的命令，將待備份的數(shù)據(jù)復(fù)制到本地存儲端；

3)本地存儲端從備份客戶端接收待備份的數(shù)據(jù)并寫入本地存儲介質(zhì)。

進(jìn)一步地，所述備份作業(yè)以配置文件的形式進(jìn)行定義，包括備份客戶端地址、本地存儲端地址、源數(shù)據(jù)、作業(yè)調(diào)度時間。

進(jìn)一步地，根據(jù)觸發(fā)條件執(zhí)行備份作業(yè)，所述觸發(fā)條件包括用戶觸發(fā)、日程觸發(fā)、事件觸發(fā)。

進(jìn)一步地，在本地存儲端的數(shù)據(jù)寫入過程中，若待寫入的數(shù)據(jù)超過本地存儲介質(zhì)的存儲空間，則按照FIFO原則清除已寫入的數(shù)據(jù)，直到有足夠空間存儲新數(shù)據(jù)為止。

一種數(shù)據(jù)遷移及恢復(fù)方法，包括以下步驟：

1)本地存儲端采用上面所述方法進(jìn)行數(shù)據(jù)本地備份，將數(shù)據(jù)寫入本地存儲介質(zhì)；

2)本地存儲端的執(zhí)行備份控制端的遷移作業(yè)的命令，將本地存儲介質(zhì)內(nèi)的數(shù)據(jù)復(fù)制到云存儲端，使得云存儲端在執(zhí)行備份控制端的恢復(fù)作業(yè)的命令時，能夠?qū)⒃拼鎯υO(shè)備內(nèi)的數(shù)據(jù)復(fù)制到備份客戶端；

3)本地存儲端執(zhí)行備份控制端的恢復(fù)作業(yè)的命令，將本地存儲介質(zhì)內(nèi)的數(shù)據(jù)復(fù)制到備份客戶端。

一種數(shù)據(jù)遷移及恢復(fù)方法，其特征在于，包括以下步驟：

1)云存儲端執(zhí)行備份控制端的遷移作業(yè)的命令，接收來自本地存儲端的遷移數(shù)據(jù)；所述遷移數(shù)據(jù)是本地存儲端采用上面所述方法進(jìn)行數(shù)據(jù)本地備份時寫入本地存儲介質(zhì)的數(shù)據(jù)；

2)云存儲端執(zhí)行備份控制端的恢復(fù)作業(yè)的命令，將云存儲設(shè)備內(nèi)的數(shù)據(jù)復(fù)制到備份客戶端。

進(jìn)一步地，在進(jìn)行遷移作業(yè)之前進(jìn)行遷移檢測，當(dāng)檢測到可用的網(wǎng)絡(luò)帶寬，或本地存儲端的本地存儲空間超過配額時執(zhí)行遷移作業(yè)。

進(jìn)一步地，根據(jù)預(yù)設(shè)的遷移條件選擇合適的文件進(jìn)行遷移作業(yè)。

進(jìn)一步地，所述遷移條件包括：

a)全部遷移：本地存儲端將本地存儲介質(zhì)內(nèi)的全部數(shù)據(jù)復(fù)制到云存儲端；

b)在遷移作業(yè)增加文件過濾條件：通過定義遷移作業(yè)的過濾條件來指定特殊的文件集、特殊的文件類型進(jìn)行有選擇的遷移；