[發(fā)明專利]一種基于分布式存儲(chǔ)的數(shù)據(jù)備份歸檔方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911120266.9
• 申請(qǐng)日: 2019-11-15
• 公開(kāi)（公告）號(hào): CN111125002B
• 公開(kāi)（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 盧萬(wàn)龍
• 申請(qǐng)（專利權(quán)）人: 盧萬(wàn)龍
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/182;G06F11/14;G06F3/06
• 代理公司: 北京華清迪源知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 朱芳

本發(fā)明實(shí)施例公開(kāi)了一種基于分布式存儲(chǔ)的數(shù)據(jù)備份歸檔方法和系統(tǒng)，涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域。所述方法包括：配置存儲(chǔ)桶維度的自定義初始參數(shù)；獲取用戶信息中的桶列表，并存入第一字典；獲取資源池中的元數(shù)據(jù)信息，并根據(jù)元數(shù)據(jù)信息與桶列表中的桶名進(jìn)行關(guān)聯(lián)，組成第二字典；獲取資源池中的對(duì)象數(shù)據(jù)信息，通過(guò)比較對(duì)象數(shù)據(jù)信息的時(shí)間戳與自定義初始參數(shù)中的時(shí)間大小，來(lái)判斷是否進(jìn)行文件備份歸檔；通過(guò)比較已備份歸檔的文件與原文件大小，以及，已備份歸檔文件與md5值的相似度，來(lái)判斷是否刪除原文件。本發(fā)明實(shí)施例能夠針對(duì)存儲(chǔ)內(nèi)所有磁盤(pán)進(jìn)行掃描，使數(shù)據(jù)存儲(chǔ)更加穩(wěn)定，通過(guò)桶名和桶ID進(jìn)行多次字典重組，開(kāi)啟多線程進(jìn)行數(shù)據(jù)備份歸檔，提高存儲(chǔ)效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，具體涉及一種基于分布式存儲(chǔ)的數(shù)據(jù)備份歸檔方法和系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)信息技術(shù)的迅速發(fā)展，每個(gè)企業(yè)積累了大量的數(shù)據(jù)，數(shù)據(jù)的有效保護(hù)和經(jīng)濟(jì)成本成為企業(yè)頭等大事。為達(dá)到良好的數(shù)據(jù)保護(hù)和體現(xiàn)最佳經(jīng)濟(jì)效益，分布式存儲(chǔ)應(yīng)運(yùn)而生，但數(shù)據(jù)及時(shí)有效備份歸檔仍是艱巨挑戰(zhàn)。

分布式存儲(chǔ)是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上，分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。其中，分布式存儲(chǔ)中的桶是存放數(shù)據(jù)文件的存儲(chǔ)區(qū)域，池是分布式存儲(chǔ)存放數(shù)據(jù)時(shí)的邏輯分區(qū)，起到租戶隔離的作用。

數(shù)據(jù)在分布式存儲(chǔ)設(shè)備中存放是以索引的形式存在的，以便于快速檢索。在備份歸檔時(shí)，需要對(duì)已存數(shù)據(jù)進(jìn)行大量、快速遍歷，獲得其創(chuàng)建時(shí)間戳，用以判斷是否符合備份歸檔要求。假如在備份歸檔時(shí)間范圍內(nèi)，進(jìn)行文件下載；假如不在備份歸檔時(shí)間范圍內(nèi)，跳過(guò)。對(duì)于符合備份歸檔要求的數(shù)據(jù)文件，比較已下載文件與原文件的大小與消息摘要算法第五版即md5值是否相同，如果相同，刪除原文件，繼續(xù)比較下一個(gè)文件；如果不相同，放棄，繼續(xù)備份歸檔下一個(gè)文件。

然而，對(duì)分布式存儲(chǔ)文件進(jìn)行大量、快速遍歷時(shí)，會(huì)造成數(shù)據(jù)索引繁忙，影響正常IO讀寫(xiě)，會(huì)引起分布式存儲(chǔ)內(nèi)部節(jié)點(diǎn)心跳阻塞，造成磁盤(pán)無(wú)響應(yīng)，存儲(chǔ)進(jìn)入非健康狀態(tài)；且現(xiàn)有技術(shù)方案進(jìn)行一次文件遍歷只可掃描小于等于1000個(gè)文件，且不支持按照桶bucket維度自定義備份歸檔范圍，也不支持按照桶維度自定義設(shè)置不同桶內(nèi)文件歸檔備份時(shí)間。從而導(dǎo)致數(shù)據(jù)存儲(chǔ)不穩(wěn)定，數(shù)據(jù)存儲(chǔ)壓力大，效率低等問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于分布式存儲(chǔ)的數(shù)據(jù)備份歸檔方法和系統(tǒng)，用以解決現(xiàn)有數(shù)據(jù)備份不穩(wěn)定，存儲(chǔ)區(qū)壓力大以及效率低的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例主要提供如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供了一種基于分布式存儲(chǔ)的數(shù)據(jù)備份歸檔方法，

所述方法包括：配置存儲(chǔ)桶維度的自定義初始參數(shù)；獲取用戶信息中的桶列表，并存入第一字典；獲取資源池中的元數(shù)據(jù)信息，并根據(jù)所述元數(shù)據(jù)信息與桶列表中的桶名進(jìn)行關(guān)聯(lián)，組成第二字典；獲取資源池中的對(duì)象數(shù)據(jù)信息，通過(guò)比較對(duì)象數(shù)據(jù)信息的時(shí)間戳與自定義初始參數(shù)中的時(shí)間大小，來(lái)判斷是否進(jìn)行文件備份歸檔；通過(guò)比較已備份歸檔的文件與原文件大小，以及，已備份歸檔文件與信息摘要算法md5值的相似度，來(lái)判斷是否刪除原文件。

進(jìn)一步地，所述自定義初始參數(shù)包括備份歸檔范圍和每一個(gè)存儲(chǔ)桶的文件歸檔備份時(shí)間。

進(jìn)一步地，所述獲取用戶信息中的桶列表，具體包括：通過(guò)對(duì)象存儲(chǔ)接口獲取分布式存儲(chǔ)中的用戶信息，所述用戶信息包括密鑰，根據(jù)密鑰獲取每個(gè)用戶的桶列表。

進(jìn)一步地，所述元數(shù)據(jù)信息包括桶ID和桶名，通過(guò)字典的賦值功能將元數(shù)據(jù)信息中的桶名與用戶信息桶列表中的桶名進(jìn)行匹配關(guān)聯(lián)，合并成第二字典。

進(jìn)一步地，所述對(duì)象數(shù)據(jù)信息包括桶ID、數(shù)據(jù)文件名稱和數(shù)據(jù)文件時(shí)間戳。