[發(fā)明專利]一種塊存儲數(shù)據(jù)備份的并發(fā)控制方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211142682.0
• 申請日: 2022-09-20
• 公開（公告）號: CN116302676A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 趙益鑫;謝濤濤;宋偉;張曉帆
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 姜鵬

本發(fā)明涉及云計算技術(shù)領(lǐng)域，具體為一種塊存儲數(shù)據(jù)備份的并發(fā)控制方法包括以下步驟：cinder?backup后端服務(wù)新增負載相關(guān)的配置；在cinder庫中新增backup_queue表用于隊列持久化；cinder?scheduler調(diào)度器會根據(jù)各個后端服務(wù)上報的狀態(tài)和負載能力進行后端的調(diào)度選擇；cinder?scheduler調(diào)度器通過定時任務(wù)輪詢，將隊列中等待的備份請求調(diào)度出隊執(zhí)行；有益效果為：本發(fā)明提出的塊存儲數(shù)據(jù)備份的并發(fā)控制方法及系統(tǒng)將超出并發(fā)數(shù)量的備份請求參數(shù)及其上下文放入隊列中進行持久化，避免后端服務(wù)因異常宕機或者重啟升級等造成備份請求丟失；遵循隊列先入先出的原則，對進入隊列排隊的備份請求進行有序的調(diào)度，避免出現(xiàn)備份請求時間順序與調(diào)度執(zhí)行順序不一致的情況。

技術(shù)領(lǐng)域

本發(fā)明涉及云計算技術(shù)領(lǐng)域，具體為一種塊存儲數(shù)據(jù)備份的并發(fā)控制方法及系統(tǒng)。

背景技術(shù)

在一個云中心環(huán)境下，客戶有大量的數(shù)以千計的塊存儲數(shù)據(jù)，即客戶云硬盤。當(dāng)需要對全部或者大部分云硬盤進行備份時，對網(wǎng)絡(luò)傳輸帶寬、節(jié)點CPU和內(nèi)存、存儲集群均造成壓力，此時會影響用戶正常生產(chǎn)業(yè)務(wù)，甚至造成癱瘓。

現(xiàn)有技術(shù)中，以openstack環(huán)境為基礎(chǔ)的云平臺，由cinder來提供塊存儲服務(wù)，由cinder-backup來提供塊存儲數(shù)據(jù)的備份服務(wù)。在做備份時，先將塊存儲數(shù)據(jù)讀到內(nèi)存中，然后對數(shù)據(jù)進行計算處理，最后再將處理后的數(shù)據(jù)備份到存儲后端中。在有大量備份請求同時發(fā)生時，cinder-backup不會對請求數(shù)量做限制，會對所有請求都進行響應(yīng)并且開啟對應(yīng)的備份過程。

但是，每個備份都會占用網(wǎng)絡(luò)、計算、存儲資源，當(dāng)備份數(shù)量過多時，勢必會占用大量資源；不過，cinder-backup提供了一種基于信號量(Semaphore)的限制方式，即雖然對所有請求都進行響應(yīng)，但是需要獲取到信號量才能開啟備份過程。這樣通過設(shè)置有限數(shù)量的信號量來達到一定的限制效果，但同時也存在請求無法持久化以及請求順序無法保證等問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種塊存儲數(shù)據(jù)備份的并發(fā)控制方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種塊存儲數(shù)據(jù)備份的并發(fā)控制方法，所述塊存儲數(shù)據(jù)備份的并發(fā)控制方法包括以下步驟：

cinder-backup后端服務(wù)新增負載相關(guān)的配置；

在cinder庫中新增backup_queue表用于隊列持久化；

cinder-scheduler調(diào)度器會根據(jù)各個后端服務(wù)上報的狀態(tài)和負載能力進行后端的調(diào)度選擇；

cinder-scheduler調(diào)度器通過定時任務(wù)輪詢，將隊列中等待的備份請求調(diào)度出隊執(zhí)行。

優(yōu)選的，cinder-backup后端服務(wù)新增backup_standard_load、backup_max_load、backup_max_load_time_range三項配置。

優(yōu)選的，backup_queue表記錄超過備份并發(fā)數(shù)量的請求參數(shù)及相關(guān)上下文，表結(jié)構(gòu)如下：created_at(datetime)創(chuàng)建時間、updated_at(datetime)更新時間、deleted_at(datetime)刪除時間、deleted(tinyint(1))是否已刪除、id(varchar(36))uuid主鍵、backup_id(varchar(36))備份id、backup_context(text)備份請求的相關(guān)上下文、host(varchar(255))執(zhí)行備份的后端host、incremental(tinyint(1))是否為增量備份、availability_zone(varchar(255))備份的可用域。