[發(fā)明專利]分布式存儲環(huán)境下的復(fù)制數(shù)據(jù)的方法及服務(wù)器

有效

• 申請?zhí)枺?/td>: 201711437279.X
• 申請日: 2017-12-26
• 公開（公告）號: CN108008921B
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計）人: 賈寶雷;施黃駿;段立國
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 張臻賢;王珺

本發(fā)明提出一種分布式存儲環(huán)境下的復(fù)制數(shù)據(jù)的方法及服務(wù)器，所述方法包括：獲取消息中間件中存儲的復(fù)制請求；所述復(fù)制請求中包括源區(qū)域地址、源哈希桶和源對象；向目標(biāo)區(qū)域的對象存儲系統(tǒng)發(fā)送所述復(fù)制請求，以使得所述目標(biāo)區(qū)域的對象存儲系統(tǒng)根據(jù)所述復(fù)制請求中的源區(qū)域地址、源哈希桶和源對象向源區(qū)域的對象存儲系統(tǒng)發(fā)起獲取復(fù)制數(shù)據(jù)的操作。上述技術(shù)方案可以實現(xiàn)：使用消息中間件存儲復(fù)制請求，保證復(fù)制請不會受到阻塞，而且消息中間件可保證消息的有序執(zhí)行，消息中間件中的消息隊列是按照發(fā)布消息的順序?qū)⑾⑷腙牐趫?zhí)行復(fù)制任務(wù)時，也是按照發(fā)布消息的順序進(jìn)行執(zhí)行的，這樣保證了復(fù)制任務(wù)的先產(chǎn)生，先執(zhí)行。

技術(shù)領(lǐng)域

本發(fā)明涉及通信網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種分布式存儲環(huán)境下的復(fù)制數(shù)據(jù)的方法及服務(wù)器。

背景技術(shù)

在云計算服務(wù)中，對象存儲服務(wù)是一個非常重要的基礎(chǔ)服務(wù)。對象存儲服務(wù)將數(shù)據(jù)作為對象寫在用戶的存儲區(qū)域中，用戶可以寫入、讀取和刪除該存儲區(qū)域中的對象。在現(xiàn)有的對象存儲系統(tǒng)中，可以支持的最大單個對象數(shù)據(jù)的大小為5T。傳統(tǒng)的對象存儲系統(tǒng)在進(jìn)行數(shù)據(jù)存儲時，通常采用將數(shù)據(jù)切分成小塊存儲，并使用元數(shù)據(jù)來維護(hù)對象和各小塊數(shù)據(jù)之間的關(guān)系。在對象存儲系統(tǒng)中，當(dāng)用戶需要進(jìn)行復(fù)制操作時，傳統(tǒng)的技術(shù)為直接復(fù)制。

但是，當(dāng)對象數(shù)據(jù)較大時，有時甚至涉及到幾十萬數(shù)據(jù)塊的復(fù)制，若處理過程中出現(xiàn)異常或失敗，不僅可能導(dǎo)致垃圾數(shù)據(jù)或數(shù)據(jù)不完整的情況發(fā)生，還容易導(dǎo)致元數(shù)據(jù)不一致的情況發(fā)生。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種分布式存儲環(huán)境下的復(fù)制數(shù)據(jù)的方法及服務(wù)器，以解決或緩解背景技術(shù)中的一項或多項以上技術(shù)問題，至少提供一種有益的選擇。

第一方面，本發(fā)明實施例提供了一種分布式存儲環(huán)境下的復(fù)制數(shù)據(jù)的方法，包括：

獲取消息中間件中存儲的復(fù)制請求；所述復(fù)制請求中包括源區(qū)域地址、源哈希桶和源對象；

向目標(biāo)區(qū)域的對象存儲系統(tǒng)發(fā)送所述復(fù)制請求，以使得所述目標(biāo)區(qū)域的對象存儲系統(tǒng)根據(jù)所述復(fù)制請求中的源區(qū)域地址、源哈希桶和源對象向源區(qū)域的對象存儲系統(tǒng)發(fā)起獲取復(fù)制數(shù)據(jù)的操作。

結(jié)合第一方面，本發(fā)明在第一方面的第一種實施方式中，所述消息中間件中存儲的復(fù)制請求為當(dāng)源區(qū)域的對象存儲系統(tǒng)存在復(fù)制請求時而存至消息中間件的。

結(jié)合第一方面，本發(fā)明在第一方面的第二實施方式中，所述目標(biāo)區(qū)域的對象存儲系統(tǒng)根據(jù)所述復(fù)制請求中的源區(qū)域地址、源哈希桶和源對象向源區(qū)域的對象存儲系統(tǒng)發(fā)起獲取復(fù)制數(shù)據(jù)的操作時，所述目標(biāo)區(qū)域的對象存儲系統(tǒng)在所述目標(biāo)區(qū)域構(gòu)建與所述源對象名稱相同的目標(biāo)對象。

結(jié)合第一方面的第二種實施方式，當(dāng)所述源對象不存在時，所述目標(biāo)區(qū)域的對象存儲系統(tǒng)刪除所述目標(biāo)對象。

結(jié)合第一方面，本發(fā)明在第一方面的第三實施方式中，獲取消息中間件中存儲的復(fù)制請求之后，包括：

將所述源區(qū)域地址、源哈希桶和源對象作為一條記錄存儲至數(shù)據(jù)庫中。

結(jié)合第一方面的第三種實施方式，接收到所述目標(biāo)區(qū)域的對象存儲系統(tǒng)發(fā)送的復(fù)制成功的消息時，刪除所述數(shù)據(jù)庫中存儲的所述源區(qū)域地址、源哈希桶和源對象的記錄。

第二方面，本發(fā)明實施例提供了一種服務(wù)器，包括：

獲取模塊，配置為獲取消息中間件中存儲的復(fù)制請求；所述復(fù)制請求中包括源區(qū)域地址、源哈希桶和源對象；

發(fā)送模塊，配置為向目標(biāo)區(qū)域的對象存儲系統(tǒng)發(fā)送所述復(fù)制請求，以使得所述目標(biāo)區(qū)域的對象存儲系統(tǒng)根據(jù)所述復(fù)制請求中的源區(qū)域地址、源哈希桶和源對象向源區(qū)域的對象存儲系統(tǒng)發(fā)起獲取復(fù)制數(shù)據(jù)的操作。

結(jié)合第二方面，在本發(fā)明第二方面的第一種實施方式中，所述消息中間件中存儲的復(fù)制請求為當(dāng)源區(qū)域的對象存儲系統(tǒng)存在復(fù)制請求時而存入的。