[發明專利]一種跨集群對象存儲異步備份方法、裝置和系統

有效

• 申請號: 201910030266.3
• 申請日: 2019-01-14
• 公開（公告）號: CN109840166B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 張婷;胡升波;何軍
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 杜志敏;宋志強

本申請提供了一種跨集群對象存儲異步備份方法、裝置和系統，該方法包括：從數據庫服務器上獲取同步的數據列表；將數據列表中的用戶操作對象名稱劃分為多個任務，并下發到緩存隊列中；針對緩存隊列中本同步服務器處理的任務從主集群服務器獲取對應的用戶操作對象的數據和狀態；根據獲取的狀態，將獲取的數據備份到從集群服務器。該方法能夠在不改變原有對象存儲代碼的基礎上，簡單、高效地實現對象存儲后端異步同步。

技術領域

本發明涉及存儲技術領域，特別涉及一種跨集群對象存儲異步備份方法、裝置和系統。

背景技術

對象存儲是一種海量小文件的分布式存儲系統，它將對象(Object)以扁平化的結構存儲在以桶(Bucket)為命名空間的兩級結構中，通過在Bucket中新增Object，克服目錄樹管理的不足，從而實現海量小文件的存儲。對象存儲部署在一個獨立的集群上，為了避免單個集群發生故障時數據丟失，需要將數據備份到其它集群，其中，用戶寫入的集群稱為主集群，備份主集群的數據的集群稱為從集群。

當前的對象存儲集群同步方法有兩種：

第一種、寫入時實時備份：

當對象寫入到對象存儲集群時，由寫入對象的主集群將請求同時發送到另外一個集群，兩個集群同時寫入對象，并且在主集群或者從集群收集兩個集群的寫入結果，根據不同的策略來決定返回給用戶的結果。例如：策略一：當兩個集群都返回成功時才返回用戶成功，任意一個集群失敗或超時則返回用戶失敗；策略二：當兩個集群任何一個返回成功時就返回用戶成功，若某個集群失敗，則輔助以后端同步服務，將成功端的對象復制到失敗端；策略三：按照用戶寫入的主集群的執行結果，來返回給用戶相應的結果，輔助以后端同步服務，將主集群的對象狀態復制到從集群；以及除此之外等等一系列策略。

該種備份方式，由于兩邊集群執行結果不可控，容易產生一致性問題，若需要保證最終一致，往往需要輔助以后端異步復制方案，復雜度較之后端異步同步方案更高。由于要等待兩邊集群執行結果，主集群更新邏輯復雜，且會增加客戶端請求執行時長。

第二種、后端異步備份：

該方案采用異步備份的方式，使用后端服務進行對象的跨集群復制，保證兩個集群數據的最終一致性，是市面上比較常采用的方案，其詳細步驟如下：

1、用戶寫入數據到主集群，數據落入集群之前，對象存儲將數據的操作信息先記錄到消息隊列。

2、如果寫消息隊列的動作失敗，則返回給用戶失敗。

3、如果寫消息隊列的動作成功，則繼續寫主集群，并且根據操作結果返回給用戶操作結果。

4、后端同步服務，不斷從消息隊列取出數據的操作記錄，根據操作記錄將主集群的數據異步復制到從集群。

該方案可以保證數據的最終一致性，但大部分方案實現需要改動對象存儲服務的代碼，其需要對每個改寫數據的API做改造，實現復雜度很高，容易出錯。由于數據在真正落入主集群之前寫操作隊列，所以消息隊列中可能會有許多無效操作信息。

相同對象的多次操作記錄多條消息，進行多次同步操作，冗余性比較高，浪費同步資源。后端同步服務拿到操作記錄后，需要判斷操作是否真實有效，再進行同步，當同步時，同步服務查看主集群數據狀態，將難以區分數據操作失敗與數據操作進行中，從而無法判斷同步時的數據狀態是否是最終狀態。

上述兩種實現方案都需要改動原有對象存儲代碼，實現難度系數比較大。

發明內容

有鑒于此，本申請提供一種跨集群對象存儲異步備份方法、裝置和系統，能夠在不改變原有對象存儲代碼的基礎上，簡單、高效地實現對象存儲后端異步同步。

為解決上述技術問題，本申請的技術方案是這樣實現的：