[發明專利]一種基于Ceph分布式系統多機架更新修復數據的優化方法

在審

• 申請號: 202011518030.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112463812A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 付蔚;鄧杰銘;王彥青;張棚;吳志強
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F3/06
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，該方法先對同機架內的編碼塊聚合到一個節點，然后對其解碼操作，完成解碼運算的一部分，接著把各個機架的解碼結果傳輸到另一個節點，然后對所有獲得的解碼結果進行異或處理，得到丟失的數據；具體包括以下步驟：

S1：確定數據更新觸發時機；

S2：使用及時和延遲對節點進行數據更新；包括：對節點的數據塊編碼塊進行以時間間隔為閾值的及時和延時更新；

S3：對數據進行分級解碼修復；包括：機架內數據跨機架傳輸之前，在機架內通過公式進行聚合產生分級解碼，再傳輸到另一個節點；使用改進的jerasure庫進行分級解碼；使用兩層通信系統進行傳輸；使用增加的組來記錄編碼塊來進行分級編碼處理。

2.根據權利要求1所述的基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，步驟S1中，確定數據更新觸發時機，具體包括：首先輸入編碼參數，包括總共的更新數據量和觸發時的數據量，設置閾值數組默認大小，如果更新時數據量大于編碼參數中觸發時的數據量，則縮小閾值大小，除此之外如更新時數據量小于2，則擴大閾值大小；閾值固定后則根據觸發更新數據量映射出間隔時間。

3.根據權利要求1所述的基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，步驟S2中，使用及時和延遲對節點進行數據更新，具體包括：獲得待更新節點和編碼節點，接收完整的新數據后立即對舊數據進行更新；然后把更新信息發送給第一個待更新節點，該節點接收到更新信息后對信息進行算法處理，分別合成臨時編碼塊，再把各個臨時編碼塊分別發送到其余待更新的節點，接受后進行編碼塊的延遲更新。

4.根據權利要求1所述的基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，步驟S3中，所述的兩層通信系統是：Ceph系統message模塊增加向osd發送分級請求消息，primary osd在發送分級解碼結果消息的兩層通信系統。

5.根據權利要求1所述的基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，步驟S3中，使用增加的組來記錄編碼塊來進行分級編碼處理，具體包括：設定一個一位組對機架內是否獲得編碼塊而進行復1、0，來進行分級解碼的處理操作。

6.根據權利要求1所述的基于Ceph分布式系統多機架更新修復數據的優化方法，其特征在于，步驟S3中，對數據進行分級解碼修復，具體包括：首先選擇機架內某一個節點n1作為進行分級解碼的節點，然后對同機架的數據進行聚合，把聚合的結果通過交換機傳到另一個匯總節點上去，匯總節點收到所有機架數據后對此進行異或處理，達到數據的修護。