[發明專利]一種基于分布式存儲Ceph的數據重構方法與裝置

有效

• 申請號: 202010554840.8
• 申請日: 2020-06-17
• 公開（公告）號: CN111917823B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 王筱橦;張書東;藍海;李慶林
• 申請（專利權）人: 烽火通信科技股份有限公司
• 主分類號: H04L67/1097
• 分類號: H04L67/1097;H04L67/1042;G06F3/06
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明公開了一種基于分布式存儲Ceph的數據重構方法與裝置，其中方法包括：根據Ceph集群中當前數據重構的任務量調整第一參數，使得每個重構數據均處于“重構中”；根據用戶所期望達到的平均重構帶寬調整第二參數，使得Ceph集群的實時重構帶寬滿足用戶需求；在數據重構過程中，根據當前剩余的重構數據量與重構數據總量的比例對第二參數進行動態調整，直至重構過程結束。通過采用與分布式存儲Ceph數據重構過程的動態特征相適應的動態調參方法來對數據重構過程進行控制，可保證重構帶寬以及對上層業務影響程度之間的平衡；而且在動態調整參數時以用戶預期為導向，更容易滿足用戶的預期。

技術領域

本發明屬于分布式存儲技術領域，更具體地，涉及一種基于分布式存儲Ceph的數據重構方法與裝置。

背景技術

Ceph是一款統一的開源分布式存儲系統，由于其統一存儲，支持對外提供塊存儲、文件存儲、對象存儲服務，同時具備高可用、高可擴展性、高性能的特性，因此在各領域都有廣泛的使用。

在分布式存儲系統Ceph中，硬盤故障是一種常見問題。為了保證數據安全，當發生硬盤故障后，分布式存儲系統會依據算法對故障硬盤上的數據進行數據重構及轉儲。數據重構過程的時間越長，分布式存儲系統發生二次故障或多次故障的概率就越高，相應丟數據的風險也越大，所以理論上數據重構速度越快越好。但數據重構過程會占用分布式存儲系統中其它工作硬盤的讀寫帶寬，進而對正常業務造成影響；理論上重構帶寬越大，相應的對正常業務的影響也越大。鑒于上述因素，目前很多應用場景對數據重構在重構速度以及重構過程對業務的影響程度都有相應約束要求，故而該問題是分布式存儲系統可靠性和穩定性研究中的一個重要問題。

分布式存儲系統Ceph通常提供參數配置的方式對其數據重構過程進行控制，目前業界多采用固定參數配置的方式來控制Ceph的數據重構過程，即重構前完成參數配置，且該配置參數將作用于整個重構過程。然而，由于Ceph的數據重構是一個動態過程，若采用固定參數配置的方式，很難保證所配置的固定參數對整個重構過程的各個階段都合理，故很難實現保證高重構帶寬的同時，還保證對正常業務的低影響，即難以達到最理想的平均重構帶寬以及整個數據重構過程對上層業務的平均影響程度。因此如何依據Ceph數據重構過程的動態特點，設計有效的動態調參算法，是本領域技術人員亟待解決的問題。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于分布式存儲Ceph的數據重構方法與裝置，其目的在于利用與分布式存儲Ceph數據重構過程的動態特征相適應的動態調參方法，來對Ceph的數據重構過程進行控制，由此解決固定參數配置難以在保證高重構帶寬的同時保證對正常業務的低影響的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于分布式存儲Ceph的數據重構方法，包括：

根據Ceph集群中當前數據重構的任務量調整第一參數，使得每個重構數據均處于“重構中”的狀態；

根據用戶所期望達到的平均重構帶寬調整第二參數，使得Ceph集群的實時重構帶寬滿足用戶需求；

在數據重構過程中，根據當前剩余的重構數據量與重構數據總量的比例不斷對第二參數進行動態調整，直至重構過程結束；

其中，所述第一參數用于限定數據重構任務執行的并發數，所述第二參數用于限定兩次數據重構任務處理之間的時間間隔。

優選地，所述根據Ceph集群中當前數據重構的任務量調整第一參數，使得每個重構數據均處于“重構中”的狀態，具體為：

通過Ceph提供的底層指令實時監控Ceph集群中各重構數據是否都處于“重構中”的狀態；如果存在重構數據未處于“重構中”的狀態，則將Ceph集群所配置的第一參數逐次增加1并繼續監控，直至每個重構數據均處于“重構中”的狀態。

優選地，所述根據用戶所期望達到的平均重構帶寬調整第二參數，使得Ceph集群的實時重構帶寬滿足用戶需求，具體為：