[發明專利]一種基于ceph的數據分布不平均調整方法

有效

• 申請號: 202010524170.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111708492B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 陳幫民;蔣川;余傳鋒;范文;巫祿芳;張鵬
• 申請（專利權）人: 深圳證券通信有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市凱博企服專利代理事務所(特殊普通合伙) 44482
• 代理人: 李紹飛

1.一種基于ceph的數據分布不平均調整方法，它特征在于：采用如下步驟：

步驟一：確定需要調整的OSD列表與OSD對應的當前權重因子CurrentWeight；

步驟二：計算OSD容量偏差百分比的計算因子SizeDiff％；

步驟三：計算OSD對應SSD磁盤壽命百分比的計算因子SSDLife％；

步驟四：計算OSD磁盤錯誤百分比的計算因子ErrorCount％；

步驟五：計算OSD容量增量百分比的計算因子SizeIncrease％；

步驟六：選擇方案A或方案B，確定調整方案；

方案A：只調整容量大于集群平均容量的OSD；

方案B：只調整容量小于集群平均容量的OSD；

步驟七：根據步驟一至步驟五的計算因子，以及步驟六的確定方案，利用以下計算公式來計算結果，計算公式如下：

AdjustmentRatio＝1+SizeDiff％+SSDLife％+ErrorCount％+SizeIncrease％OsdReweight＝CurrentWeight×AdjustmentRatio

其中：

OsdReweight：需要進行權重調整OSD計算而得新權重值；

CurrentWeight：當前OSD權重值；

SizeDiff％：OSD對應磁盤的容量使用百分比與集群平均容量百分比計算而得的調整比例；

SSDLife％：通過OSD對應SSD磁盤壽命計算而得的調整比例；

ErrorCount％：通過OSD對應磁盤Error?Count磁盤錯誤信息計算而得的調整比例；

SizeIncrease％：通過OSD單位時間容量增長百分比與集群容量百分比偏差計算而得的調整比例；

AdjustmentRatio：通過計算因子計算而得的調整比例。

2.根據權利要求1所述的一種基于ceph的數據分布不平均調整方法，它特征在于：步驟一中的需要調整的OSD列表與OSD對應權重因子CurrentWeight，采用如下步驟：

(1)可以通過設置比例，在與集群容量相差在設置比例內的，不予調整，超過或者低于該比例的，則標志為調整對象；

(2)同時通過設置是否限制在一臺機器內，或者單個故障域內的調整，避免調整波及范圍過大；最終確認需要調整的OSD列表，記錄OSD對應權重因子CurrentWeight。

3.根據權利要求1所述的一種基于ceph的數據分布不平均調整方法，它特征在于：步驟二中的計算因子SizeDiff％，采用如下步驟：

(1)使用命令獲取集群當前使用容量百分比Aver％；

(2)通過命令獲取每臺機器上每塊磁盤的容量使用百分比OsdSize％；

(3)對于OsdSize％Aver％列為需要調小的SmallOSD，得到因子為(OsdSize％-Aver％)；

(4)對于OsdSize％Aver％列為需要調大權重的OSD，得到SizeDiff％因子為(Aver％-OsdSize％)。

4.根據權利要求1所述的一種基于ceph的數據分布不平均調整方法，它特征在于：步驟三中的計算因子SSDLife％，采用如下步驟：

(1)若OSD磁盤為SSD磁盤，則從S.M.A.R.T.信息中抓取磁盤剩余壽命信息百分比Currentlife％，查詢OSD所在磁盤是否為SSD；

(2)若是SSD，則查詢其壽命信息，得到其壽命的百分比數據。

5.根據權利要求1所述的一種基于ceph的數據分布不平均調整方法，它特征在于：步驟四中的計算因子ErorCount％，采用如下步驟：

(1)從磁盤S.M.A.R.T.信息中獲取Error?count計數，它描述了磁盤發生錯誤的計數，計數越大，則反映磁盤越不健康，容易產生的錯誤越多，進而影響集群穩定性以及性能降低；

(2)ErrorCount％表示OSD對應磁盤錯誤百分比，Error?count計數小于100，ErrorCount％＝(Error?count)/100。

6.根據權利要求1所述的一種基于ceph的數據分布不平均調整方法，它特征在于：步驟五中的計算因子SizeIncrease％，采用如下步驟：

(1)以時間周期為T，定期檢查獲取集群容量，兩次檢查值之差，得到單位時間內的增長百分比Increase％；

(2)同時，定期獲取磁盤容量增長百分比OsdIncrease％；

(3)對于OsdIncrease％Increase％，減少數據存放，減少比例為OsdIncrease％-Increase％；

(4)對于OsdIncrease％Increase％，增加OSD數據存放，SizeIncrease％＝Increase％-OsdIncrease％。