[發明專利]一種基于ceph的數據分布不平均調整方法

有效

• 申請號: 202010524170.5
• 申請日: 2020-06-10
• 公開（公告）號: CN111708492B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 陳幫民;蔣川;余傳鋒;范文;巫祿芳;張鵬
• 申請（專利權）人: 深圳證券通信有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市凱博企服專利代理事務所(特殊普通合伙) 44482
• 代理人: 李紹飛

本發明涉及分布式存儲技術領域，具體涉及一種基于ceph的數據分布不平均調整方法，采用如下步驟：步驟一：確定需要調整的OSD列表與OSD對應的當前權重因子CurrentWeight；步驟二：計算OSD容量偏差百分比的計算因子SizeDiff％；步驟三：計算OSD對應SSD磁盤壽命百分比的計算因子SSDLife％；步驟四：計算OSD磁盤錯誤百分比的計算因子ErrorCount％；步驟五：計算OSD容量增量百分比的計算因子SizeIncrease％；它對數據不平均分配進行調整，基于磁盤容量，權重，健康情況，ssd壽命以及磁盤S.M.A.R.T的錯誤計數信息等，對數據進行二次平衡，以解決存儲系統數據分布不平均的問題，并提高系統性能與可用性；同時，也提高存儲系統的可用空間。

【技術領域】

本發明涉及分布式存儲技術領域，具體涉及一種基于ceph的數據分布不平均調整方法。

【背景技術】

ceph分布式存儲應用中，數據分布依照ceph的CRUSH算法。CRUSH是一種基于哈希的數據分布式算法。以數據唯一標識符、當前存儲集群的拓撲結構以及數據備份策略作為CRUSH輸入，可以隨時隨地通過計算獲取數據所在的底層存儲設備(例如磁盤)位置并直接與起通信，從而避免查表操作，實現去中心化和高并發。

當前CRUSH算法，客戶端在上傳一個文件到指定的pool中時，進行的步驟如下：(1)數據切片，客戶端將將大文件拆分為多個Object，例如，假定每個Object大小為8MB，一個1GB的文件可以被拆分成128個Object。(2)計算Object對應PG，對Object進行Hash,然后哈希值和PG的數量取余，得到的值再和pool的ID拼接成PG_ID。(3)計算PG對應的OSD集合：對pg_id進行CURSH得到該PG對應的OSD數組。

由此過程可以看到，數據分布并不會參考數據所在位置(磁盤等)的容量，而僅僅通過對Object進行hash而確定object存儲位置。CRUSH本質還是一個hash算法，通過計算帶來去中心化和高并發的優點，而帶來的就是數據不平衡的問題。在當前ceph的使用情況下，磁盤使用率普遍存在20％左右的偏差，并且最大使用差可達到50％甚至以上。

而ceph自帶的數據重平衡提供了兩種批量方法：一種是按照OSD當前空間利用率，對OSD對應磁盤的容量使用百分比與集群平均容量百分比偏差大的進行權重值調整，從而控制數據流向，另一種是按照PG在OSD之間的分布，通過將PG進行遷移，不考慮容量情況，把PG多的OSD遷移至PG少的OSD，從而控制數據平衡。其中：Object：不論是塊存儲、對象存儲還是文件存儲，最終都是以Object形態存儲在磁盤上。PG：相當于一致性哈希算法里的虛擬節點，做為Object的歸置組。OSD：真正的存儲組件，OSD一般和磁盤一一對應，處理存儲磁盤上的讀/寫操作。

基于上述情況，ceph數據分布不均衡是正常并且普遍存在的現象，由此而帶來不小的數據安全隱患以及性能下降。而ceph自帶的數據重平衡提供了兩種批量方法：一種是按照OSD當前空間利用率，另一種是按照PG在OSD之間的分布。而其中的缺陷存在：

(1)只考慮OSD容量；(2)只考慮PG分布；

(3)未考慮最近單位時間磁盤容量增長情況；

(4)未考慮磁盤健康情況；

(5)未考慮SSD在壽命降低后性能降低以及數據丟失風險；

(6)未做故障域的限制，容易波及整個集群；

綜上所述，當前情況在進行數據重平衡時，考慮方面欠缺，在只考慮容量與PG分布的情況下，難以對實際生產適應，容易影響全局的數據分布不均衡以及性能下降。

【發明內容】

本發明的目的在于針對現有技術的缺陷和不足，提供一種基于ceph的數據分布不平均調整方法。