[發明專利]一種基于分級映射的Ceph存儲系統自動均衡存儲方法

有效

• 申請號: 202010763358.5
• 申請日: 2020-08-01
• 公開（公告）號: CN111880747B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 陳寧江;盧煜
• 申請（專利權）人: 廣西大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

1.一種基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于實施步驟包括：

(1)給予PG和OSD新的分級屬性，以相同等級的OSD聚合邏輯把整個存儲池劃分為了多個子存儲池，并且PG分級與OSD分級一一對應，PG只能在相同等級的OSD存儲池中進行選擇，根據分級的變化給予PG能自由遷移的能力，同時加入隨機因子作為Ceph存儲系統原有的CRUSH算法的新參數，指導新OSD組合的選擇結果，給予PG遷移的更多選擇；

(2)在進行數據插入時，獲取單個OSD使用率與系統平均使用率之間差值，與事先設置好的閾值進行比較是否超過了閾值，若是超過閾值則轉步驟(3)觸發均衡存儲策略，若沒有超過閾值則正常插入數據；

(3)獲取該OSD內的根據PG大小進行排序的隊列，選取其中大小處于中位數的PG進行分析，以此PG所在OSD子存儲池和相鄰等級的子存儲池的使用率進行大小排序，以最低使用率等級的子存儲池的等級作為PG的新等級；同時基于此新等級的配置，以等級作為種子生成多個隨機數產生多個隨機因子，隨機因子作為CRUSH算法的參數，干擾OSD組合的選擇結果，產生多個不同的OSD組合以供數據存儲，并根據隨機因子產生的OSD組合對系統的均衡性影響生成對應的影響因子；最后根據影響因子的排序，選擇影響因子最小即對系統的均衡性影響最小的等級與影響因子組合，賦予PG新的分組屬性；影響因子用于衡量PG遷移前目標子存儲池的均衡存儲情況，以及PG若是按照此新等級和新影響因子遷移后目標子存儲池的均衡存儲情況，具體地：

對于一個子存儲池的均衡存儲情況，其量化的表達式為：

其中，M為該子存儲池的平均使用率，x_j為該子存儲池中各個OSD的使用率，n為子存儲池中OSD的數量；

使用某個PG某次遷移前的β^r值與遷移后的β^j值，可得此PG在本次遷移中對系統的存儲均衡值的影響因子δ為：

其中，若有一組的使用率在PG遷移后其中有一個超過了1，則此組的影響因子則為-1，從而保證此次PG的遷移不會造成新的OSD過載或者完全不可用。

2.根據權利要求1所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，在步驟(1)中初始化OSD的分級屬性的時候，由人工進行初始化。

3.根據權利要求1或2所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，在步驟(1)中初始化PG的分級屬性的時候，根據一致性哈希算法把PG均勻的分布在各個存儲池中，因為PG的大小是不可預測的，所以在初期根據數量來進行較為平均的分布，以避免系統剛開始使用時就伴隨大量的均衡遷移。

4.根據權利要求1或2所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，步驟(1)中的隨機因子是用于指導CRUSH算法的輸出結果，其作用是把原始的CRUSH算法選擇過程改為：

RⁱOSD＝CRUSH(PGID,rⁱ)

上式中，RⁱOSD為選擇出來的第i個OSD組合，調用CRUSH算法的輸入參數為PGID和rⁱ，PGID為PG的唯一標識，rⁱ為隨機因子。

5.根據權利要求1或2所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，步驟(2)中生成觸發均衡策略的過程是在插入數據的時候，也就是進行CRUSH算法的過程中進行判斷觸發，需要引入全局的監控從而實現。

6.根據權利要求1所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，步驟(1)還包括對存儲系統中硬件的規劃和子存儲池的配置，具體為：

對現有的存儲設備進行歸類、整理，確保新劃分的子存儲池的大小合理，PG的等級分配隨機性、PG的數據寫入隨機性和各個存儲池之間比較使用的是使用率作為參考，各個子存儲池的大小接近；

對各個子存儲池進行配置，每個子存儲池有自己的閾值、隨機因子個數。

7.根據權利要求1所述的基于分級映射的Ceph存儲系統自動均衡存儲方法，其特征在于，步驟(3)完成后，若沒有適合的遷移對象，把該PG從排序隊列中剔除，跳轉至步驟(2)。