[發明專利]一種基于強化學習的分布式存儲系統自動調參方法及系統

在審

• 申請號: 202310059553.3
• 申請日: 2023-01-18
• 公開（公告）號: CN116088761A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 劉渝;夷州;周可;李強;張海軍;孫斌
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N20/00
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 夏倩

1.一種基于強化學習的分布式存儲系統自動調參方法，其特征在于，包括以下步驟：

S1、從初始的系統參數配置集合中隨機篩選一組系統參數的配置值對分布式存儲系統進行調參，獲取對應的分布式存儲系統性能指標，并將該組系統參數的配置值與對應的分布式存儲系統性能指標所組成的樣本對保存至第一樣本池中；

S2、重復所述步驟S1進行迭代，直至所述第一樣本池中的樣本對數量達到第一預設數量；

S3、通過對所述第一樣本池中的分布式存儲系統性能指標進行統計，從所述第一樣本池中篩選出對分布式存儲系統性能影響較大的m個系統參數作為分布式存儲系統的一組調優參數；2≤m≤M；M為所述步驟S1中隨機篩選的一組系統參數的總數量；

S4、采用GA模型獲取各調優參數的配置值后，對分布式存儲系統進行調參，獲取對應的分布式存儲系統性能指標，將該組調優參數配置值與對應的分布式存儲系統性能指標所組成的樣本對保存至第二樣本池中；基于該組調優參數配置值所對應的分布式存儲系統性能指標，計算該組調優參數配置值的適應度，并基于所述適應度對所述GA模型中的參數進行更新；

S5、重復所述步驟S4進行迭代，直至所述第二樣本池中的樣本對數量達到第二預設數量或者所述GA模型達到收斂；

S6、將所述第二樣本池中的樣本對作為訓練集，對DDPG模型進行預訓練；

S7、采用預訓練完成后的所述DDPG模型獲取各調優參數的配置值后，對分布式存儲系統進行調參，并獲取對應的分布式存儲系統性能指標來計算對應的獎勵值，以對所述DDPG模型進行在線訓練；

S8、采用在線訓練完成后的所述DDPG模型獲取各調優參數的配置值，以對分布式存儲系統進行調參。

2.根據權利要求1所述的分布式存儲系統自動調參方法，其特征在于，所述步驟S3包括：分別計算所述第一樣本池中的各系統參數對分布式存儲系統性能的影響值，并從中選出前m個影響值較大的系統參數作為分布式存儲系統的一組調優參數；

第i個系統參數p_i對分布式存儲系統性能的影響值PI(p_i)為：

其中，K_i為第i個系統參數p_i的預設取值范圍的總數量；為集合中分布式存儲系統性能指標的平均值；為集合中分布式存儲系統性能指標的平均值；為所述集合中分布式存儲系統性能指標的方差；為所述集合中分布式存儲系統性能指標的方差；所述集合為集合S1中第i個系統參數p_i在其第k個預設取值范圍內的樣本對所構成的集合；所述集合為集合S2中第i個系統參數p_i在其第k個預設取值范圍內的樣本對所構成的集合；所述集合S1為對集合S中的樣本對按照從大到小的順序進行排序后，前a％的樣本對所構成的集合；所述集合S2為對集合S中的樣本對按照從大到小的順序進行排序后，后b％的樣本對所構成的集合；Avg(S)為集合S中分布式存儲系統性能指標的平均值；STD(S)為集合S中分布式存儲系統性能指標的方差；所述集合S為第一樣本池中所有樣本對所構成的集合。