[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的分布式存儲(chǔ)系統(tǒng)自動(dòng)調(diào)參方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310059553.3
• 申請日: 2023-01-18
• 公開（公告）號: CN116088761A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 劉渝;夷州;周可;李強(qiáng);張海軍;孫斌
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N20/00
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 夏倩

本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的分布式存儲(chǔ)系統(tǒng)自動(dòng)調(diào)參方法及系統(tǒng)，屬于分布式存儲(chǔ)技術(shù)領(lǐng)域；首先通過對第一樣本池中的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)進(jìn)行統(tǒng)計(jì)，從而從第一樣本池中篩選出對分布式存儲(chǔ)系統(tǒng)性能影響較大的多個(gè)系統(tǒng)參數(shù)，作為分布式存儲(chǔ)系統(tǒng)的一組調(diào)優(yōu)參數(shù)，以降低優(yōu)化問題的復(fù)雜度，保證了后續(xù)基于強(qiáng)化學(xué)習(xí)的進(jìn)行調(diào)參的可行性；然后，在參數(shù)篩選的基礎(chǔ)之上，利用強(qiáng)化學(xué)習(xí)的DDPG模型進(jìn)行進(jìn)一步的調(diào)優(yōu)工作，并且在這個(gè)過程中，考慮到DDPG模型的前期冷啟動(dòng)耗時(shí)問題，采用遺傳算法進(jìn)行前期的樣本收集工作，將收集得到的樣本輸入給DDPG模型進(jìn)行預(yù)訓(xùn)練，從而避免前期冷啟動(dòng)大量耗時(shí)的問題，從而能夠合理有效地對分布式存儲(chǔ)系統(tǒng)參數(shù)進(jìn)行準(zhǔn)確調(diào)優(yōu)。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式存儲(chǔ)技術(shù)領(lǐng)域，更具體地，涉及一種基于強(qiáng)化學(xué)習(xí)的分布式存儲(chǔ)系統(tǒng)自動(dòng)調(diào)參方法及系統(tǒng)。

背景技術(shù)

隨著信息時(shí)代的飛速發(fā)展，大量數(shù)據(jù)需要被存儲(chǔ)，因此，分布式文件存儲(chǔ)系統(tǒng)作為一種可靠的解決方案，也得到了快速發(fā)展，同時(shí)對其的性能要求也日益增長。參數(shù)調(diào)優(yōu)作為一種行之有效的性能調(diào)優(yōu)方式，也得到了廣泛關(guān)注。

在中國發(fā)明專利CN114564460A中公開了一種基于分布式存儲(chǔ)系統(tǒng)的參數(shù)調(diào)優(yōu)方法，該方法先利用日志文件分析系統(tǒng)的讀寫性能情況，確定業(yè)務(wù)應(yīng)用模型；根據(jù)不同的業(yè)務(wù)應(yīng)用模型，選擇對應(yīng)調(diào)整的參數(shù)；對這些參數(shù)進(jìn)行隨機(jī)取值并測試性能，根據(jù)測試結(jié)果選擇最優(yōu)參數(shù)配置。在中國發(fā)明專利CN114415945A中公開了一種分布式存儲(chǔ)系統(tǒng)的參數(shù)調(diào)優(yōu)方法，該方法先通過針對多個(gè)優(yōu)化目標(biāo)建立獨(dú)立的貝葉斯優(yōu)化模型，然后進(jìn)行參數(shù)綜合，將優(yōu)化得到的結(jié)果轉(zhuǎn)化為先驗(yàn)知識(shí)，以初始化多目標(biāo)進(jìn)化算法的初代種群；接著利用進(jìn)化算法對存儲(chǔ)系統(tǒng)進(jìn)行參數(shù)調(diào)優(yōu)。

上述兩種分布式存儲(chǔ)系統(tǒng)的參數(shù)調(diào)優(yōu)方法中，由于存儲(chǔ)系統(tǒng)存在大量的參數(shù)且參數(shù)之間還存在復(fù)雜的關(guān)聯(lián)，所以無論是利用人工經(jīng)驗(yàn)進(jìn)行篩選，還是通過貝葉斯優(yōu)化模型進(jìn)行篩選，都很難對參數(shù)進(jìn)行有效且合理的篩選。同時(shí)，對于參數(shù)的調(diào)優(yōu)模型過于簡單，很難在短時(shí)間內(nèi)從參數(shù)空間推薦出合理的最優(yōu)配置。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的分布式存儲(chǔ)系統(tǒng)自動(dòng)調(diào)參方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)無法合理有效地對分布式存儲(chǔ)系統(tǒng)參數(shù)進(jìn)行準(zhǔn)確調(diào)優(yōu)的技術(shù)問題。

為了實(shí)現(xiàn)上述目的，第一方面，本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的分布式存儲(chǔ)系統(tǒng)自動(dòng)調(diào)參方法，包括以下步驟：

S1、從初始的系統(tǒng)參數(shù)配置集合中隨機(jī)篩選一組系統(tǒng)參數(shù)的配置值對分布式存儲(chǔ)系統(tǒng)進(jìn)行調(diào)參，獲取對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)，并將該組系統(tǒng)參數(shù)的配置值與對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)所組成的樣本對保存至第一樣本池中；

S2、重復(fù)步驟S1進(jìn)行迭代，直至第一樣本池中的樣本對數(shù)量達(dá)到第一預(yù)設(shè)數(shù)量；

S3、通過對第一樣本池中的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)進(jìn)行統(tǒng)計(jì)，從第一樣本池中篩選出對分布式存儲(chǔ)系統(tǒng)性能影響較大的m個(gè)系統(tǒng)參數(shù)作為分布式存儲(chǔ)系統(tǒng)的一組調(diào)優(yōu)參數(shù)；2≤m≤M；M為步驟S1中隨機(jī)篩選的一組系統(tǒng)參數(shù)的總數(shù)量；

S4、采用GA模型獲取各調(diào)優(yōu)參數(shù)的配置值后，對分布式存儲(chǔ)系統(tǒng)進(jìn)行調(diào)參，獲取對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)，將該組調(diào)優(yōu)參數(shù)配置值與對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)所組成的樣本對保存至第二樣本池中；基于該組調(diào)優(yōu)參數(shù)配置值所對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)，計(jì)算該組調(diào)優(yōu)參數(shù)配置值的適應(yīng)度，并基于適應(yīng)度對GA模型中的參數(shù)進(jìn)行更新；

S5、重復(fù)步驟S4進(jìn)行迭代，直至第二樣本池中的樣本對數(shù)量達(dá)到第二預(yù)設(shè)數(shù)量或者GA模型達(dá)到收斂；

S6、將第二樣本池中的樣本對作為訓(xùn)練集，對DDPG模型進(jìn)行預(yù)訓(xùn)練；

S7、采用預(yù)訓(xùn)練完成后的DDPG模型獲取各調(diào)優(yōu)參數(shù)的配置值后，對分布式存儲(chǔ)系統(tǒng)進(jìn)行調(diào)參，并獲取對應(yīng)的分布式存儲(chǔ)系統(tǒng)性能指標(biāo)來計(jì)算對應(yīng)的獎(jiǎng)勵(lì)值，以對DDPG模型進(jìn)行在線訓(xùn)練；