[發(fā)明專(zhuān)利]一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910380960.8
• 申請(qǐng)日: 2019-05-08
• 公開(kāi)（公告）號(hào): CN110245742A
• 公開(kāi)（公告）日: 2019-09-17
• 發(fā)明（設(shè)計(jì)）人: 趙坤;張挺
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海電力學(xué)院
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06K9/62;G06Q10/04;G06Q50/06
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 葉敏華

1.一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，該方法包括下列步驟：

1)對(duì)Q值網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，將動(dòng)作選擇與全局最優(yōu)決策分離；

2)利用Keras建立預(yù)測(cè)模型，并對(duì)模型進(jìn)行超參數(shù)調(diào)節(jié)；

3)采用Q-Learning算法為深度Q網(wǎng)絡(luò)提供有標(biāo)簽的樣本數(shù)據(jù)；

4)根據(jù)提供的樣本數(shù)據(jù)訓(xùn)練深度Q網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，步驟1)的具體內(nèi)容為：

在Q值網(wǎng)絡(luò)中采用兩套不同的用以選擇動(dòng)作的參數(shù)θ與θ^-，其中，參數(shù)θ用以選出最大Q值的動(dòng)作，參數(shù)θ^-則用以選出最優(yōu)Q值的動(dòng)作，兩套參數(shù)將動(dòng)作選擇與全局最優(yōu)決策分離，θ為將表格Q(s,a)用函數(shù)Q(s,a,θ)映射后的函數(shù)參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，步驟2)具體包括以下步驟：

21)利用Keras包裝深度學(xué)習(xí)模型的每一層神經(jīng)網(wǎng)絡(luò)，并將包裝好的深度學(xué)習(xí)模型應(yīng)用到scikit-learn中作為預(yù)測(cè)模型；

22)預(yù)測(cè)模型建立后，通過(guò)DQN對(duì)超學(xué)習(xí)率進(jìn)行自適應(yīng)調(diào)節(jié)。

4.根據(jù)權(quán)利要求2所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，步驟3)的具體內(nèi)容為：

采用Q-Learning算法計(jì)算目標(biāo)Q值，并將其與當(dāng)前動(dòng)作下的獎(jiǎng)勵(lì)結(jié)合作為標(biāo)簽，樣本數(shù)據(jù)的表達(dá)式為(s_i,a_i,r_i+1,s_i+1,label)^j，其中i表示時(shí)間步為i，j表示e_greed為j，label為標(biāo)簽，e_greed為貪婪指數(shù)，,_i+1為下一步獎(jiǎng)勵(lì)，s_i為當(dāng)前步狀態(tài)，s_i+1為下一步狀態(tài)，a_i為當(dāng)前步動(dòng)作。

5.根據(jù)權(quán)利要求4所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，步驟4)的具體內(nèi)容為：

采用經(jīng)驗(yàn)回放機(jī)制對(duì)深度Q網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每一次對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行更新時(shí)，從數(shù)據(jù)里隨機(jī)地調(diào)取小批量之前的訓(xùn)練結(jié)果，輔助培訓(xùn)神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，步驟4)中，深度Q網(wǎng)絡(luò)采用兩個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)用于存放當(dāng)前訓(xùn)練出來(lái)的Q值，另一個(gè)用于產(chǎn)生目標(biāo)Q值，訓(xùn)練過(guò)程中，在一定步數(shù)后將當(dāng)前Q值復(fù)制到目標(biāo)Q值網(wǎng)絡(luò)中。

7.根據(jù)權(quán)利要求6所述的一種基于Keras平臺(tái)的自適應(yīng)深度學(xué)習(xí)模型優(yōu)化方法，其特征在于，深度Q網(wǎng)絡(luò)進(jìn)行訓(xùn)練的損失函數(shù)為：

L(w)＝E[(r+γmaxQ(s′,a′,θ)-Q(s,a,θ))]

式中，+γmaxQ(s′,a′,θ)為目標(biāo)Q值，r為獎(jiǎng)勵(lì)，γ為折扣因子，Q(s,a,θ)為Q估計(jì)值。