[發(fā)明專(zhuān)利]基于強(qiáng)化學(xué)習(xí)的純電動(dòng)汽車(chē)動(dòng)力電池冷卻系統(tǒng)控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811135929.X
• 申請(qǐng)日: 2018-09-28
• 公開(kāi)（公告）號(hào): CN109193075B
• 公開(kāi)（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 張炳力;高峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類(lèi)號(hào): H01M10/613
• 分類(lèi)號(hào): H01M10/613;H01M10/625;H01M10/633;H01M10/635;H01M10/6568
• 代理公司: 合肥金安專(zhuān)利事務(wù)所(普通合伙企業(yè)) 34114
• 代理人: 吳娜

1.一種基于深度強(qiáng)化學(xué)習(xí)的純電動(dòng)汽車(chē)?yán)鋮s系統(tǒng)控制方法，該方法包括下列順序的步驟：

(1)獲取純電動(dòng)汽車(chē)動(dòng)力電池溫度、動(dòng)力電池工作電流，以及環(huán)境溫度信息；

(2)基于純電動(dòng)汽車(chē)動(dòng)力電池溫度、動(dòng)力電池工作電流，以及環(huán)境溫度信息確定狀態(tài)空間，基于待優(yōu)化的PID參數(shù)構(gòu)建動(dòng)作空間，基于動(dòng)力電池溫度與最佳工作溫度的溫度差以及電子水泵轉(zhuǎn)速加速度的加權(quán)平方和確定回報(bào)函數(shù)，并基于所述狀態(tài)空間、動(dòng)作空間和回報(bào)函數(shù)構(gòu)建DDPG算法模型；對(duì)所構(gòu)建的DDPG算法模型進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，得到一組最優(yōu)電子水泵PID控制參數(shù)；

(3)通過(guò)PID輸入量得出PID控制量，并基于該P(yáng)ID控制量控制電子水泵工作；

(4)電子水泵工作改變動(dòng)力電池冷卻系統(tǒng)中冷卻液的流量，達(dá)到動(dòng)力電池降溫的目的，同時(shí)將動(dòng)力電池信息傳遞給環(huán)境感知模塊，返回步驟(1)；

所述步驟(2)中構(gòu)建DDPG算法模型具體是指：

確定DDPG算法狀態(tài)空間、動(dòng)作空間和回報(bào)函數(shù)；

狀態(tài)空間包含3個(gè)元素：動(dòng)力電池溫度、動(dòng)力電池工作電流和環(huán)境溫度；

動(dòng)作空間包含3個(gè)PID控制參數(shù)，分別為：比例參數(shù)K_P、微分參數(shù)K_I和積分參數(shù)K_D；

回報(bào)函數(shù)：?jiǎn)未蝿?dòng)作的回報(bào)r定義為動(dòng)力電池溫度與最佳工作溫度的溫度差以及電子水泵轉(zhuǎn)速加速度的加權(quán)平方和；到目前為止的所有動(dòng)作的累積總回報(bào)定義為：

式中：γ為折扣因子；r_i為單次動(dòng)作的回報(bào)；為數(shù)學(xué)期望。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的純電動(dòng)汽車(chē)?yán)鋮s系統(tǒng)控制方法，其特征在于：所述步驟(2)中對(duì)所構(gòu)建的DDPG算法模型進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，得到一組最優(yōu)電子水泵PID控制參數(shù)具體是指：

構(gòu)建評(píng)價(jià)網(wǎng)絡(luò)和動(dòng)作網(wǎng)絡(luò)，其中評(píng)價(jià)網(wǎng)絡(luò)進(jìn)行Q函數(shù)計(jì)算得到Q值：Q(s,a|θ^Q)，輸入為狀態(tài)s、動(dòng)作a，輸出為Q函數(shù)Q(s,a|θ^Q)，包含3個(gè)隱藏層，都是FC全連接網(wǎng)絡(luò)層；動(dòng)作網(wǎng)絡(luò)進(jìn)行狀態(tài)s到動(dòng)作的映射得到a＝μ(s|θ^μ)，輸入為狀態(tài)s，輸出為動(dòng)作a，包含1個(gè)隱藏層，采用FC全連接網(wǎng)絡(luò)層；

評(píng)價(jià)網(wǎng)絡(luò)分為Online評(píng)價(jià)網(wǎng)絡(luò)和Target評(píng)價(jià)網(wǎng)絡(luò)，動(dòng)作網(wǎng)絡(luò)分為Online動(dòng)作網(wǎng)絡(luò)和Target動(dòng)作網(wǎng)絡(luò)；Target評(píng)價(jià)網(wǎng)絡(luò)和Online評(píng)價(jià)網(wǎng)絡(luò)結(jié)構(gòu)相同，Target動(dòng)作網(wǎng)絡(luò)和Online動(dòng)作網(wǎng)絡(luò)結(jié)構(gòu)相同；

對(duì)Online評(píng)價(jià)網(wǎng)絡(luò)和Online動(dòng)作網(wǎng)絡(luò)的參數(shù)θ^Q、θ^μ進(jìn)行隨機(jī)初始化；通過(guò)這兩個(gè)網(wǎng)絡(luò)參數(shù)θ^Q和θ^μ來(lái)初始化Target評(píng)價(jià)網(wǎng)絡(luò)和Target動(dòng)作網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)θ^Q′和θ^μ′，同時(shí)開(kāi)辟一個(gè)空間R作為Memory Replay經(jīng)驗(yàn)回放的儲(chǔ)存空間；

初始化完成后，開(kāi)始進(jìn)行迭代求解：

通過(guò)當(dāng)前網(wǎng)絡(luò)加上高斯擾動(dòng)選擇一個(gè)動(dòng)作進(jìn)行探索，動(dòng)作a_t＝μ(s|θ^μ)+N_t，其中N_t是一個(gè)高斯擾動(dòng)；

在當(dāng)前狀態(tài)s_t下執(zhí)行動(dòng)作a_t，得到相應(yīng)的獎(jiǎng)勵(lì)r_t和下一個(gè)狀態(tài)s_t+1，并且將這個(gè)過(guò)程形成的元組(s_t,a_t,r_t,s_t+1)儲(chǔ)存到Memory Replay空間R中；

從Memory Replay空間R隨機(jī)選擇一個(gè)小批量的元組數(shù)據(jù)，作為Online動(dòng)作網(wǎng)絡(luò)和Online評(píng)價(jià)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，用(s_i,a_i,r_i,s_i+1)表示單個(gè)數(shù)據(jù)；s_i為狀態(tài)，a_i為執(zhí)行動(dòng)作，r_i為相應(yīng)的獎(jiǎng)勵(lì)，s_i+1為下一個(gè)狀態(tài)；

更新Online評(píng)價(jià)網(wǎng)絡(luò)：

定義Online評(píng)價(jià)網(wǎng)絡(luò)Loss函數(shù)：

其中，y_i為標(biāo)簽：y_i＝r_i+γQ′(s_i+1,μ′(s_i+1|θ^μ′)|θ^Q′)，N為元組數(shù)據(jù)個(gè)數(shù)；

求出Loss函數(shù)關(guān)于θ^Q的梯度：通過(guò)最小化Loss函數(shù)來(lái)更新Online評(píng)價(jià)網(wǎng)絡(luò)；

更新Online評(píng)價(jià)網(wǎng)絡(luò)結(jié)束后，再進(jìn)行Online動(dòng)作網(wǎng)絡(luò)的更新：

計(jì)算J(θ^μ)的梯度：

依據(jù)梯度下降的原則對(duì)Online動(dòng)作網(wǎng)絡(luò)進(jìn)行更新；

最后利用更新的Online評(píng)價(jià)網(wǎng)絡(luò)和Online動(dòng)作網(wǎng)絡(luò)的參數(shù)θ^Q和θ^μ對(duì)Target評(píng)價(jià)網(wǎng)絡(luò)和Target動(dòng)作網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)θ^Q′和θ^μ′進(jìn)行更新：

式中：τ為更新率，τ＜＜1，由此構(gòu)建一個(gè)收斂的神經(jīng)網(wǎng)絡(luò)；

計(jì)算當(dāng)前PID控制參數(shù)K_P、K_I、K_D下的總回報(bào)，當(dāng)J(θ^μ)達(dá)到最小值時(shí)，當(dāng)前的控制策略達(dá)到最優(yōu)；當(dāng)J(θ^μ)非最小值時(shí)，依據(jù)策略梯度更新策略，重新選擇K_P、K_I、K_D參數(shù)，實(shí)施控制；循環(huán)網(wǎng)絡(luò)更新流程，即首先更新Online評(píng)價(jià)網(wǎng)絡(luò)，再進(jìn)行Online動(dòng)作網(wǎng)絡(luò)的更新，最后利用更新的Online評(píng)價(jià)網(wǎng)絡(luò)和Online動(dòng)作網(wǎng)絡(luò)的參數(shù)θ^Q和θ^μ對(duì)Target評(píng)價(jià)網(wǎng)絡(luò)和Target動(dòng)作網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)θ^Q′和θ^μ′進(jìn)行更新，使得不同狀態(tài)下對(duì)應(yīng)的控制策略的總回報(bào)J(θ^μ)達(dá)到最小值時(shí)，此時(shí)PID參數(shù)K_P、K_I、K_D最優(yōu)，PID的控制量逼近期望值。

3.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的純電動(dòng)汽車(chē)?yán)鋮s系統(tǒng)控制方法，其特征在于：在所述步驟(3)中，采用如下公式計(jì)算PID控制量：

其中K_P，K_I，K_D分別表示比例、微分和積分參數(shù)；輸入量e(t)為動(dòng)力電池當(dāng)前溫度與期望溫度的差值，控制量u(t)為電子水泵的轉(zhuǎn)速。