[發明專利]基于強化學習的純電動汽車動力電池冷卻系統控制方法

有效

• 申請號: 201811135929.X
• 申請日: 2018-09-28
• 公開（公告）號: CN109193075B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 張炳力;高峰
• 申請（專利權）人: 合肥工業大學
• 主分類號: H01M10/613
• 分類號: H01M10/613;H01M10/625;H01M10/633;H01M10/635;H01M10/6568
• 代理公司: 合肥金安專利事務所(普通合伙企業) 34114
• 代理人: 吳娜

本發明涉及一種基于深度強化學習的純電動汽車冷卻系統控制方法，包括：第一步獲取純電動汽車動力電池溫度、動力電池工作電流，以及環境溫度信息；構建DDPG算法模型，進行強化學習訓練，得到一組最優電子水泵PID控制參數；通過PID輸入量得出PID控制量，并基于該PID控制量控制電子水泵工作；電子水泵工作改變動力電池冷卻系統中冷卻液的流量，達到動力電池降溫的目的，同時將動力電池信息傳遞給環境感知模塊，返回第一步，循環整個流程。本發明將深度強化學習引入PID控制算法中，深度強化學習能較好的跟環境交互，具有自學習功能，適應不確定系統的動態特性，因此能適應純電動汽車運行環境復雜多變的特性，在不同的實際場景下實現在線控制。

技術領域

本發明涉及純電動汽車熱管理技術領域，尤其是一種基于強化學習的純電動汽車動力電池冷卻系統控制方法。

背景技術

目前電動汽車采用的冷卻電子水泵大多利用開關式的控制方式，這種方法主要是根據目標值設定一個期望的溫度值，然后根據這個目標值來設置控制溫度的上限值。如果溫度超過了這個范圍值，電子水泵開啟降溫，否則不啟動，讓冷卻液在冷卻循環中自然冷卻。除此之外，還有模糊控制、專家系統以及集成智能控制等。

其中，開關式的控制方式主要存在的問題是：會在某些特定的環境中使得電子水泵頻繁的開啟，嚴重影響了電子水泵的使用壽命；同時由于電子水泵啟動時以最大轉速工作，造成大量的功率無效的消耗，運行的成本會大大增加。模糊控制對于難以建立精確模型而可根據經驗控制的系統的控制效果較好，但存在模糊規則的設計、過于依賴人工設計而無法運用于延時大的系統。專家系統能較好的利用專家經驗知識，但存在知識獲取依賴人工以及推理能力較弱的不足。集成智能控制算法根據不同智能控制算法的優點進行結合，但仍無法完全避免結合的智能控制算法本身的不足。

發明內容

本發明的首要目的在于提供一種能適應純電動汽車運行環境復雜多變的特性，在不同的實際場景下實現在線控制，降低人工設計難度，減小能量損耗的基于強化學習的純電動汽車動力電池冷卻系統控制方法。

為實現上述目的，本發明采用了以下技術方案：一種基于強化學習的純電動汽車動力電池冷卻系統控制方法，該方法包括下列順序的步驟：

(1)獲取純電動汽車動力電池溫度、動力電池工作電流，以及環境溫度信息；

(2)基于純電動汽車動力電池溫度、動力電池工作電流，以及環境溫度信息確定狀態空間，基于待優化的PID參數構建動作空間，基于動力電池溫度與最佳工作溫度的溫度差以及電子水泵轉速加速度的加權平方和確定回報函數，并基于所述狀態空間、動作空間和回報函數構建DDPG算法模型；對所構建的DDPG算法模型進行強化學習訓練，得到一組最優電子水泵PID控制參數；

(3)通過PID輸入量得出PID控制量，并基于該PID控制量控制電子水泵工作；

(4)電子水泵工作改變動力電池冷卻系統中冷卻液的流量，達到動力電池降溫的目的，同時將動力電池信息傳遞給環境感知模塊，返回步驟(1)；

所述步驟(2)中構建DDPG算法模型具體是指：

確定DDPG算法狀態空間、動作空間和回報函數；

狀態空間包含3個元素：動力電池溫度、動力電池工作電流和環境溫度；

動作空間包含3個PID控制參數，分別為：比例參數K_P、微分參數K_I和積分參數K_D；

回報函數：單次動作的回報r定義為動力電池溫度與最佳工作溫度的溫度差以及電子水泵轉速加速度的加權平方和；到目前為止的所有動作的累積總回報定義為：

式中：γ為折扣因子；r_i為單次動作的回報；為數學期望。