[發明專利]好奇心驅動的混合動力系統深度強化學習能量管理方法

在審

• 申請號: 202011451706.1
• 申請日: 2020-12-10
• 公開（公告）號: CN112765723A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 周健豪;薛源;李超雄;徐達;趙萬忠
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F30/15
• 分類號: G06F30/15;G06F30/27;G06N3/04;G06N3/08;G06F119/14
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

本發明公開了好奇心驅動的混合動力系統深度強化學習能量管理方法，屬于混合動力汽車能量管理領域，不僅可以解決A3C算法探索不充分的問題，還可以解決A3C算法訓練速度慢的問題。本發明方法主要包括：建立基于好奇心驅動的A3C代理模型；設置基于好奇心驅動的A3C代理模型的狀態、動作和回報，得到A3C代理模型；建立與A3C結構相同的Actor與Critic網絡，并且獲取相關最優訓練數據集，對Actor與Critic進行單獨訓練，對基于好奇心驅動的A3C代理進行初始化，得到融合預訓練和好奇心驅動后的A3C代理模型；使用融合預訓練和好奇心驅動的A3C代理模型進行混聯式混合動力車輛的能量管理。

技術領域

本發明屬于混合動力汽車能量管理領域，尤其涉及好奇心驅動的混合動力系統深度強化學習能量管理方法。

背景技術

在當今社會下，能源危機和環境污染問題越來越嚴重。對于汽車行業而言，其面臨的挑戰也越來越大，純燃油汽車具有高能耗與高排放的問題，為了更好的解決這些問題，混合動力汽車逐漸成為人們研究的重點內容。混合動力汽車由多個動力源組成，一般為兩個，分別為內燃機與電機，能量管理系統可以很好的協調兩個動力源之間的關系，實現在滿足動力性要求下，實現更低的油耗，從而減少能源消耗與溫室氣體排放。因此開發一個高效的能量管理控制器去協同能源管理系統的工作是一項非常重要的任務。

在當今研究下，研究HEV的能量管理策略大體上分為三類：一是基于規則的策略，基于規則的策略具有技術難度低、實時性高和在線計算量小的優點，基于規則的策略一般只需要制定相關的規則，即設置一定的閾值實現對混合動力汽車的能量管理，因此應用難度比較低，故廣泛應用于混合動力汽車的工業領域，但是，相關規則的制訂需要依靠專家經驗完成。二是基于優化的能量管理策略，最具有代表性的為DP(動態規劃)算法，基于DP的能量管理策略可以獲取全局最優，但是前提要求全局工況已知，同時計算時間也較長，因此一般只能作為評價其他策略的基準，無法應用于汽車的實時控制。最近幾年，基于學習的算法開始大量出現，特別是A3C算法。

但是A3C方法在實際應用中也存在很多問題，其最大的缺點是不能深入探索而獲得更好的燃油經濟性能，同時A3C算法在應用時的訓練時間也較長，因此更好的解決這兩個問題，可以實現神經網絡的快速收斂，同時可以有效提高基于深度強化學習能量管理策略的控制效果，提高汽車整車性能。

發明內容

本發明提供了好奇心驅動的混合動力系統深度強化學習能量管理方法，在保證汽車動力性的前提下，通過基于預訓練和好奇心驅動的A3C算法，不僅可以解決A3C算法不能夠深入探索的問題，而且還可以解決A3C算法訓練速度慢的問題，可以實現在保證汽車燃油經濟性的基礎上，實現神經網絡的快速收斂。

為了實現以上目的，本發明采用以下技術方案：

好奇心驅動的混合動力系統深度強化學習能量管理方法，包括以下步驟：

步驟1：建立混聯式混合動力汽車模型；

步驟2：建立基于好奇心驅動的A3C代理模型；

步驟3：設置基于好奇心驅動的A3C代理模型的狀態、動作和回報，得到設置后的基于好奇心驅動的A3C代理模型；

步驟4：建立與上述基于好奇心驅動的A3C代理模型網絡結構相同的Actor 與Critic網絡，同時獲取相關最優訓練數據集，對Actor與Critic網絡單獨進行預訓練，并利用訓練后的Actor與Critic網絡的相關參數對基于好奇心驅動的A3C 代理模型進行初始化，得到基于預訓練和好奇心驅動的A3C代理模型；

步驟5：獲取相關訓練數據集，根據獲得的相關訓練數據集對所述基于預訓練和好奇心驅動的A3C代理模型進行訓練，實現對基于預訓練和好奇心驅動的 A3C代理模型的微調，得到訓練后的基于預訓練和好奇心驅動的A3C代理模型；

步驟6：使用訓練后的基于預訓練和好奇心驅動的A3C代理模型進行混合動力車輛的能量管理。