[發明專利]基于分布式深度確定性策略梯度的HEV能量管理方法

有效

• 申請號: 202011355903.3
• 申請日: 2020-11-27
• 公開（公告）號: CN112440974B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 顏伏伍;王金海;彭可揮;杜常清
• 申請（專利權）人: 武漢理工大學
• 主分類號: B60W20/11
• 分類號: B60W20/11;B60W20/15;G06Q10/06;G06F9/54;G06N20/00;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

本發明屬于混合動力汽車能量管理技術領域，公開了基于分布式深度確定性策略梯度的HEV能量管理方法，包括獲取混合動力汽車的狀態需求信息；將狀態需求信息作為輸入量，基于神經網絡構建回報函數；基于回報函數，構建分布式深度確定性策略梯度控制器；訓練分布式深度確定性策略梯度控制器，獲得穩定狀態下的控制動作參數；通過訓練好的分布式深度確定性策略梯度控制器執行能量管理策略。本發明解決了現有技術中HEV能量管理方法無法高效地適應于所有類型的道路工況、實時性較差的問題。本發明可以很大程度提高算法的實時性并且適用于多種道路工況。

技術領域

本發明涉及混合動力汽車能量管理技術領域，尤其涉及基于分布式深度確定性策略梯度的HEV能量管理方法。

背景技術

能源與環境問題已經引起了世界各國的廣泛關注。車輛是能源與環境問題不可忽視的關鍵因素，減少車輛能源消耗和排放是應對能源與環境問題最切實有效的方法。在新能源汽車中，混合動力汽車由于相比于傳統燃油汽車需要更少的燃料，相比于純電動汽車具有更遠的行駛里程，成為目前最行之有效的解決方案。混合動力汽車(HEV)節能減排潛力大，但其能量管理系統復雜，其能量管理方法涵蓋了傳統汽車、純電動汽車和油電混合動力汽車能量管理內容，成為國內外汽車領域研究的熱點。

能量管理策略優化的目標是得到發動機和電機最優能量分配關系以及變速器的擋位，本質是一個動態最優控制問題。對于HEV的多目標(燃油經濟性、動力性、排放、駕駛性等)優化問題，一般通過設置多個目標的權值將問題轉化為單目標優化問題。能量管理方法通常分為離線優化方法和在線優化方法。離線優化算法(動態規劃、進化算法、凸優化和神經網絡)能夠獲得車輛在特定工況循環下的最優或者接近最優結果，但是需要預知車輛的全部行駛工況，耗用的計算資源很大，無法用于實時控制。在線優化策略(模型預測控制，基于龐特里亞金最小值原理的等效燃油消耗策略，等效燃油最低原則)實時性較好，但是由于采用部分歷史信息計算系統的等效燃油消耗，歷史信息不一定能代表未來的行駛狀態，導致這種算法的魯棒性不好，需要采用性能更好的策略彌補上述算法的缺陷。機器學習(數據驅動優化)，特別是近年來發展起來的強化學習(Reinforcement Learning)算法，為系統模型及控制參數優化、道路工況特征以及駕駛行為特征提取提供了有力的研究工具。在強化學習算法中，Q Learning和Deep Q Network(DQN)使用最為廣泛，但是上述算法只適用于離散的和低維的動作空間，HEV能量管理控制任務具有高維和連續的動作空間。上述算法需要將動作空間離散化，這樣做不可避免地丟失動作空間的重要的信息而且還會構成維度災難(curse of dimensionality)問題。

發明內容

本發明通過提供基于分布式深度確定性策略梯度的HEV能量管理方法，解決了現有技術中HEV能量管理方法無法高效地適應于所有類型的道路工況、實時性較差的問題。

本發明提供基于分布式深度確定性策略梯度的HEV能量管理方法，包括以下步驟：

步驟1、獲取混合動力汽車的狀態需求信息；

步驟2、將所述狀態需求信息作為輸入量，基于神經網絡構建回報函數；

步驟3、基于所述回報函數，構建分布式深度確定性策略梯度控制器；

步驟4、訓練所述分布式深度確定性策略梯度控制器，獲得穩定狀態下的控制動作參數；

步驟5、通過訓練好的分布式深度確定性策略梯度控制器執行能量管理策略。

優選的，所述狀態需求信息包括：車輛狀態信息、駕駛員需求信息；

所述車輛狀態信息包括：電池荷電狀態、發動機燃油消耗；

所述駕駛員需求信息包括：車輛轉矩需求；所述車輛轉矩需求包括：發動機輸出轉矩。

優選的，所述回報函數表示為：