[發明專利]基于分布式深度確定性策略梯度的HEV能量管理方法

有效

• 申請號: 202011355903.3
• 申請日: 2020-11-27
• 公開（公告）號: CN112440974B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 顏伏伍;王金海;彭可揮;杜常清
• 申請（專利權）人: 武漢理工大學
• 主分類號: B60W20/11
• 分類號: B60W20/11;B60W20/15;G06Q10/06;G06F9/54;G06N20/00;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 胡琦旖

1.基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，包括以下步驟：

步驟1、獲取混合動力汽車的狀態需求信息；

步驟2、將所述狀態需求信息作為輸入量，基于神經網絡構建回報函數；

步驟3、基于所述回報函數，構建分布式深度確定性策略梯度控制器；

步驟4、訓練所述分布式深度確定性策略梯度控制器，獲得穩定狀態下的控制動作參數；

步驟5、通過訓練好的分布式深度確定性策略梯度控制器執行能量管理策略。

2.根據權利要求1所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述狀態需求信息包括：車輛狀態信息、駕駛員需求信息；

所述車輛狀態信息包括：電池荷電狀態、發動機燃油消耗；

所述駕駛員需求信息包括：車輛轉矩需求；所述車輛轉矩需求包括：發動機輸出轉矩。

3.根據權利要求2所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述回報函數表示為：

其中，R_t表示回報函數，m_f表示發動機瞬時燃油消耗的實際值，m_f,min表示瞬時發動機燃油消耗的非零最小值，δ表示SOC平衡加權因子，SOC表示電池剩余SOC值，SOC_init表示電池SOC的初始值。

4.根據權利要求3所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述SOC平衡加權因子δ表示為：

其中，α表示加權因子的指數項。

5.根據權利要求4所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述分布式深度確定性策略梯度控制器包括：學習層、控制層、執行層；

所述學習層接收來自駕駛員的所述駕駛員需求信息和來自所述執行層的所述車輛狀態信息，執行深度確定性策略梯度算法，評估當前時刻控制策略的價值，與實際得到的回報進行對比，優化控制動作參數，將更新后的控制動作參數發送至所述控制層；

所述控制層基于所述控制動作參數，通過基于規則的控制策略進行功率分配控制，調節電池荷電狀態在預設合理范圍內，得到動力總成控制參數，并將所述動力總成控制參數發送至所述執行層；

所述執行層根據所述動力總成控制參數，選擇驅動模式、變速器擋位，傳遞動力至動力傳動系統。

6.根據權利要求5所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述學習層包括：狀態感知模塊、動作執行模塊、回報評價模塊、深度確定性策略梯度模塊；

所述深度確定性策略梯度模塊分別與所述狀態感知模塊、所述動作執行模塊、所述回報評價模塊連接；所述狀態感知模塊與所述動作執行模塊連接。

7.根據權利要求6所述的基于分布式深度確定性策略梯度的HEV能量管理方法，其特征在于，所述狀態感知模塊接收所述車輛狀態信息、所述駕駛員需求信息，并得到車輛系統當前時刻的狀態；將所述車輛系統當前時刻的狀態傳遞到所述深度確定性策略梯度模塊和所述動作執行模塊；

所述動作執行模塊根據所述車輛系統當前時刻的狀態選擇控制動作參數，并將所述控制動作參數分別發送至所述深度確定性策略梯度模塊、所述控制層；

所述回報評價模塊接收動作被執行后的車輛狀態信息，并根據所述回報函數對執行后的車輛狀態信息進行評估，得到回報變量信息，并將所述回報變量信息發送至所述深度確定性策略梯度模塊；

所述深度確定性策略梯度模塊接收所述車輛系統當前時刻的狀態、所述控制動作參數、所述回報變量信息，執行深度確定性策略梯度算法，優化所述控制動作參數，并將更新后的控制動作參數傳遞給所述動作執行模塊。