[發明專利]基于分層強化學習的并聯式混合動力汽車能量管理方法

在審

• 申請號: 202111440591.0
• 申請日: 2021-11-30
• 公開（公告）號: CN113997926A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 肖峰;齊春陽
• 申請（專利權）人: 江蘇浩峰汽車附件有限公司
• 主分類號: B60W20/15
• 分類號: B60W20/15;B60W10/06;B60W10/26;B60W50/00
• 代理公司: 常州國洸專利代理事務所(普通合伙) 32467
• 代理人: 沈泓

本發明公開了一種基于分層強化學習的并聯式混合動力汽車能量管理方法，其特征在于，包括：S1：建立并聯式汽車的仿真模型；S2：構建能量管理控制模型以及獎勵函數；S3：構建分層強化學習算法的網絡結構；S4：對分層強化學習算法進行訓練更新；S5：基于汽車實際行駛中影響能量管理的參數以及訓練后的分層強化學習算法，進行并聯式混合動力汽車不同工況下的能量管理。本發明使得車輛更有效地尋找到燃油最低的探索方式，解決了強化學習智能體面對各個工況時出現reward稀疏的問題，同時提高了強化學習算法的收斂速度。

技術領域

本發明屬于混合動力汽車控制技術領域，尤其涉及基于分層強化學習的并聯式混合動力汽車能量管理方法。

背景技術

為節約資源，減輕環境污染，實現節能減排，混合動力汽車成為當今汽車工業發展的重要方向之一，作為混合動力汽車的關鍵控制技術，能量管理策略直接影響了汽車的燃油經濟性，成為了混合動力系統的研究重點。

近年來，對混合動力汽車能量管理策略的研究，主要可分為兩類。一類是基于規則的控制算法，如基于邏輯門限和模糊邏輯控制算法，基于規則的控制算法邏輯清晰、計算迅速，但優化效果有限。另一類是基于最優化理論的控制算法，有基于全局優化的動態規劃算法和龐特里亞金極小值原理，也有基于實時優化的等效燃油消耗最小算法和模型預測控制算法等。全局優化算法優化雖然效果顯著，但計算量較大，且需預知路況，難以寫入混合動力控制器進行實車應用；實時優化算法能夠在行車過程中進行實時計算，但優化效果仍有較大提升空間。

而隨著強化學習的發展，應用強化學習進行能量管理控制也逐漸成為熱門研究方向。例如CN108427985B、CN112026744A等均公開了強化學習在混合動力汽車能量管理中的應用，但是現有的強化學習智能體(agent)面對各個工況時，容易出現獎勵值稀疏的問題。

發明內容

為解決現有的技術問題，本發明提供一種基于分層強化學習的并聯式混合動力汽車能量管理方法，使得車輛更有效地尋找到燃油最低的探索方式，解決了強化學習智能體面對各個工況時出現reward稀疏的問題，同時提高了強化學習算法的收斂速度。

本發明中主要采用的技術方案為：

一種基于分層強化學習的并聯式混合動力汽車能量管理方法，包括：

S1：建立并聯式汽車的仿真模型；

S2：以車輛模型本身為環境，以發動機轉速、發動機轉矩和電池soc值為狀態值，車輛發動機功率為執行動作構建能量管理控制模型以及獎勵函數；

S3：根據能量管理控制模型以及獎勵函數構建分層強化學習算法的網絡結構，所述獎勵函數包括內部獎勵層和外部獎勵層，外部獎勵層將連續的工況離散化形成若干子目標，內部獎勵層根據離散化后的子目標對獎勵函數進行填充利用分層強化學習算法分配發動機和電池的需求功率，從而進行能量管理控制；

S4：對分層強化學習算法進行訓練更新；

S5：基于汽車實際行駛中影響能量管理的參數以及訓練后的分層強化學習算法，進行并聯式混合動力汽車不同工況下的能量管理。

優選地，所述步驟S1中并聯式汽車的仿真模型包括動力總成模型、發動機燃油消耗模型、電機模型、電池組模型和電池SOC計算模型；

其中，車輛行駛時受到車輛的驅動力F_f和行駛阻力，行駛阻力包括滾動阻力F_f，空氣阻力F_w，坡度阻力F_i，和加速阻力F_j，所述動力總成模型具體如下：