[發明專利]好奇心驅動的混合動力系統深度強化學習能量管理方法

在審

• 申請號: 202011451706.1
• 申請日: 2020-12-10
• 公開（公告）號: CN112765723A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 周健豪;薛源;李超雄;徐達;趙萬忠
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06F30/15
• 分類號: G06F30/15;G06F30/27;G06N3/04;G06N3/08;G06F119/14
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

1.好奇心驅動的混合動力系統深度強化學習能量管理方法，其特征在于，包括以下步驟：

步驟1：建立混聯式混合動力汽車模型；

步驟2：建立基于好奇心驅動的A3C代理模型；

步驟3：設置基于好奇心驅動的A3C代理模型的狀態、動作和回報，得到設置后的基于好奇心驅動的A3C代理模型；

步驟4：建立與上述基于好奇心驅動的A3C代理模型網絡結構相同的Actor與Critic網絡，同時獲取相關最優訓練數據集，對Actor與Critic網絡單獨進行預訓練，并利用訓練后的Actor與Critic網絡的相關參數對基于好奇心驅動的A3C代理模型進行初始化，得到基于預訓練和好奇心驅動的A3C代理模型；

步驟5：獲取相關訓練數據集，根據獲得的相關訓練數據集對所述基于預訓練和好奇心驅動的A3C代理模型進行訓練，實現對基于預訓練和好奇心驅動的A3C代理模型的微調，得到訓練后的基于預訓練和好奇心驅動的A3C代理模型；

步驟6：使用訓練后的基于預訓練和好奇心驅動的A3C代理模型進行混合動力車輛的能量管理。

2.根據權利要求1所述的好奇心驅動的混合動力系統深度強化學習能量管理方法，其特征在于，步驟1中所述混聯式混合動力汽車模型包括汽車動力學模型、行星齒輪模型、電機模型、電池模型和發動機模型；

所述汽車動力學模型如以下公式所示：

其中，G為混合動力汽車重力，F_f，F_w，F_i，F_a分別為汽車的滾動阻力，空氣阻力，坡度阻力和加速阻力，R為車輪半徑，f滾動阻力系數，ρ為空氣密度，A_f為迎風面積，v為汽車縱向車速，i為坡度阻力系數，m為汽車質量，a為汽車加速度；

所述行星齒輪模型如以下公式所示：

n_g+k·n_out＝(1+k)·n_e

T_g:T_out:T_e＝1:k:-(k+1)

其中，其中n_g是ISG電機轉速；k是行星齒輪參數，即齒圈齒數與太陽輪齒數的比值；n_out是傳動軸轉速；n_e是發動機轉速；T_g、T_e分別是ISG電機轉矩和發動機扭矩；

所述電機模型如以下公式所示：

其中，P_m(t)為電機的功率，T_m(t)為電機的轉矩，n_m(t)為電機的轉速，η_m為電機的效率；

所述電池模型如以下公式所示：

其中，P_batt(t)是電池功率，V_oc(t)是電池開路電壓，R_in(t)是電池內部電阻，I(t)為電池電流，SOC為電池荷電狀態，Q_max為電池標稱容量。

所述發動機模型如以下公式所示：

其中，為發動機瞬時油耗率，T_e(t)為發動機轉矩，n_e(t)為發動機轉速。

3.根據權利要求1所述的好奇心驅動的混合動力系統深度強化學習能量管理方法，其特征在于，步驟2中所述基于好奇心驅動的A3C代理模型包括：全局神經網絡與局部神經網絡；所述全局神經網絡與局部神經網絡的結構一致，均包含一個Actor網絡和一個Critic網絡。