[發明專利]一種燃料電池汽車多信號燈車速規劃方法

有效

• 申請號: 202110550474.3
• 申請日: 2021-05-20
• 公開（公告）號: CN112989715B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 孫超;劉波;孫逢春;任強;周飛鯤
• 申請（專利權）人: 北京理工大學;廣州汽車集團股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 宋紅賓

1.一種燃料電池汽車多信號燈車速規劃方法，其特征在于，包括以下步驟：

S1.構建包含個交通信號燈的深度強化學習DRL訓練場景，建立燃料電池汽車FCV訓練模型和交通信號燈模型；

步驟S1中所述的燃料電池汽車FCV訓練模型采用不考慮動力傳動部件的質點模型；交通信號燈模型包括信號燈位置模型和信號燈相位時序SPaT模型；

交通信號燈位置模型采用可變信號燈位置，如下所示：

其中，表示第個信號燈的位置；表示信號燈位置的容許變化量，表示理想信號燈間距；表示理想信號燈位置，如下所示：

交通信號燈SPaT模型使用和表示信號燈相位和時序信息，如下所示：

其中，和分別表示交通信號的紅燈持續時間和綠燈持續時間；表示交通信號的狀態，表示紅燈，表示綠燈；表示與時間對應的信號周期內時間，如下所示：

一旦信號燈位于車輛后方，其SPaT信息會被重置并且鎖定，如下所示：

S2.定義多信號燈訓練DRL環境的狀態空間、動作空間和獎勵函數；

S3.在訓練環境中對DRL網絡進行訓練，得到與對應的訓練好的DRL車速規劃模型DRL-L；

S4.將訓練好的DRL-L模型應用到復雜的測試場景，得到全局經濟車速；包括以下子步驟：

S41.根據測試場景中信號燈的分布情況按需引入虛擬信號燈，對測試場景進行重構；具體如下所示：

設測試場景信號燈數量為，按照訓練場景中信號燈和路段一一對應的分布關系，得到測試場景中的理想信號燈數量；如果，則在信號燈缺失的路段上引入虛擬信號燈；

虛擬信號燈的信號狀態一直保持綠燈，且虛擬信號燈的位置位于相應路段的中心；

步驟S42中所述的按照訓練場景的尺度，在測試場景中滾動應用訓練好的DRL-L模型，具體如下所示：

計算和的大小關系：

在測試場景中滾動前進，將訓練好的DRL-L模型應用次；然后判斷是否為0，如果，則在最后個信號燈前引入個虛擬信號燈，并再次應用訓練好的DRL-L模型；

每一次模型應用后的環境終端狀態應作為下一次應用時的環境初始狀態；

S42.按照訓練場景的尺度，在測試場景中滾動應用訓練好的DRL-L模型；

S43.將DRL模型的輸出組合到一起，得到完整的車速規劃結果；

S5.建立FCV動力傳動系統模型，在電量維持模式下利用動態規劃算法DP計算測試場景下全局車速規劃結果的氫耗，并比較不同對應的DRL-L模型性能。

2.根據權利要求1所述的一種燃料電池汽車多信號燈車速規劃方法，其特征在于：步驟S2中所述的多信號燈訓練DRL環境的狀態空間、動作空間和獎勵函數具體分別為：

狀態空間包含FCV和交通信號燈的相關信息，如下所示：

其中，表示車速；表示信號燈位置與車輛位置的差值，的長度均為；

動作空間包含FCV的加速度，如下所示：

獎勵函數，如下所示：

其中，與車輛預計是否闖紅燈的行為有關；與車輛是否闖紅燈有關；分別和車輛的速度、加速度和沖擊度有關。

3.根據權利要求1所述的一種燃料電池汽車多信號燈車速規劃方法，其特征在于：步驟S3中所述的在訓練環境中對DRL網絡進行訓練，包括以下子步驟：

S31.初始化DRL網絡、經驗池和隨機探索噪聲；

S32.根據當前狀態和隨機探索噪聲選擇動作，并將相關經驗添加到經驗池；

S33.從經驗池中選取長度為的小批量數據，進行DRL網絡參數更新；

S34.重復進行S32和S33，直至達到收斂條件。

4.根據權利要求3所述的一種燃料電池汽車多信號燈車速規劃方法，其特征在于：步驟S31中所述的DRL網絡和隨機探索噪聲，具體如下所示：

DRL網絡包含actor網絡和critic網絡以及相對應的目標網絡和；DRL網絡均包含1個輸入層、2個隱藏層和1個輸出層；其中，actor網絡及其目標網絡的輸入是狀態，輸出是動作；critic網絡及其目標網絡的輸入是狀態和動作，輸出是動作價值；

隨機探索噪聲選取Ornstein-Uhlenbeck噪聲或者高斯噪聲。