[發明專利]一種燃料電池汽車多信號燈車速規劃方法

有效

• 申請號: 202110550474.3
• 申請日: 2021-05-20
• 公開（公告）號: CN112989715B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 孫超;劉波;孫逢春;任強;周飛鯤
• 申請（專利權）人: 北京理工大學;廣州汽車集團股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 宋紅賓

本發明公開了一種燃料電池汽車多信號燈車速規劃方法，構建包含個交通信號燈的深度強化學習DRL訓練場景，建立燃料電池汽車FCV訓練模型和交通信號燈模型；定義多信號燈訓練DRL環境的狀態空間、動作空間和獎勵函數；在訓練環境中對DRL網絡進行訓練，得到與對應的訓練好的DRL車速規劃模型DRL?L；將訓練好的DRL?L模型應用到復雜的測試場景，得到全局經濟車速；建立FCV動力傳動系統模型，在電量維持模式下利用動態規劃算法DP計算測試場景下全局車速規劃結果的氫耗，并比較不同對應的DRL?L模型性能。本發明對環境具有很強的自適應能力，具有更低的氫耗和更好的舒適性。

技術領域

本發明涉及經濟車速規劃領域，特別是涉及一種燃料電池汽車多信號燈車速規劃方法。

背景技術

通過共享的實時交通信息和對復雜環境的感知，智能網聯汽車具有超出人類駕駛員的全局規劃和決策能力。利用V2X通訊技術，網聯式燃料電池汽車可以獲取周邊交通基礎設施的未來信息和其他交通參與者的實時信息，從而實現經濟車速規劃。

在交通信號燈環境下，現有的經濟車速規劃方法主要分為基于優化的方法和基于強化學習的方法。基于優化的方法能夠獲得最優或者近似最優的全局解，但是計算代價往往很大；基于強化學習尤其是深度強化學習的方法表現出很好的實時性和良好的性能，但是當前的基于深度強化學習的車速規劃方法在訓練過程中只考慮車輛前方單個交通信號燈的信息，忽略了全局最優性。相比之下，基于前方多個交通信號燈的信息進行決策具有更大的節能潛力。

發明內容

本發明的目的在于彌補現有規劃方法的不足，提出一種燃料電池汽車多信號燈車速規劃方法，該方法對環境具有很強的自適應能力，并且相比于單信號燈訓練深度強化學習車速規劃方法表現出更低的氫耗和更好的舒適性。

為實現上述目的，本發明采用以下技術方案：一種燃料電池汽車多信號燈車速規劃方法，包括以下步驟：

S1.構建包含個交通信號燈的深度強化學習DRL訓練場景，建立燃料電池汽車FCV訓練模型和交通信號燈模型；

S2.定義多信號燈訓練DRL環境的狀態空間、動作空間和獎勵函數；

S3.在訓練環境中對DRL網絡進行訓練，得到與對應的訓練好的DRL車速規劃模型DRL-L；

S4.將訓練好的DRL-L模型應用到復雜的測試場景，得到全局經濟車速；

S5.建立FCV動力傳動系統模型，在電量維持模式下利用動態規劃算法DP計算測試場景下全局車速規劃結果的氫耗，并比較不同對應的DRL-L模型性能。

進一步地，步驟S1中所述的燃料電池汽車FCV訓練模型采用不考慮動力傳動部件的質點模型；交通信號燈模型包括信號燈位置模型和信號燈相位時序SPaT模型；

交通信號燈位置模型采用可變信號燈位置，如下所示：

其中，表示第個信號燈的位置；表示信號燈位置的容許變化量，表示理想信號燈間距；表示理想信號燈位置，如下所示：

交通信號燈SPaT模型使用和表示信號燈相位和時序信息，如下所示：

其中，和分別表示交通信號的紅燈持續時間和綠燈持續時間；表示交通信號的狀態，表示紅燈，表示綠燈；表示與時間對應的信號周期內時間，如下所示：

一旦信號燈位于車輛后方，其SPaT信息會被重置并且鎖定，如下所示：

。

進一步地，步驟S2中所述的多信號燈訓練DRL環境的狀態空間、動作空間和獎勵函數具體分別為：