[發明專利]基于深度強化學習的自動駕駛車輛換道決策系統及方法

在審

• 申請號: 202210443895.0
• 申請日: 2022-04-25
• 公開（公告）號: CN114802248A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 熊明強;譙杰;江萌;劉錚
• 申請（專利權）人: 中汽院智能網聯科技有限公司;中國汽車工程研究院股份有限公司
• 主分類號: B60W30/18
• 分類號: B60W30/18;B60W50/00;B60W60/00
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 范淑萍

本發明涉及自動駕駛控制技術領域，公開了一種基于深度強化學習的自動駕駛車輛換道決策系統及方法，包括處理器模塊，以及分別與處理器模塊連接的數據采集模塊、數據分析模塊和換道策略模塊，利用對采集到的目標車輛的數據信息，以及采集目標車輛附近的干擾車輛的運行數據進行分析，得到當前目標車輛的安全自動換道策略，實現快速安全地完成車道變更。本發明具有提高自動駕駛車輛自動換道策略的準確性，保證車輛在換道過程中的安全性，減少道路擁擠情況和碰撞事故的發生的有益效果。

技術領域

本發明涉及自動駕駛控制技術領域，具體涉及一種基于深度強化學習的自動駕駛車輛換道決策系統及方法。

背景技術

近年來，世界范圍內對自動駕駛格外關注，被認為是緩解交通擁堵，減少交通事故和環境污染的重要技術，目前一些自動駕駛已經進行了大規模的道路測試，比如谷歌自動駕駛和蘋果自動駕駛。據研究，在當前的交通事故中，有超過30％的道路事故是不合理的換道行為引起的，因此，針對智能輔助駕駛技術中的變道輔助技術的研究顯得尤為重要，而現階段主流的基于規則算法都面臨著數據量不足導致模型無法完全應對自動駕駛車輛在換道過程中的場景無限化問題，造成換道失敗或者影響換道過程中的安全性。

現有技術中，有一種基于分層強化學習的自動駕駛車輛換道決策控制方法，屬于自動駕駛控制技術領域。解決了現有自動駕駛過程中存在安全性差/效率低的問題。本發明利用自動駕駛車輛實際駕駛場景中的速度及與周邊環境內車輛的相對位置、相對速度信息建立帶有3個隱含層的決策神經網絡，并利用換道安全獎勵函數對所述決策神經網絡進行訓練擬合Q估值函數，獲取Q估值最大的動作；利用自動駕駛車輛的實際駕駛場景中的速度和周邊環境車輛的相對位置信息與跟馳或換道動作對應的獎勵函數，建立深度Q學習的加速度決策模型，獲得換道或跟馳加速度信息，當換道時，采用5次多項式曲線生成一條參考換道軌跡。本發明適用于自動駕駛換道決策及控制。

雖然該方案能夠針對換道進行模擬訓練，并且針對場景和周邊環境進行獎勵函數的確定，保證對自動駕駛換道的訓練成果，但是其針對具體的換道場景仍然存在數據量不足、換道場景受限的問題，最終導致其換道的準確率和安全性過低。

發明內容

本發明意在提供一種基于深度強化學習的自動駕駛車輛換道決策系統及方法，以提高自動駕駛車輛換道策略的準確率，保證換道安全。

為達到上述目的，本發明采用如下技術方案：基于深度強化學習的自動駕駛車輛換道決策系統，包括處理器模塊，以及分別與處理器模塊連接的數據采集模塊、數據分析模塊和換道策略模塊；

數據采集模塊，用于采集目標車輛的數據信息，以及采集目標車輛附近的干擾車輛的運行數據，然后形成第一數據集合并將第一數據集合發送至數據分析模塊；

數據分析模塊，用于對第一數據集合進行分析處理，并得到自動駕駛車輛的換道場景以及換道數據；

換道策略模塊，用于根據得到的換道場景和換道數據生成第一換道策略，并將第一換道策略發送至處理器模塊；

處理器模塊，包括數據存儲單元和換道執行單元，所述數據存儲單元，用于存儲第一換道策略；所述換道執行單元，用于根據所述第一換道策略得到基于規則的換道軌跡執行模型并控制自動駕駛車輛進行車道變更。

本方案的原理及優點是：實際應用時，基于規則換道模型的基礎上使用深度強化學習方法對換道模型進行訓練和嘗試，利用Actor-Critic算法對自動駕駛車輛的換道策略進行不斷優化，使自動駕駛汽車能夠準確應對換道過程中的場景無限化問題，從而提高自動駕駛車輛自動換道策略的準確性，保證車輛在換道過程中的安全性，減少道路擁擠情況和碰撞事故的發生。相比于現有技術，本發明的優點在于建立的深度學習模型能夠對自動駕駛技術的換道策略進行更全面準確的測試，指導自動駕駛車輛快速安全地完成車道變更，得到的換道軌跡能夠適用于自動駕駛車輛換道的場景，使車輛可以在有限的數據量條件下對新的交通場景做出正確合理的反應，保障駕駛安全。