[發明專利]一種基于A3C-SRU的智能車匯入車流方法及系統

在審

• 申請號: 202010193244.1
• 申請日: 2020-03-18
• 公開（公告）號: CN111625989A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 杜煜;吳思凡;徐世杰;鹿鑫
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08;G08G1/01;G08G1/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于A3C?SRU的智能車匯入車流方法及系統，實施方法包括下述步驟：步驟一：由數碼攝像頭、多線激光雷達、毫米波雷達、gps定位系統等裝置采取環境參數和車輛參數。步驟二：根據步驟一中提取的環境參數和車輛參數利用仿真軟件搭建仿真環境平臺。步驟三：根據步驟二中的仿真環境設置強化學習算法的參數以及約束條件。步驟四：根據步驟二搭建的仿真環境利用A3C?SRU算法訓練，以獲得匯入車流場景的決策。步驟五：根據步驟四中的模型獲得步驟二中的獲得步驟二中的最優動作序列，保存訓練后的模型，并將模型輸入到智能車，實現匯入車流任務。本發明基于A3C?SRU的智能車匯入車流算法根據步驟一到步驟五的設置，能夠有效的實現實時地匯入車流任務。

技術領域

本發明公開了一種基于A3C-SRU的智能車匯入車流算法及系統，屬于自動駕駛領域。

技術背景

在無人駕駛車的整個決策系統中，匯入車流問題一直是一個難點問題，同時也是一 個不得不解決的關鍵問題，對于人類駕駛員而言，大約20％的交通事故都發生在匝道口，匯 入車流主要需要考慮在復雜的交通匯流場景中，主路車流量的情況，以及在交叉路口周圍環 境發生的變化，通常情況下，一個匯入行為涉及到一系列復雜的決策行為，在匯入過程中的 決策行為往往會對交通流量效率和匯入的安全性產生極大的影響。但如今面對匯入車流場景 時，無人車決策系統并不能智能地匯入到主路車流中，無人駕駛系統面對復雜的環境場景時 還不能給出一個完善的匯入車流策略解決辦法，目前智能車對復雜環境場景的處理情況研究 還處于起步階段，如何讓智能車的行為決策像機動車駕駛員的決策行為一樣，學習周圍復雜 環境、采取適當決策并及時做出控制一直是研究的重點問題。

目前現有技術包括公開的專利主要采用的匯入車流方法有車輛協同控制方法、車輛 匯入引導方法、基于碰撞時間(Time-to-Collision)模型的匯入方法和基于機器學習的匯入 車流方法等方法。然而采用車輛協同控制方法和車輛匯入引導方法匯入車流雖然能達到高效 的匯入效果，但很明顯需要消耗大量的外界力量與資源，不能自主學習適應外界多變的環境。 而傳統的匯入車流方法和基于機器學習的匯入車流方法通常來說采用保守的匯入策略，且不 能有效地預測將來即將發生的變化，同時，不能很好地與代理環境進行交互。目前無人駕駛 汽車的決策水平總體來說還不能完全達到人類駕駛員的決策水平，人類駕駛員的決策能力通 過長時間不斷的學習從而達到趨于成熟的決策，而強化學習是目前最接近人類學習方式的算 法，將強化學習與匯入車流場景相結合將有效增加無人駕駛技術水平。

目前提出的強化學習的匯入車流方法主要基于簡單環境場景下的匯入車流任務，當 前強化學習匯入車流算法應用于復雜場景下收斂速度和訓練時間會大量增加，且根據當前的 強化學習算法設計，應用在復雜場景下匯入效果并不理想，綜合考慮以上因素，迫切需要提 出一種在復雜環境下的新的強化學習算法，改進現有方案的不足。因此研究基于A3C-SRU的 智能車匯入車流算法具有重要的理論和現實意義。

發明內容

針對現有技術的不足，本發明的目的是提供一種基于A3C-SRU的智能車匯入車流算法 及系統，目的在于解決智能車在多復雜環境中的匯入車流問題，同時，在現有算法的基礎上 實現更好的匯入性能，并有效縮短訓練時間。

為實現上述目的，本發明提供如下技術方案：一種基于A3C-SRU智能車匯入車流算法， 包括如下步驟：

步驟一，由數碼攝像頭、多線激光雷達、毫米波雷達、gps定位系統等裝置采取環境參數和車輛參數。

步驟二，根據步驟一中提取的環境參數和車輛參數利用仿真軟件搭建仿真環境平臺。

步驟三，根據步驟二中的仿真環境設置匯入車流的約束條件及強化學習算法的參數。

步驟四，根據步驟二搭建的仿真環境利用深度強化學習A3C-SRU算法進行多回合訓 練，以獲得匯入車輛的決策過程。