[發明專利]一種基于A3C-SRU的智能車匯入車流方法及系統

在審

• 申請號: 202010193244.1
• 申請日: 2020-03-18
• 公開（公告）號: CN111625989A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 杜煜;吳思凡;徐世杰;鹿鑫
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08;G08G1/01;G08G1/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種基于A3C-SRU的智能車匯入車流方法，其特征在于：該方法包括如下步驟，

步驟一：由數碼攝像頭、多線激光雷達、毫米波雷達、gps定位系統裝置提取環境參數和車輛參數；

步驟二：根據步驟一中提取的環境參數和車輛參數利用仿真軟件搭建仿真環境平臺；

步驟三：在步驟二中的仿真環境平臺中設置匯入車流的約束條件及強化學習方法的參數；

步驟四：根據步驟二搭建的仿真環境利用深度強化學習A3C-SRU算法進行多回合訓練，以獲得匯入車輛的決策過程；

步驟五：根據步驟四中訓練后的決策過程獲得步驟二中的最優動作序列，保存訓練后的模型，并將訓練后的模型輸入到智能車，實現匯入車流任務。

2.根據權利要求1所述的一種基于A3C-SRU的智能車匯入車流方法，其特征在于，所述步驟一中的環境參數和車輛參數包括：環境中的車道的寬度d；環境中主路車道數n；環境中主路的長度L₁以及匯入匝道的長度L₂；環境中主路車輛的限速v_主以及環境中匝道車輛限速v_匝；主路的車流量N、加速度a_c、速度v_c、初速度v_init；車輛的長度c_v和寬度w_c。

3.根據權利要求1所述的一種基于A3C-SRU的智能車匯入車流方法，其特征在于，所述步驟二中具體的環境匯入場景構建如下：

步驟21，利用仿真軟件根據實際場景的車道的寬度d、環境中主路車道數n、環境中主路的長度L₁以及匯入匝道的長度L₂、環境中主路車輛的限速v_主以及環境中匝道車輛限速v_匝搭建實際場景的匯入車流環境；

步驟22，輸入所采集實際場景的主路的車輛量、車輛加速度、車輛速度、初速度、車輛長度和寬度數據；

步驟23，根據步驟21、步驟22代建實際場景仿真平臺，根據實際匯入車輛的設置匯入車輛信息。

4.根據權利要求1或2或3所述的一種基于A3C-SRU的智能車匯入車流方法，其特征在于，匯入車流的約束條件及強化學習算法的參數具體包括四元組空間(s_t,a_t,r_t,s_t+1),其中s_t為當前狀態，a_t為當前狀態所執行的動作值，r_t為當前狀態獲得的獎懲函數值，s_t+1為下一個狀態值；

s_t為強化學習的狀態空間，狀態空間由5元組表示為：

s_t＝(d₁,d₂,v_h,v_t1,v_t2)；

式中，d₁為與匯入車輛相鄰車道相鄰最近的主路的后車距離，d₂為與匯入車輛相鄰車道相鄰最近的主路的前車距離，v_h為匯入車輛的車速，v_t1為與匯入車輛相鄰車道相鄰最近的主路的前車速度，v_t2為與匯入車輛相鄰車道相鄰最近的主路的前車速度。

5.根據權利要求4所述的一種基于A3C-SRU的智能車匯入車流方法，其特征在于，a_t為強化學習的動作空間，動作空間由兩元組表示為：

a_t＝(a_v,w_v)

式中，a_v表示匯入車輛的加速度變化，w_v為匯入車輛方向盤轉角。