[發明專利]一種虛擬環境中基于仿真學習的無人車智能訓練方法

有效

• 申請號: 202010415581.0
• 申請日: 2020-05-16
• 公開（公告）號: CN111581887B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王華;孟潁輝;張旭;馬亞丹;韓麗;張靜;張偉偉;徐盛;金保華
• 申請（專利權）人: 鄭州輕工業大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/0455;G06N3/0475;G06N3/092;G06N3/006;G09B9/04
• 代理公司: 廣東君龍律師事務所 44470
• 代理人: 金永剛

1.一種虛擬環境中基于仿真學習的無人車智能訓練方法，其特征在于，包括以下步驟：

步驟1.搭建虛擬場景；

步驟2.建立無人車輛運動模型；

步驟3.根據步驟2中的無人車輛運動模型在步驟1搭建的虛擬場景中進行仿真，獲得無人車輛的動作信息作為仿真數據集；所述的仿真數據集包括有環境信息和無人車輛駕駛動作；

步驟4.對仿真數據集進行壓縮編碼和計算獲得低維仿真數據集；采用變分自編碼器對環境信息進行壓縮編碼，獲得壓縮信息，采用MDN-RNN模型計算壓縮信息，得出環境信息上下文關系，由壓縮信息和環境信息上下文關系共同構成低維仿真數據集；

步驟5.對低維仿真數據集進行擬合獲得擬合值；使用最小二乘法對低維仿真數據集進行擬合獲得擬合值；

步驟6.將擬合值輸入到CMA-ES算法中進行強化學習訓練，獲得最優種群個體；將所述擬合值替換原始CMA-ES算法中的初始種群，通過CMA-ES算法獲得最優種群個體；

步驟7.將最優種群個體和低維仿真數據集輸入到神經網絡中，得出駕駛行為；將最優種群個體和低維仿真數據集輸入到神經網絡，神經網絡生成駕駛行為反饋給CMA-ES算法，CMA-ES算法更新參數生成新的最優種群個體到神經網絡中，直到神經網絡得出駕駛優秀的駕駛行為；所述的CMA-ES算法更新參數包括有均值的更新、協方差矩陣的更新和步長的更新。

2.根據權利要求1所述的虛擬環境中基于仿真學習的無人車智能訓練方法，其特征在于：所述步驟1中的虛擬場景包括有自然環境、道路環境、車輛模型和路網語義。

3.根據權利要求1所述的虛擬環境中基于仿真學習的無人車智能訓練方法，其特征在于：所述步驟3中的動作信息包括有加速、勻速、減速、左轉、右轉和停止。

4.根據權利要求1所述的虛擬環境中基于仿真學習的無人車智能訓練方法，其特征在于：所述的神經網絡的輸入層為200維-400維、隱藏層為200維-400維、輸出層為2維-5維。