[發明專利]一種基于車輛行駛仿真數據的深度強化測試方法和系統

有效

• 申請號: 201910814500.1
• 申請日: 2019-08-30
• 公開（公告）號: CN110516380B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 董舒
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/0464;G06N3/06;G06N3/084
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于車輛行駛仿真數據的深度強化測試方法和系統，包括以下步驟，仿真軟件模塊輸出車輛行駛仿真數據；所述車輛行駛仿真數據圖像輸入轉換模塊中轉換成符合道路情況的實際數據；信息處理模塊接收所述實際數據進行識別并處理為詳細數據；所述詳細數據輸入深度強化學習模塊內進行訓練學習，通過反饋的Reward自動調整網絡參數。本發明的有益效果：使用基于仿真的數據，能夠使得深度強化學習獲取大量的訓練資源，能夠實現較低的成本。

技術領域

本發明涉及汽車輔助駕駛/自動駕駛的技術領域，尤其涉及一種基于車輛行駛仿真數據的深度強化學習訓練方法及其系統。

背景技術

近年來隨著人工智能的發展，汽車的輔助駕駛逐漸成為未來的研究方向，其對于汽車行業甚至是交通運輸業有著深遠的影響。可靠的輔助駕駛技術在汽車領域的應用，能夠提高汽車出行領域的安全性，降低發生交通事故發生的頻率，保證了行人、乘客、司機的安全。隨著人工智能的深度發展，以及視覺識別、雷達探測等核心檢測技術的不斷突破，使得人工智能技術在汽車的無人駕駛方面得到越來越多的應用，必將大大推動汽車產業的智能化發展。

在未來的汽車智能工業領域，汽車的輔助駕駛/自動駕駛必將作為重中之重得到大力發展。在交通出行方面，通過車輛對道路、行人、指示標志、網絡信息、監控信息等等的識別判斷，可以減少交通事故、提升通行效率，更加合理地規劃出行路線，實現互聯互通，提升社會的整體的效益。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明解決的一個技術問題是：提供一種基于車輛行駛仿真軟件的數據訓練深度強化學習方法，來實現車輛輔助駕駛/自動駕駛的方法，大大減少車輛道路測試的時間以及成本。

為解決上述技術問題，本發明提供如下技術方案：一種基于車輛行駛仿真數據的深度強化測試方法，包括以下步驟，仿真軟件模塊輸出車輛行駛仿真數據；所述車輛行駛仿真數據圖像輸入轉換模塊中轉換成符合道路情況的實際數據；信息處理模塊接收所述實際數據進行識別并處理為詳細數據；所述詳細數據輸入深度強化學習模塊內進行訓練學習，通過反饋的Reward自動調整網絡參數。

作為本發明所述的基于車輛行駛仿真數據的深度強化測試方法的一種優選方案，其中：所述信息處理模塊根據車輛在道路上的行駛數據進行處理，還包括，將天氣信息、路面信息和信號燈信息使用CNN網絡框架處理；指示牌信息使用NLP、ORC框架處理；行人車輛信息和障礙物信息使用yolo?v3框架識別。

作為本發明所述的基于車輛行駛仿真數據的深度強化測試方法的一種優選方案，其中：所述深度強化學習模塊包括數據輸入層、卷積計算層、激勵層、池化層和全連接層。

作為本發明所述的基于車輛行駛仿真數據的深度強化測試方法的一種優選方案，其中：其中所述數據輸入層包括去均值、歸一化和PCA/白化；所述卷積計算層包括局部關聯、固定神經元連接權重、估計權重個數減少和固定的權重和不同窗口內數據做內積；所述激勵層把卷積層輸出結果做非線性映射；所述池化層在連續的卷積層中間，壓縮數據和參數的量減少過擬合；所述全連接層將所有的神經元都有權重連接。

作為本發明所述的基于車輛行駛仿真數據的深度強化測試方法的一種優選方案，其中：所述卷積過程包括，對輸入層進行卷積運算，通過特定的濾波器(卷積核)與前一層特征圖進行卷積運算，在濾波器后分別加一個偏置，通過激活函數得到這一層的特征圖作為輸出，計算過程用如下公式：

式中，K代表卷積核，l是層數，M_j代表第j個特征圖，i代表Mj中的第i個特征，b代表偏置項。