[發明專利]一種基于車輛行駛仿真數據的深度強化測試方法和系統

有效

• 申請號: 201910814500.1
• 申請日: 2019-08-30
• 公開（公告）號: CN110516380B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 董舒
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/0464;G06N3/06;G06N3/084
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

1.一種基于車輛行駛仿真數據的深度強化測試方法，其特征在于：包括以下步驟，

仿真軟件模塊(100)輸出車輛行駛仿真數據；

所述車輛行駛仿真數據圖像輸入轉換模塊(200)中轉換成符合道路情況的實際數據；

信息處理模塊(300)接收所述實際數據進行識別并處理為詳細數據，具體包括：

將天氣信息、路面信息和信號燈信息使用CNN網絡框架處理；

指示牌信息使用NLP、ORC框架處理；

行人車輛信息和障礙物信息使用yolo?v3框架識別；

所述詳細數據輸入深度強化學習模塊(400)內進行訓練學習，通過反饋的Reward自動調整網絡參數。

2.如權利要求1所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：所述深度強化學習模塊(400)包括數據輸入層、卷積計算層、激勵層、池化層和全連接層。

3.如權利要求2所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：其中，

所述數據輸入層包括去均值、歸一化和PCA/白化；

所述卷積計算層通過局部關聯、固定神經元連接權重、估計權重個數減少和固定的權重和不同窗口內數據做內積的特點，實現對輸入數據的局部特征提取和處理；

所述激勵層把卷積計算層輸出結果做非線性映射；

所述池化層在連續的卷積計算層中間，壓縮數據和參數的量減少過擬合；

所述全連接層將所有的神經元都設置成相應的權重，并進行連接。

4.如權利要求3所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：所述卷積計算層的計算過程包括，

對輸入層進行卷積運算，通過特定的濾波器與前一層特征圖進行卷積運算，在濾波器后分別加一個偏置，通過激活函數得到這一層的特征圖作為輸出，計算過程用如下公式：

式中，k代表卷積核，l是層數，M_j代表第j個特征圖，i代表M_j中的第i個特征，b代表偏置項。

5.如權利要求4所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：所述池化層的計算過程包括，

在進行完卷積過程之后，對每個特征圖進行下采樣，首先是對特征圖中特定的鄰域進行加權求和運算，然后通過激勵函數得到輸出，下采樣的計算公式如下：

其中，表示池化層的可訓練參數，稱為池化層的權重。

6.如權利要求5所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：所述深度強化學習模塊(400)包括前向傳播階段和反向傳播階段，其中所述前向傳播階段包括，

使用最小平方誤差函數表示實際輸出Oⁿ與目標輸出Pⁿ的誤差Eⁿ，前向傳播過程的損失函數如下：

在訓練過程中，全部訓練樣本誤差是每個訓練樣本之和，上式表示第n個樣本的誤差。

7.如權利要求6所述的基于車輛行駛仿真數據的深度強化測試方法，其特征在于：所述反向傳播階段，基的靈敏度概念表示誤差對基b的變化率，代表方向傳播得到的誤差，如下式：

對每個神經元使用δ規則進行權值更新，即使用δ規則對神經元的輸入進行縮放，如下式：

卷積神經網絡中特征圖共享偏置，通過將該層第j個特征圖的誤差相加更新偏置。

8.一種基于車輛行駛仿真數據的深度強化測試系統，其特征在于：包括仿真軟件模塊(100)、轉換模塊(200)、信息處理模塊(300)和深度強化學習模塊(400)，

所述仿真軟件模塊(100)用于輸出車輛行駛仿真數據；

所述轉換模塊(200)用于將所述車輛行駛仿真數據圖像轉換成符合道路情況的實際數據；

信息處理模塊(300)接收所述實際數據進行識別并處理為詳細數據，具體包括：

將天氣信息、路面信息和信號燈信息使用CNN網絡框架處理；

指示牌信息使用NLP、ORC框架處理；

行人車輛信息和障礙物信息使用yolo?v3框架識別；

所述詳細數據輸入深度強化學習模塊(400)內進行訓練學習，通過反饋的Reward自動調整網絡參數。