[發明專利]基于DQN神經網絡和高精度定位的駕駛行為優化方法

在審

• 申請號: 202010043096.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111275249A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 張彥君;白勍;王成俊
• 申請（專利權）人: 吉利汽車研究院（寧波）有限公司;浙江吉利控股集團有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 周禮濤

1.一種基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，包括以下步驟：

獲取無人車駕駛時觀測環境所得到的數據，所述數據至少包括：攝像頭圖像和高精度定位數據；

對獲取的所述數據進行預處理，以過濾所述數據中與車輛駕駛行為無關的噪音；

基于DQN神經網絡，對預處理后的一部分所述數據利用卷積神經網絡進行處理，處理后同另一部分所述數據使用全連接網絡進行拼接，以確定所述DQN神經網絡架構；

根據確定的所述DQN神經網絡進行所述DQN神經網絡訓練和計算，得出車輛的目標獎勵懲罰值，選取所述目標獎勵懲罰值最大的動作并執行。

2.根據權利要求1所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，

所述數據還包括：CAN總線數據、激光雷達采集的視屏和點云數據以及地圖API提供的天氣和交通信息的數據。

3.根據權利要求1所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，

所述高精度定位數據由全球定位系統、慣性測量單元和載波相位差分技術相結合得出。

4.根據權利要求1所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，所述的基于DQN神經網絡，對預處理后的一部分所述數據利用卷積神經網絡進行處理，處理后同另一部分所述數據使用全連接網絡進行拼接，以確定所述DQN神經網絡架構的步驟包括：

將預處理后的攝像頭圖像處理成數據矩陣作為一個輸入層，以適配所述卷積神經網絡的輸入要求；

將預處理后的其他數據組成一維數組作為另一個輸入層；

將兩個輸入層進入全連接神經網絡進行拼接形成全連接層，以確定所述DQN神經網絡架構。

5.根據權利要求1所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，

所述DQN神經網絡包括：訓練網絡和評估網絡，所述訓練網絡用于訓練網絡參數，并將所述網絡參數傳給所述評估網絡，所述評估網絡用于進行車輛的獎勵懲罰值和損失函數的計算，同時根據計算得出的損失函數值更新所述所述網絡參數。

6.根據權利要求5所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，所述的根據確定的所述DQN神經網絡進行所述DQN神經網絡訓練和計算，得出車輛的目標獎勵懲罰值，選取所述目標獎勵懲罰值最大的動作并執行的步驟包括：

獲取所述DQN神經網絡需要的訓練樣本，制作數據集；

確定車輛與道路環境交互的動作集合；

確定DQN神經網絡的損失函數和獎勵懲罰函數；

根據DQN神經網絡計算車輛的目標獎勵懲罰值，選取所述目標獎勵懲罰值最大的動作并執行。

7.根據權利要求6所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，

所述DQN神經網絡中車輛與道路環境之間交互的形式采用馬爾科夫決策過程：MDP＝{S,A,Pr,R,γ}來描述，其中，MDP由元組組成，S為狀態集合，A為動作集合，Pr為狀態轉移概率，R為所述獎勵懲罰函數，γ為衰退系數。

8.根據權利要求7所述的基于DQN神經網絡和高精度定位的駕駛行為優化方法，其特征在于，所述損失函數為：

Loss(θ)＝1/2[R+γmaxq(s’,a’,θ)-q(s,a,θ)]²

其中，θ為DQN神經網絡參數，R為所述獎勵懲罰函數，γ為所述衰退系數，q為某一狀態下的獎勵懲罰值，s和a分別為當前狀態和動作，s’和a’分別為下一個狀態和動作。