[發明專利]基于DQN神經網絡和高精度定位的駕駛行為優化方法

在審

• 申請號: 202010043096.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111275249A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 張彥君;白勍;王成俊
• 申請（專利權）人: 吉利汽車研究院（寧波）有限公司;浙江吉利控股集團有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 周禮濤

本發明提供了一種基于DQN神經網絡和高精度定位的駕駛行為優化方法，包括以下步驟：獲取無人車駕駛時觀測環境所得到的數據；對獲取的所述數據進行預處理，以過濾所述數據中與車輛駕駛行為無關的噪音；基于DQN神經網絡，對預處理后的一部分所述數據利用卷積神經網絡進行處理，處理后同另一部分所述數據使用全連接網絡進行拼接，以確定所述DQN神經網絡架構；根據確定的所述DQN神經網絡進行所述DQN神經網絡訓練和計算，得出車輛的目標獎勵懲罰值，選取所述目標獎勵懲罰值最大的動作并執行。本發明的駕駛行為優化方法，采用DQN神經網絡學習得出的目標獎勵懲罰值最大的動作并執行，能夠最大化地提高車輛行駛的安全性的舒適性。

技術領域

本發明涉及無人駕駛技術領域，特別是涉及一種基于DQN(Deep Q Network的簡稱，中文名稱：深度強化學習網路)神經網絡和高精度定位的駕駛行為優化方法。

背景技術

隨著汽車工業的發展和人民生活水平的提高，汽車的保有量呈現出逐年上漲的趨勢。汽車給人們出行帶來極大便利的同時，交通事故的發生也是不斷的攀升。而導致交通事故的罪魁禍首就是駕駛員自己的駕駛行為，例如彎道超車、變道不打轉向燈、見縫插針、行車安全車距保持不夠、疲勞駕駛等等。可見，駕駛行為的研究對于汽車的安全性起著至關重要的作用。

從被動安全到主動安全再到智能網聯無人駕駛的技術發展中，汽車行駛的安全性得到了長足的發展。在無人駕駛的技術中，攝像頭和激光雷達取代了人眼，機器學習和神經網絡則取代了人的大腦。

現有的無人駕駛技術中，一般采用傳統的安全自動駕駛框架(感知、規劃和控制)，無法擁有獨立自主的學習道路行駛的能力，很多駕駛行為評估僅僅使用幾個關鍵的車輛行駛參數(例如速度、加速、制動和轉彎等)作為算法的輸入，不能根據天氣、道路情況等不同行駛環境采用不同的形式策略。而且現有的無人駕駛技術中，主要側重于提高車輛行駛的平均速度、縮短行車的平均行駛時間和行駛里程或者采用最暢通最省時的路徑等等，而無法最大化的提高車輛行駛的安全性和舒適性。并且車輛環境距離感知的精度只能達到米級別，無法滿足無人駕駛業務的進一步需求。

發明內容

本發明的一個目的是要提供一種基于DQN神經網絡和高精度定位的駕駛行為優化方法，無人車將直接采用DQN神經網絡學習得出的目標獎勵懲罰值最大的動作并執行，該駕駛行為優化方法評價駕駛行為的數據來源多樣且全面，車輛環境距離感知的精度能夠達到厘米級別，最大化地提高車輛行駛的安全性的舒適性。

特別地，本發明提供了一種基于DQN神經網絡和高精度定位的駕駛行為優化方法，包括以下步驟：

獲取無人車駕駛時觀測環境所得到的數據，所述數據至少包括：攝像頭圖像和高精度定位數據；

對獲取的所述數據進行預處理，以過濾所述數據中與車輛駕駛行為無關的噪音；

基于DQN神經網絡，對預處理后的一部分所述數據利用卷積神經網絡進行處理，處理后同另一部分所述數據使用全連接網絡進行拼接，以確定所述DQN神經網絡架構；

根據確定的所述DQN神經網絡進行所述DQN神經網絡訓練和計算，得出車輛的目標獎勵懲罰值，選取所述目標獎勵懲罰值最大的動作并執行。

進一步地，所述數據還包括：CAN總線數據、激光雷達采集的視屏和點云數據以及地圖API提供的天氣和交通信息的數據。

進一步地，所述高精度定位數據由全球定位系統、慣性測量單元和載波相位差分技術相結合得出。

進一步地，所述的基于DQN神經網絡，對預處理后的一部分所述數據利用卷積神經網絡進行處理，處理后同另一部分所述數據使用全連接網絡進行拼接，以確定所述DQN神經網絡架構的步驟包括：

將預處理后的攝像頭圖像處理成數據矩陣作為一個輸入層，以適配所述卷積神經網絡的輸入要求；