[發(fā)明專利]一種基于DQN的車輛自動駕駛路徑規(guī)劃的方法及裝置

有效

• 申請?zhí)枺?/td>: 201910927783.0
• 申請日: 2019-09-27
• 公開（公告）號: CN110646009B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計）人: 王魯晗;王成于;路兆銘;溫向明;傅彬;王剛
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G01C21/34
• 分類號: G01C21/34;G06N3/04;G06N3/08
• 代理公司: 北京智信四方知識產(chǎn)權(quán)代理有限公司 11519
• 代理人: 呂雁葭;宋海龍

本公開實施例公開了一種基于DQN的車輛自動駕駛路徑規(guī)劃的方法及裝置，所述基于DQN的車輛自動駕駛路徑規(guī)劃的方法包括獲取當(dāng)前時刻的車輛位置數(shù)據(jù)以及車輛的預(yù)設(shè)軌跡；根據(jù)所述車輛位置數(shù)據(jù)以及所述預(yù)設(shè)軌跡，利用訓(xùn)練好的DQN模型獲取所述車輛的當(dāng)前期望行駛方向；按照所述當(dāng)前期望行駛方向，控制所述車輛的行駛方向。該技術(shù)方案將深度學(xué)習(xí)引入至強化學(xué)習(xí)，通過設(shè)置即時獎勵與預(yù)設(shè)軌跡進(jìn)行交互，實時輸出當(dāng)前期望行駛方向來控制車輛的行駛方向，提升了循跡算法的精確性和實時性，為自動駕駛路徑規(guī)劃系統(tǒng)提供了可行的解決方案。

技術(shù)領(lǐng)域

本公開涉及自動駕駛技術(shù)領(lǐng)域，具體涉及一種基于DQN的車輛自動駕駛路徑規(guī)劃的方法及裝置。

背景技術(shù)

隨著自動駕駛技術(shù)的發(fā)展，車輛自動駕駛路徑規(guī)劃算法發(fā)揮著整合傳感信息、計算行車路徑的作用，代替人類對路況進(jìn)行判斷，同時對車輛進(jìn)行智能控制，是決定自動駕駛安全性和有效性的關(guān)鍵所在。現(xiàn)有的自動駕駛路徑規(guī)劃算法中，較為常見的算法有Dijkstra、Floyd-Warshall、A*算法、遺傳算法和模擬退火法等，但上述方法所生成的軌跡是否滿足動力學(xué)約束、側(cè)滑約束以及執(zhí)行機構(gòu)約束，即軌跡的可行性仍待驗證。

循跡算法通過預(yù)設(shè)行進(jìn)路線，結(jié)合車輛的定位信息，選擇當(dāng)前位置與循跡路線的最合適路徑并控制車輛行進(jìn)方向，是一種較為精確且實用的路徑規(guī)劃算法。但是現(xiàn)有技術(shù)的循跡算法主要涉及自動駕駛仿真與測試環(huán)境，且基于傳統(tǒng)的循跡點連接方法，側(cè)重于生成車輛的規(guī)劃路徑，而不考慮車輛行駛方向等參數(shù)。因此，在自動駕駛場景的下，自動駕駛車輛如何控制行駛方向，并形成車輛的行駛路線成為亟待解決的問題。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)中的問題，本公開實施例提供一種基于DQN的車輛自動駕駛路徑規(guī)劃的方法及裝置。

第一方面，本公開實施例中提供了一種基于DQN的車輛自動駕駛路徑規(guī)劃的方法。

具體地，所述基于DQN的車輛自動駕駛路徑規(guī)劃的方法，包括：

獲取當(dāng)前時刻的車輛位置數(shù)據(jù)以及車輛的預(yù)設(shè)軌跡；

根據(jù)所述車輛位置數(shù)據(jù)以及所述預(yù)設(shè)軌跡，利用訓(xùn)練好的DQN模型獲取所述車輛的當(dāng)前期望行駛方向；

按照所述當(dāng)前期望行駛方向，控制所述車輛的行駛方向。

可選地，所述根據(jù)所述車輛位置數(shù)據(jù)以及所述預(yù)設(shè)軌跡，利用訓(xùn)練好的DQN模型獲取所述車輛的當(dāng)前期望行駛方向，包括：

根據(jù)所述車輛位置數(shù)據(jù)，獲取所述車輛當(dāng)前狀態(tài)；

根據(jù)所述預(yù)設(shè)軌跡，將所述車輛當(dāng)前狀態(tài)輸入至所述DQN模型，獲取所述車輛預(yù)設(shè)動作集中所有動作對應(yīng)的Q值；

選取所述最大的Q值所對應(yīng)的動作為所述車輛的當(dāng)前期望行駛方向。

可選地，所述基于DQN的車輛自動駕駛路徑規(guī)劃的方法，還包括：

根據(jù)車輛的歷史數(shù)據(jù)以及所述預(yù)設(shè)軌跡，訓(xùn)練所述DQN模型。

可選地，所述根據(jù)車輛的歷史數(shù)據(jù)以及所述預(yù)設(shè)軌跡，訓(xùn)練所述DQN模型，包括：

A：初始化所述DQN模型中當(dāng)前Q網(wǎng)絡(luò)的參數(shù)θ和目標(biāo)Q′網(wǎng)絡(luò)的參數(shù)θ'；

B：根據(jù)所述車輛歷史數(shù)據(jù)中t時刻的狀態(tài)s_t，獲取所述車輛的轉(zhuǎn)移數(shù)據(jù)＜s_t,a_t,r_t,s_t+1＞，其中，a_t代表所述車輛在所述狀態(tài)s_t下執(zhí)行的動作；s_t+1代表所述車輛t+1時刻的狀態(tài)；r_t代表所述車輛在所述狀態(tài)s_t下執(zhí)行所述動作a_t轉(zhuǎn)移到所述狀態(tài)s_t+1時所獲取的即時獎勵；