[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)和避讓策略的應(yīng)急車輛混合換道決策方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011299719.1
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112406867B
• 公開（公告）日: 2021-12-28
• 發(fā)明（設(shè)計(jì)）人: 胡堅(jiān)明;牛浩懿;裴欣;張毅
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): B60W30/18
• 分類號(hào): B60W30/18;B60W50/00;G06N3/04;G06N3/08
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司 11245
• 代理人: 冀志華

本發(fā)明涉及一種基于強(qiáng)化學(xué)習(xí)和避讓策略的應(yīng)急車輛混合換道決策方法，包括：確定優(yōu)化路段以及待規(guī)劃ICCV和ICEV的執(zhí)行策略；對(duì)待規(guī)劃ICEV的DQN網(wǎng)絡(luò)進(jìn)行初始化；基于待規(guī)劃ICEV及其六個(gè)鄰居車輛的狀態(tài)信息以及其前車的避讓策略執(zhí)行情況，得到DQN網(wǎng)絡(luò)的狀態(tài)空間；基于DQN網(wǎng)絡(luò)的狀態(tài)空間得到輸出值，基于輸出值得到初步?jīng)Q策以及動(dòng)作空間；建立動(dòng)作選擇屏障，對(duì)得到的初步?jīng)Q策進(jìn)行驗(yàn)證和選擇，直到從輸出值或動(dòng)作空間中最終選出的動(dòng)作滿足交通規(guī)則和道路物理結(jié)構(gòu)；定義獎(jiǎng)勵(lì)函數(shù)，用于對(duì)該動(dòng)作所對(duì)應(yīng)的總獎(jiǎng)勵(lì)進(jìn)行計(jì)算；對(duì)DQN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的DQN網(wǎng)絡(luò)。本發(fā)明可以廣泛應(yīng)用于道路換道決策控制領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于道路換道決策控制領(lǐng)域，尤其涉及一種基于強(qiáng)化學(xué)習(xí)和避讓策略的應(yīng)急車輛混合換道決策方法。

背景技術(shù)

目前，減少應(yīng)急車輛響應(yīng)時(shí)間的相關(guān)研究大都集中在路線優(yōu)化和交通信號(hào)燈的控制上，試圖從宏觀調(diào)度的角度去解決問題，比如：Dijkstra算法、蟻群算法(ACA)、A*和混合蛙跳算法(SFLA)。但是，這些宏觀方法并沒有充分利用實(shí)時(shí)交通數(shù)據(jù)，很少有對(duì)自動(dòng)駕駛應(yīng)急車輛進(jìn)行微觀控制的，也幾乎沒有考慮對(duì)正常交通流的影響，并且忽視了直道上響應(yīng)時(shí)間的延遲。

此外，少部分研究提到了在直道上對(duì)應(yīng)急車輛自動(dòng)駕駛進(jìn)行微觀控制的確定性算法，比如一系列的跟馳換道策略，包括了一些針對(duì)性的避讓策略，但是與深度強(qiáng)化學(xué)習(xí)獲得的策略相比它們更難泛化到各種不同的交通場(chǎng)景，而且在探索更快的速度方面不見得是最優(yōu)的。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明的目的是提供一種基于強(qiáng)化學(xué)習(xí)和避讓策略的應(yīng)急車輛混合換道決策方法，該方法通過將確定性避讓策略的穩(wěn)定性和深度強(qiáng)化學(xué)習(xí)的探索性和泛化能力相融合，使得兩種策略取長(zhǎng)補(bǔ)短，能夠縮短任何直道環(huán)境中應(yīng)急車輛的響應(yīng)時(shí)間，為應(yīng)急車輛提出一種省時(shí)、實(shí)時(shí)、數(shù)據(jù)利用率高的微觀直道決策方法，該方法需要在完全自動(dòng)駕駛的交通流中實(shí)施。

為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種基于強(qiáng)化學(xué)習(xí)和避讓策略的應(yīng)急車輛混合換道決策方法，其包括以下步驟：

(1)確定優(yōu)化路段，并對(duì)優(yōu)化路段上待規(guī)劃ICCV和ICEV的運(yùn)行策略進(jìn)行規(guī)劃；其中，待規(guī)劃ICCV利用基于規(guī)則的避讓策略，待規(guī)劃ICEV利用基于DQN網(wǎng)絡(luò)的混合換道策略；

(2)對(duì)待規(guī)劃ICEV的DQN網(wǎng)絡(luò)進(jìn)行初始化；

(3)基于待規(guī)劃ICEV及其六個(gè)鄰居車輛的狀態(tài)信息以及待規(guī)劃ICEV前車的避讓策略執(zhí)行情況，得到待規(guī)劃ICEV的DQN網(wǎng)絡(luò)的狀態(tài)空間；

(4)將步驟(3)得到的DQN網(wǎng)絡(luò)的狀態(tài)空間作為輸入量輸入初始化后的DQN網(wǎng)絡(luò)，得到t時(shí)刻的輸出值Q，并基于輸出值Q得到初步?jīng)Q策以及動(dòng)作空間；

(5)建立動(dòng)作選擇屏障，用于以探索系數(shù)∈對(duì)步驟(4)得到的初步?jīng)Q策進(jìn)行驗(yàn)證和選擇，直到從輸出值Q或動(dòng)作空間中最終選出的動(dòng)作滿足交通規(guī)則和道路物理結(jié)構(gòu)；

(6)定義獎(jiǎng)勵(lì)函數(shù)，用于對(duì)步驟(5)中得到的動(dòng)作所對(duì)應(yīng)的總獎(jiǎng)勵(lì)R_t進(jìn)行計(jì)算；

(7)根據(jù)定義的狀態(tài)空間、動(dòng)作空間、動(dòng)作選擇屏障以及獎(jiǎng)勵(lì)函數(shù)，對(duì)步驟(2)中初始化的DQN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的DQN網(wǎng)絡(luò)，對(duì)優(yōu)化路段上的待規(guī)劃ICEV的混合換道進(jìn)行決策。

進(jìn)一步地，所述步驟(2)中，對(duì)待規(guī)劃ICEV的DQN網(wǎng)絡(luò)進(jìn)行初始化的方法，包括以下步驟：

(2.1)初始化待規(guī)劃ICEV的DQN網(wǎng)絡(luò)的記憶池該記憶池能夠容納N條記錄，每條記錄(O_t，A_t，R_t，O_t+1)包含了現(xiàn)態(tài)狀態(tài)空間、所做動(dòng)作、獎(jiǎng)勵(lì)值和次態(tài)狀態(tài)空間的信息；

(2.2)初始化待規(guī)劃ICEV的DQN網(wǎng)絡(luò)中的估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及其神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)；