[發(fā)明專(zhuān)利]一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110954994.0
• 申請(qǐng)日: 2021-08-19
• 公開(kāi)（公告）號(hào): CN113734170B
• 公開(kāi)（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 崔建勛;要甲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 崔建勛
• 主分類(lèi)號(hào): B60W30/18
• 分類(lèi)號(hào): B60W30/18;B60W60/00;B60W50/00;G06N3/0499;G06N3/06;G06N3/092
• 代理公司: 哈爾濱市松花江聯(lián)合專(zhuān)利商標(biāo)代理有限公司 23213
• 代理人: 張利明

1.一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法，其特征在于，包括：

步驟一、采集目標(biāo)自動(dòng)駕駛車(chē)輛前后和同向左和/或右車(chē)道車(chē)輛的相對(duì)位置及與相對(duì)速度；

步驟二、將步驟一所述的相對(duì)位置及與相對(duì)速度作為環(huán)境向量，輸入至經(jīng)Q值函數(shù)訓(xùn)練的全連接神經(jīng)網(wǎng)絡(luò)，獲得所有換道動(dòng)作的Q值估計(jì)值；

步驟三、判斷所有換道動(dòng)作是否屬于當(dāng)前時(shí)刻安全動(dòng)作集合，提取屬于當(dāng)前時(shí)刻安全動(dòng)作集合的換道動(dòng)作；

步驟四、采用Argmax函數(shù)，從所述屬于當(dāng)前時(shí)刻安全動(dòng)作集合提取Q值估計(jì)值最大的換道動(dòng)作，將所述Q值估計(jì)值最大的換道動(dòng)作作為下一時(shí)刻的換道動(dòng)作。

2.根據(jù)權(quán)利要求1所述的一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法，其特征在于，步驟二中所述的環(huán)境向量包括：同向車(chē)道的環(huán)境車(chē)輛與目標(biāo)自動(dòng)駕駛車(chē)輛的相對(duì)位置和相對(duì)速度，當(dāng)環(huán)境為同向?yàn)槿?chē)道時(shí)表示為：

s＝[dr_lq，vr_lq，dr_cq，vr_cq，dr_rq，v_RL，dr_qf，vr_qf，dr_cf，vr_cf，dr_rf，vr_rf，]

其中，s為環(huán)境向量，dr，vr分別表示環(huán)境車(chē)輛與目標(biāo)自動(dòng)駕駛車(chē)輛的相對(duì)位置和相對(duì)速度，其角標(biāo)第一個(gè)字母l，c，r分別表示左側(cè)車(chē)道、當(dāng)前車(chē)道和右側(cè)車(chē)道，第二個(gè)字母q，f分別表示前方車(chē)輛、后方車(chē)輛；v_RL表示目標(biāo)自動(dòng)駕駛車(chē)輛的速度。

3.根據(jù)權(quán)利要求1所述的一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法，其特征在于，步驟二中所述的換道動(dòng)包括向左換道、保持當(dāng)前車(chē)道和向右換道。

4.根據(jù)權(quán)利要求1所述的一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法，其特征在于，驟二中,獲得所有換道動(dòng)作的Q值估計(jì)值方法為：

利用獎(jiǎng)勵(lì)函數(shù)對(duì)駕駛速度進(jìn)行擬合；

所述獎(jiǎng)勵(lì)函數(shù)為：r_t＝-|v_RL，t-v_des，t|

當(dāng)目標(biāo)自動(dòng)駕駛車(chē)輛行駛速度越接近期望速度，獎(jiǎng)勵(lì)值越高，其中，v_des，t為t時(shí)刻的期望速度；v_RL,t為t時(shí)刻目標(biāo)自動(dòng)駕駛車(chē)輛的實(shí)際速度；

利用獎(jiǎng)勵(lì)函數(shù)計(jì)算當(dāng)前時(shí)刻的Q值估計(jì)值y_t：

其中，a′為下一時(shí)刻選擇的換道動(dòng)作，s_t+1是下一時(shí)刻自動(dòng)駕駛車(chē)輛所處的環(huán)境狀態(tài)向量，θ是當(dāng)前時(shí)刻帶有全連接神經(jīng)網(wǎng)絡(luò)的參數(shù)；Q(s_t+1,a′；θ)為全連接神經(jīng)網(wǎng)絡(luò)對(duì)下一時(shí)刻Q值的估計(jì)值。

5.根據(jù)權(quán)利要求1所述的一種基于深度Q學(xué)習(xí)的自動(dòng)駕駛換道決策方法，其特征在于，當(dāng)前時(shí)刻安全動(dòng)作集合為：

其中，A_safe(t)為當(dāng)前時(shí)刻的安全動(dòng)作的集合，為自動(dòng)駕駛車(chē)輛當(dāng)前車(chē)道在時(shí)刻t的安全行駛空間，為自動(dòng)駕駛車(chē)輛左側(cè)車(chē)道在時(shí)刻t的安全行駛空間，為自動(dòng)駕駛車(chē)輛右側(cè)車(chē)道在時(shí)刻t的安全行駛空間，p_a(t)為t時(shí)刻自動(dòng)駕駛車(chē)輛的執(zhí)行動(dòng)作a后的位置，a表示當(dāng)前時(shí)刻的換道動(dòng)作，A為換道動(dòng)作集合，

A＝{a₁＝向左換道，a₂＝保持當(dāng)前車(chē)道，a₃＝向右換道}，[t_b,t_h]為動(dòng)作a執(zhí)行的時(shí)間范圍，t_b為開(kāi)始執(zhí)行動(dòng)作a的時(shí)間，t_h執(zhí)行動(dòng)作a結(jié)束的時(shí)間。