[發(fā)明專利]決策控制方法、裝置、自動駕駛車輛及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110474518.9
• 申請日: 2021-04-29
• 公開（公告）號: CN113071524B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 賀穎;陳龍權(quán);鄒廣源;潘微科
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: B60W60/00
• 分類號: B60W60/00;B60W40/00;B60W50/00
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 張全文

1.一種用于自動駕駛車輛的決策控制方法，其特征在于，所述決策控制方法包括：

獲取自動駕駛車輛的當(dāng)前行駛信息和周圍車輛的目標(biāo)行駛信息，所述周圍車輛是指與所述自動駕駛車輛的距離小于預(yù)設(shè)距離的車輛；

將所述自動駕駛車輛的當(dāng)前行駛信息和所述周圍車輛的目標(biāo)行駛信息輸入至已訓(xùn)練的actor網(wǎng)絡(luò)中的決策網(wǎng)絡(luò)，得到目標(biāo)決策信息；

將所述自動駕駛車輛的當(dāng)前行駛信息、所述周圍車輛的目標(biāo)行駛信息和所述目標(biāo)決策信息輸入至所述actor網(wǎng)絡(luò)中的控制網(wǎng)絡(luò)，得到目標(biāo)控制信息；

根據(jù)所述目標(biāo)控制信息，控制所述自動駕駛車輛行駛；

所述actor網(wǎng)絡(luò)的訓(xùn)練過程包括：

獲取第一測試車輛的當(dāng)前環(huán)境狀態(tài)，所述當(dāng)前環(huán)境狀態(tài)包括所述第一測試車輛的當(dāng)前行駛信息和第二測試車輛的目標(biāo)行駛信息，所述第二測試車輛是指與所述第一測試車輛的距離小于所述預(yù)設(shè)距離的車輛；

將所述當(dāng)前環(huán)境狀態(tài)輸入至所述決策網(wǎng)絡(luò)，得到候選決策信息；

將所述當(dāng)前環(huán)境狀態(tài)和所述候選決策信息輸入至所述控制網(wǎng)絡(luò)，得到候選控制信息；

根據(jù)所述候選控制信息，確定所述第一測試車輛的下一個環(huán)境狀態(tài)和所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵；

根據(jù)所述當(dāng)前環(huán)境狀態(tài)、所述下一個環(huán)境狀態(tài)和所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵，訓(xùn)練所述actor網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的決策控制方法，其特征在于，所述第一測試車輛的當(dāng)前行駛信息包括所述第一測試車輛的縱向速度，所述第二測試車輛的目標(biāo)行駛信息包括所述第一測試車輛與其前方車輛發(fā)生碰撞的時間，根據(jù)所述候選控制信息，確定所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵包括：

根據(jù)所述候選控制信息，控制所述第一測試車輛行駛；

在所述第一測試車輛的行駛過程中，檢測所述第一測試車輛是否發(fā)生碰撞；

若所述第一測試車輛發(fā)生碰撞，則確定所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵為目標(biāo)值；

若所述第一測試車輛未發(fā)生碰撞，則根據(jù)所述第一測試車輛的縱向速度和所述第一測試車輛與其前方車輛發(fā)生碰撞的時間，確定碰撞獎勵；檢測所述第一測試車輛是否安全到達(dá)終點，得到第一檢測結(jié)果，并根據(jù)所述第一檢測結(jié)果確定安全到達(dá)獎勵；檢測所述第一測試車輛是否發(fā)生變道，得到第二檢測結(jié)果，并根據(jù)所述第二檢測結(jié)果確定變道獎勵；將所述碰撞獎勵、所述安全到達(dá)獎勵和所述變道獎勵相加，確定相加所得值為所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵。

3.如權(quán)利要求1所述的決策控制方法，其特征在于，所述根據(jù)所述當(dāng)前環(huán)境狀態(tài)、所述下一個環(huán)境狀態(tài)和所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵，訓(xùn)練所述actor網(wǎng)絡(luò)包括：

將所述當(dāng)前環(huán)境狀態(tài)輸入至critic網(wǎng)絡(luò)，得到所述當(dāng)前環(huán)境狀態(tài)的狀態(tài)價值函數(shù)；

將所述下一個環(huán)境狀態(tài)輸入至所述critic網(wǎng)絡(luò)，得到所述下一個環(huán)境狀態(tài)的狀態(tài)價值函數(shù)；

根據(jù)所述當(dāng)前環(huán)境狀態(tài)的狀態(tài)價值函數(shù)、所述下一個環(huán)境狀態(tài)的狀態(tài)價值函數(shù)以及所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵，訓(xùn)練所述actor網(wǎng)絡(luò)。

4.如權(quán)利要求3所述的決策控制方法，其特征在于，所述根據(jù)所述當(dāng)前環(huán)境狀態(tài)的狀態(tài)價值函數(shù)、所述下一個環(huán)境狀態(tài)的狀態(tài)價值函數(shù)以及所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵，訓(xùn)練所述actor網(wǎng)絡(luò)包括：

根據(jù)所述下一個環(huán)境狀態(tài)的狀態(tài)價值函數(shù)以及所述當(dāng)前環(huán)境狀態(tài)對應(yīng)的獎勵，確定所述當(dāng)前環(huán)境狀態(tài)的動作價值函數(shù)；

根據(jù)所述當(dāng)前環(huán)境狀態(tài)的狀態(tài)價值函數(shù)和所述當(dāng)前環(huán)境狀態(tài)的動作價值函數(shù)，確定所述actor網(wǎng)絡(luò)的優(yōu)勢函數(shù)；

根據(jù)所述優(yōu)勢函數(shù)，確定所述決策網(wǎng)絡(luò)對應(yīng)的目標(biāo)函數(shù)和所述控制網(wǎng)絡(luò)對應(yīng)的目標(biāo)函數(shù)；

根據(jù)所述決策網(wǎng)絡(luò)對應(yīng)的目標(biāo)函數(shù)和所述控制網(wǎng)絡(luò)對應(yīng)的目標(biāo)函數(shù)，訓(xùn)練所述actor網(wǎng)絡(luò)。

5.如權(quán)利要求4所述的決策控制方法，其特征在于，所述決策控制方法還包括：

根據(jù)所述優(yōu)勢函數(shù)，確定所述critic網(wǎng)絡(luò)的目標(biāo)函數(shù)；

根據(jù)所述critic網(wǎng)絡(luò)的目標(biāo)函數(shù)，訓(xùn)練所述critic網(wǎng)絡(luò)。