[發(fā)明專利]多路口協(xié)同控制方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010087988.5
• 申請(qǐng)日: 2020-02-12
• 公開（公告）號(hào): CN111311959B
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 王魯晗;張宇恒;溫向明;路兆銘
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G08G1/16
• 分類號(hào): G08G1/16;G08G1/0967
• 代理公司: 北京智信四方知識(shí)產(chǎn)權(quán)代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

1.一種面向網(wǎng)聯(lián)自動(dòng)駕駛的多路口協(xié)同控制方法，其中，包括：

獲取目標(biāo)路口的當(dāng)前時(shí)刻的狀態(tài)信息，所述狀態(tài)信息包括所述目標(biāo)路口的實(shí)時(shí)交通信息、往所述目標(biāo)路口行駛的目標(biāo)車輛的車輛狀態(tài)和目標(biāo)路口的占用信息；所述實(shí)時(shí)交通信息包括所述目標(biāo)車輛的位置信息；所述車輛狀態(tài)包括所述目標(biāo)車輛的速度信息；所述目標(biāo)路口的占用信息包括駛出所述目標(biāo)路口的目標(biāo)車輛的車輛軌跡與駛出相鄰路口的其它車輛的車輛軌跡的相交情況；

根據(jù)所述狀態(tài)信息確定目標(biāo)車輛的最大通行速度；

利用深度Q學(xué)習(xí)網(wǎng)絡(luò)確定在所述狀態(tài)信息下所述目標(biāo)車輛通過所述目標(biāo)路口的目標(biāo)行駛順序；

根據(jù)所述最大通行速度規(guī)劃多個(gè)所述目標(biāo)車輛按照所述目標(biāo)行駛順序通過所述目標(biāo)路口的目標(biāo)速度；所述目標(biāo)速度為所述目標(biāo)車輛在不超過所述最大通行速度、且不與其它車輛發(fā)生碰撞的情況下通過所述目標(biāo)路口的速度；

將所述目標(biāo)速度發(fā)送至所述目標(biāo)車輛，以控制所述目標(biāo)車輛按照所述目標(biāo)速度行駛；

其中，所述深度Q學(xué)習(xí)網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)，所述方法還包括：

獲取所述目標(biāo)路口對(duì)應(yīng)的一個(gè)或多個(gè)相鄰路口在上一時(shí)刻的對(duì)應(yīng)的目標(biāo)Q值，以及利用所述深度Q學(xué)習(xí)網(wǎng)絡(luò)得到所述目標(biāo)行駛順序的回報(bào)值；

根據(jù)所述目標(biāo)Q值以及所述回報(bào)值對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元參數(shù)進(jìn)行更新；

通過如下Q值更新公式對(duì)所述神經(jīng)元參數(shù)進(jìn)行更新：

其中，θ_i為卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元參數(shù)，a(t)和γ為預(yù)設(shè)的衰減因子，θ_i′為更新后的卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元參數(shù)，J為所有相鄰路口的集合，ω_i,j為相鄰路口j的Q值對(duì)目標(biāo)路口i的Q值的轉(zhuǎn)換系數(shù)，Ω為懲罰函數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，還包括：

將所述狀態(tài)信息添加到所述深度Q學(xué)習(xí)網(wǎng)絡(luò)的記憶庫中，在所述記憶庫長度存滿的情況下，通過覆蓋所述記憶庫中最早一條記錄的方式存儲(chǔ)所述狀態(tài)信息。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，利用深度Q學(xué)習(xí)網(wǎng)絡(luò)確定在所述狀態(tài)信息下所述目標(biāo)車輛通過所述目標(biāo)路口的行駛順序，包括：

利用所述深度Q學(xué)習(xí)網(wǎng)絡(luò)預(yù)測多個(gè)所述目標(biāo)車輛在不同的候選行駛順序?qū)?yīng)的Q值；

將所述Q值最大的所述候選行駛速度確定為所述目標(biāo)行駛順序。

4.根據(jù)權(quán)利要求1-2任一項(xiàng)所述的方法，其中，根據(jù)所述狀態(tài)信息確定多個(gè)所述目標(biāo)車輛的最大通行速度，包括：

在第一時(shí)間早于第二時(shí)間時(shí)，調(diào)整第一速度，使得所述第一時(shí)間晚于所述第二時(shí)間；所述第一時(shí)間為當(dāng)前的所述目標(biāo)車輛按照所述狀態(tài)信息下的所述第一速度通過所述目標(biāo)路口時(shí)的時(shí)間，第二時(shí)間為前一輛目標(biāo)車輛按照所述狀態(tài)信息下的第二速度通過所述目標(biāo)路口時(shí)的時(shí)間；

將調(diào)整后的所述第一速度確定為所述最大通行速度。

5.根據(jù)權(quán)利要求1-2任一項(xiàng)所述的方法，其中，根據(jù)所述最大通行速度規(guī)劃多個(gè)所述目標(biāo)車輛按照所述目標(biāo)行駛順序通過所述目標(biāo)路口的目標(biāo)速度，包括：

在當(dāng)前的所述目標(biāo)車輛之前行駛的其他目標(biāo)車輛未完成速度規(guī)劃時(shí)，則確定當(dāng)前的所述目標(biāo)車輛的目標(biāo)速度等于所述最大通行速度；

在當(dāng)前的所述目標(biāo)車輛之前行駛的所有其他目標(biāo)車輛已完成速度規(guī)劃，且所述最大通行速度小于或等于最小值時(shí)，確定當(dāng)前的所述目標(biāo)車輛的目標(biāo)速度等于所述最大通行速度；

在當(dāng)前的所述目標(biāo)車輛之前行駛的所有其他目標(biāo)車輛已完成速度規(guī)劃，且所述最大通行速度大于所述最小值時(shí)，確定所述目標(biāo)車輛以初始規(guī)劃速度行駛至所述目標(biāo)路口后是否會(huì)與其它車輛發(fā)生沖突；在不發(fā)生沖突時(shí)確定當(dāng)前的所述目標(biāo)車輛的目標(biāo)速度等于所述初始規(guī)劃速度，在會(huì)發(fā)生沖突時(shí)，降低所述初始規(guī)劃速度，并調(diào)整至確定降低后的所述初始規(guī)劃速度是否小于或等于所述最小值的步驟。