[發(fā)明專利]一種基于深度Q網(wǎng)絡(luò)的交通燈控制方法、終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110965916.0
• 申請(qǐng)日: 2021-08-20
• 公開（公告）號(hào): CN113870588B
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 劉博
• 申請(qǐng)（專利權(quán)）人: 深圳市人工智能與機(jī)器人研究院
• 主分類號(hào): G08G1/08
• 分類號(hào): G08G1/08;G08G1/081;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 朱陽(yáng)波

1.一種基于深度Q網(wǎng)絡(luò)的交通燈控制方法，其特征在于，所述基于深度Q網(wǎng)絡(luò)的交通燈控制方法包括以下步驟：

獲取預(yù)設(shè)區(qū)域內(nèi)各路口的交通燈信息，并根據(jù)所述交通燈信息得到所述預(yù)設(shè)區(qū)域內(nèi)的通信拓?fù)渚W(wǎng)絡(luò)；

獲取交通燈狀態(tài)信息和交通燈四周的車流狀態(tài)信息；其中，所述車流狀態(tài)信息包括：車輛位置信息和車輛速度信息；

根據(jù)所述通信拓?fù)渚W(wǎng)絡(luò)、所述交通燈狀態(tài)信息以及所述交通燈四周的車流狀態(tài)信息構(gòu)建去中心化的深度Q網(wǎng)絡(luò)交通燈控制模型；

根據(jù)所述深度Q網(wǎng)絡(luò)交通燈控制模型和一致性算法對(duì)所述預(yù)設(shè)區(qū)域內(nèi)的交通燈進(jìn)行控制；

所述根據(jù)所述深度Q網(wǎng)絡(luò)交通燈控制模型和一致性算法對(duì)所述預(yù)設(shè)區(qū)域內(nèi)的交通燈進(jìn)行控制，包括：

在對(duì)各交通燈進(jìn)行控制時(shí)，初始化每個(gè)交通燈的深度Q網(wǎng)絡(luò)參數(shù)和模型訓(xùn)練參數(shù)；其中，所述模型訓(xùn)練參數(shù)包括：學(xué)習(xí)率η、折扣因子γ、貪心策略中的ε、迭代總次數(shù)T以及當(dāng)前迭代次數(shù)t；

根據(jù)所述通信拓?fù)渚W(wǎng)絡(luò)將所述交通燈與相鄰交通燈進(jìn)行通信，并向所述相鄰交通燈分享優(yōu)化后的深度Q網(wǎng)絡(luò)參數(shù)，并通過(guò)一致性算法更新所述預(yù)設(shè)區(qū)域內(nèi)所有交通燈的深度Q網(wǎng)絡(luò)參數(shù)；

所述通過(guò)一致性算法更新所述預(yù)設(shè)區(qū)域內(nèi)所有交通燈的深度Q網(wǎng)絡(luò)參數(shù)，包括：

通過(guò)所述一致性算法更新所述預(yù)設(shè)區(qū)域內(nèi)所有交通燈的深度Q網(wǎng)絡(luò)參數(shù)θ′＝[θ'₁，θ'₂，...，θ'_N]∈R^m×s；

其中，N為所述通信拓?fù)渚W(wǎng)絡(luò)中交通燈的總數(shù)量；

所述一致性算法為：

θ′＝[θ'₁，θ'₂，...，θ'_N]和θ″＝[θ″₁，θ″₂，...，θ″_N]分別為所述一致性算法過(guò)程前后的所有交通燈的Q網(wǎng)絡(luò)參數(shù)矩陣；

W＝[w_ij]∈R^N×N為權(quán)重連接矩陣；

為克羅內(nèi)克積；

I_m∈R^m×m為單位矩陣。

2.根據(jù)權(quán)利要求1所述的基于深度Q網(wǎng)絡(luò)的交通燈控制方法，其特征在于，所述獲取預(yù)設(shè)區(qū)域內(nèi)各路口的交通燈信息，并根據(jù)所述交通燈信息得到所述預(yù)設(shè)區(qū)域內(nèi)的通信拓?fù)渚W(wǎng)絡(luò)，包括：

獲取城市交通路網(wǎng)信息，并根據(jù)所述城市交通路網(wǎng)信息確定所述預(yù)設(shè)區(qū)域；

獲取所述預(yù)設(shè)區(qū)域內(nèi)各路口的交通燈信息，并根據(jù)所述交通燈信息得到所述預(yù)設(shè)區(qū)域內(nèi)的通信拓?fù)渚W(wǎng)絡(luò)；

其中，所述通信拓?fù)渚W(wǎng)絡(luò)為包含所述預(yù)設(shè)區(qū)域內(nèi)所有交通燈的去中心化的通信拓?fù)渚W(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的基于深度Q網(wǎng)絡(luò)的交通燈控制方法，其特征在于，所述獲取交通燈狀態(tài)信息和交通燈四周的車流狀態(tài)信息，包括：

根據(jù)所述通信拓?fù)渚W(wǎng)絡(luò)確定所述交通燈對(duì)應(yīng)的攝像頭、雷達(dá)以及地感線圈；

獲取所述交通燈狀態(tài)信息，并通過(guò)所述攝像頭、所述雷達(dá)以及所述地感線圈獲取所述交通燈四周的車流狀態(tài)信息；

對(duì)所述交通燈狀態(tài)信息和所述交通燈四周的車流狀態(tài)信息進(jìn)行數(shù)字化處理。

4.根據(jù)權(quán)利要求1所述的基于深度Q網(wǎng)絡(luò)的交通燈控制方法，其特征在于，所述根據(jù)所述通信拓?fù)渚W(wǎng)絡(luò)、所述交通燈狀態(tài)信息以及所述交通燈四周的車流狀態(tài)信息構(gòu)建去中心化的深度Q網(wǎng)絡(luò)交通燈控制模型，包括：

將所述交通燈狀態(tài)信息與所述交通燈四周的車流狀態(tài)信息進(jìn)行融合，得到融合信息；

結(jié)合交通燈動(dòng)作，將所述融合信息代入卷積神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)中，計(jì)算得到所述交通燈動(dòng)作在當(dāng)前車流狀態(tài)下和交通燈狀態(tài)下的價(jià)值Q(s，α；θ)；

根據(jù)所述價(jià)值Q(s，α；θ)得到當(dāng)前交通狀態(tài)下交通燈的最佳交通燈動(dòng)作

其中，θ為深度Q網(wǎng)絡(luò)模型參數(shù)，s和α分別為當(dāng)前車流狀態(tài)和交通燈動(dòng)作。