[發(fā)明專(zhuān)利]一種交通信號(hào)控制方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111094984.0
• 申請(qǐng)日: 2021-09-17
• 公開(kāi)（公告）號(hào): CN113838296B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 鐘任新;方熾霖;李昕岸;金嘯;蘇子誠(chéng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G08G1/08
• 分類(lèi)號(hào): G08G1/08;G08G1/01;G08G1/083
• 代理公司: 廣州嘉權(quán)專(zhuān)利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 梁嘉琦

本發(fā)明公開(kāi)了一種交通信號(hào)控制方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，方法包括：對(duì)路網(wǎng)進(jìn)行劃分，確定路網(wǎng)中的保護(hù)區(qū)、緩沖區(qū)、邊界控制信號(hào)信息以及所述保護(hù)區(qū)內(nèi)的自適應(yīng)信號(hào)控制信息；根據(jù)所述路網(wǎng)的劃分結(jié)果，對(duì)路網(wǎng)中的交通流量進(jìn)行標(biāo)定，以進(jìn)行預(yù)配置；根據(jù)預(yù)配置的內(nèi)容，采用深度強(qiáng)化學(xué)習(xí)搭建上層信號(hào)控制智能體；根據(jù)預(yù)配置的內(nèi)容，采用深度強(qiáng)化學(xué)習(xí)搭建底層信號(hào)控制智能體，其中，每一個(gè)底層信號(hào)控制智能體代表保護(hù)區(qū)內(nèi)一個(gè)信控路口的信號(hào)燈；根據(jù)所述上層信號(hào)控制智能體和所述底層信號(hào)控制智能體，對(duì)采集了交通信息后的目標(biāo)路網(wǎng)進(jìn)行雙層信號(hào)控制。本發(fā)明的應(yīng)用范圍廣，能夠提高路網(wǎng)運(yùn)行效率，可廣泛應(yīng)用于智能交通技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及智能交通技術(shù)領(lǐng)域，尤其是一種交通信號(hào)控制方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著城市化的發(fā)展，城市路網(wǎng)的交通需求不斷提升，交通供需不平衡的問(wèn)題在許多大城市日漸嚴(yán)重。隨著大數(shù)據(jù)時(shí)代的到來(lái)，智慧城市迎來(lái)了快速發(fā)展，帶來(lái)大量交通監(jiān)測(cè)數(shù)據(jù)，為改善當(dāng)前城市交通實(shí)時(shí)控制系統(tǒng)、顯著提升現(xiàn)有交通系統(tǒng)的性能提供了條件。在有限的道路空間下，自適應(yīng)信號(hào)控制是提升路網(wǎng)的運(yùn)行能力和可靠性，從而達(dá)到可持續(xù)發(fā)展的有利手段。

自適應(yīng)信號(hào)控制指交通信號(hào)控制系統(tǒng)根據(jù)實(shí)時(shí)監(jiān)測(cè)的交通流數(shù)據(jù)，自適應(yīng)的調(diào)整信號(hào)控制參數(shù)，從而實(shí)現(xiàn)對(duì)交通流的最優(yōu)控制，使一段時(shí)間內(nèi)車(chē)輛放行量最大，或者使其它交通控制評(píng)價(jià)指標(biāo)如延誤、停車(chē)次數(shù)等最小。對(duì)干道或區(qū)域的多個(gè)路口信號(hào)機(jī)進(jìn)行協(xié)調(diào)，可使其運(yùn)行方案根據(jù)交通流的變化而自適應(yīng)的調(diào)整，從而提高整個(gè)干道或區(qū)域的交通運(yùn)行效率。

傳統(tǒng)的交通信號(hào)控制主要存在兩個(gè)缺陷：

①僅在路段層面上進(jìn)行。研究表明，在過(guò)飽和交通狀況下，基于路段的信號(hào)控制可能會(huì)導(dǎo)致車(chē)輛排隊(duì)溢出到上游路段，甚至形成“死鎖”現(xiàn)象；而空間維度問(wèn)題也對(duì)路段上的自適應(yīng)實(shí)時(shí)交通信號(hào)控制策略提出了重大挑戰(zhàn)。

②依賴(lài)模型驅(qū)動(dòng)的方法進(jìn)行。模型驅(qū)動(dòng)的方法有較好的因果分析和可泛化性，但是存在模型不確定性的問(wèn)題；同時(shí)求解模型動(dòng)態(tài)優(yōu)化問(wèn)題需要進(jìn)行大規(guī)模的計(jì)算，尤其是引入大量的交通流數(shù)據(jù)后，需要處理更大的狀態(tài)與求解空間，導(dǎo)致出現(xiàn)維數(shù)災(zāi)難問(wèn)題。

因此采用數(shù)據(jù)驅(qū)動(dòng)的方法，可以實(shí)現(xiàn)交通控制算法對(duì)建模等不確定性的魯棒性，以及對(duì)外部信息的自適應(yīng)性。

強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)是智能體(Agent)以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過(guò)與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為，目標(biāo)是使智能體獲得最大的獎(jiǎng)賞，強(qiáng)化學(xué)習(xí)不同于監(jiān)督學(xué)習(xí)，主要表現(xiàn)在強(qiáng)化信號(hào)上，強(qiáng)化學(xué)習(xí)中由環(huán)境提供的強(qiáng)化信號(hào)是對(duì)產(chǎn)生動(dòng)作的好壞作一種評(píng)價(jià)，而不是告訴強(qiáng)化學(xué)習(xí)系統(tǒng)如何去產(chǎn)生正確的動(dòng)作。由于外部環(huán)境提供的信息很少，必須靠自身的經(jīng)歷進(jìn)行學(xué)習(xí)。通過(guò)這種方式，系統(tǒng)在行動(dòng)-評(píng)價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。

在現(xiàn)有的交通信號(hào)控制中，主要存在以下問(wèn)題：

現(xiàn)有數(shù)據(jù)驅(qū)動(dòng)類(lèi)的交通信號(hào)控制方法，多針對(duì)單個(gè)交叉口節(jié)點(diǎn)或小規(guī)模區(qū)域構(gòu)造學(xué)習(xí)網(wǎng)絡(luò)、優(yōu)化模型參數(shù)，缺少路網(wǎng)區(qū)域?qū)用娴膭?dòng)態(tài)協(xié)同與統(tǒng)一考慮。大多數(shù)交通信號(hào)控制方法，由于算法復(fù)雜度及維數(shù)災(zāi)難的難度，無(wú)法對(duì)整個(gè)路網(wǎng)性能進(jìn)行優(yōu)化。

現(xiàn)有的交通信號(hào)控制策略，控制目標(biāo)只考慮單個(gè)交叉口節(jié)點(diǎn)或小規(guī)模區(qū)域的最小延誤或最大輸出，無(wú)法對(duì)路網(wǎng)的整體運(yùn)行效率進(jìn)行評(píng)估。而單個(gè)交叉口節(jié)點(diǎn)的最優(yōu)性能，不能保證整個(gè)路網(wǎng)的效能達(dá)到最優(yōu)。例如，當(dāng)每個(gè)交叉口最大化各自的目標(biāo)函數(shù)時(shí)，整體路網(wǎng)可能因?yàn)榱髁窟^(guò)大而產(chǎn)生死鎖現(xiàn)象。

因此，現(xiàn)有方法無(wú)法協(xié)同單個(gè)交叉口與整體路網(wǎng)的表現(xiàn)，從而無(wú)法最大化路網(wǎng)的效率，得到系統(tǒng)最優(yōu)。

大多數(shù)交通信號(hào)控制策略，依賴(lài)于對(duì)交叉口以及路網(wǎng)交通的建模。然而，模型的校準(zhǔn)、誤差會(huì)影響控制策略的性能。同時(shí)，物理模型無(wú)法確保對(duì)所有交通場(chǎng)景都適用，因此傳統(tǒng)的交通信號(hào)控制策略無(wú)法大規(guī)模使用。

發(fā)明內(nèi)容