[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的交通信號燈防堵塞控制方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910391317.5
• 申請日: 2019-05-12
• 公開（公告）號: CN110136456A
• 公開（公告）日: 2019-08-16
• 發(fā)明（設(shè)計(jì)）人: 黃澤天;傅啟明;陳建平;高振;陸悠
• 申請（專利權(quán)）人: 蘇州科技大學(xué)
• 主分類號: G08G1/081
• 分類號: G08G1/081;G08G1/01
• 代理公司: 北京科家知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11427
• 代理人: 陳娟

本發(fā)明涉及一種基于深度強(qiáng)化學(xué)習(xí)的交通信號燈防堵塞控制方法和系統(tǒng)。每個路口的數(shù)據(jù)由該路口的路口決策控制器處理，路口決策控制器將處理完的結(jié)果傳輸給終端決策器，終端決策器再對得到的數(shù)據(jù)進(jìn)一步處理，只有當(dāng)出現(xiàn)路口的擁堵值或預(yù)測擁堵值大于閾值時，終端決策器才接管決策權(quán)，對一個區(qū)域的信號燈統(tǒng)一控制管理。當(dāng)擁堵值或預(yù)測擁堵值都小于等于閾值時，則各個路口的信號燈還是由該路口的路口決策控制器進(jìn)行決策并控制。上述方法可大大縮短數(shù)據(jù)處理時間，同時避免只關(guān)注于單個路口的最大通行量而造成相鄰路口擁堵的情況。有利于解決交通擁堵問題。

技術(shù)領(lǐng)域

本發(fā)明涉及交通信息號燈控制領(lǐng)域，特別是涉及基于深度強(qiáng)化學(xué)習(xí)的交通信號燈防堵塞控制方法和系統(tǒng)。

背景技術(shù)

城市中，機(jī)動車、非機(jī)動車保有量大，路口和路段情況紛繁復(fù)雜，要處理這樣一個規(guī)模龐大、動態(tài)、具有高度不確定性的分布式系統(tǒng)，進(jìn)行有效的控制，是一件十分復(fù)雜的工作。在不新增交通道路的情況下，通過合理的交通控制，提高道路的利用效率，進(jìn)而提高交通通行效率是快速解決城市交通問題的一種有效途徑。

目前我國城市采用的交通信號燈控制模式,隨著城市的不斷發(fā)展，車流量的不斷擴(kuò)大，傳統(tǒng)的交通信號燈在調(diào)度上出現(xiàn)了問題。一是車輛放行時，十字路口經(jīng)常出現(xiàn)不同車流量干道放行時間相同，易造成某路段車輛堆積，造成交通堵塞；二是當(dāng)某十字路口其中一路口車流量很大另一個路口車流相對較少時，不能夠改變紅綠燈的時間來延長這一路口的通過時間，造成該路口的車輛不能通過由此引發(fā)車輛堆積。

目前已有的交通信號燈控制系統(tǒng)，大多只關(guān)注于單個路口的最大通行量，容易出現(xiàn)由于只考慮該路口通行量最大化，有時不但不會緩解交通，甚至?xí)?dǎo)致相鄰路口出現(xiàn)擁堵的情況。

發(fā)明內(nèi)容

基于此，有必要針對傳統(tǒng)的信號燈控制方法緩解交通擁堵能力仍然不夠理想的問題，提供一種基于深度強(qiáng)化學(xué)習(xí)的交通信號燈防堵塞控制方法。

一種基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制方法，包括：

實(shí)時獲取當(dāng)前路口路況信息；

通過CNN算法處理所述路況信息，獲得當(dāng)前路口的各車道等待車流長度和通過當(dāng)前路口的車輛數(shù)目；

建立路口決策模型，所述路口決策模型根據(jù)各車道等待車流長度計(jì)算獲取各車道的擁堵值，并且，所述路口決策模型根據(jù)所述擁堵值以及所述通過當(dāng)前路口的車輛數(shù)目，結(jié)合DQN算法獲得當(dāng)前路口的路口最優(yōu)信號燈控制策略，通過當(dāng)前路口最優(yōu)信號燈控制策略控制當(dāng)前路口的信號燈；

當(dāng)某一路口的擁堵值大于閾值，將該路口以及與該路口相連的各個路口組成一個區(qū)域，獲得該區(qū)域所有路口的數(shù)據(jù)信息，建立終端決策模型，所述終端決策模型依據(jù)該區(qū)域所有路口的數(shù)據(jù)信息，通過DQN算法得到該區(qū)域的區(qū)域最優(yōu)信號燈控制策略，然后暫停使用該區(qū)域的各個路口自身的路口最優(yōu)信號燈控制策略，采用所述區(qū)域最優(yōu)信號燈控制策略控制該區(qū)域各個路口的信號燈。

上述方法中，不光考慮單個路口的信號燈控制，當(dāng)單個路口的擁堵值超過閾值后，可通過終端決策模型獲取區(qū)域最優(yōu)信號燈控制策略，通過區(qū)域最優(yōu)信號燈控制策略控制該區(qū)域各個路口的信號燈，避免只關(guān)注于單個路口的最大通行量而造成相鄰路口擁堵的情況。有利于解決交通擁堵問題。

在其中一個實(shí)施例中，獲取相鄰路口的數(shù)據(jù)信息，所述相鄰路口的數(shù)據(jù)信息包括相鄰路口的各個車道等待車流長度，擁堵值和所采取的信號燈控制策略，

構(gòu)建預(yù)測網(wǎng)絡(luò)，所述預(yù)測網(wǎng)絡(luò)根據(jù)當(dāng)前路口的數(shù)據(jù)信息以及相鄰路口的數(shù)據(jù)信息預(yù)測出t秒后當(dāng)前路口的各車道車流長度，并根據(jù)預(yù)測的各個車道車流長度計(jì)算獲得預(yù)測擁堵值；