[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的交通信號燈防堵塞控制方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910391317.5
• 申請日: 2019-05-12
• 公開（公告）號: CN110136456A
• 公開（公告）日: 2019-08-16
• 發(fā)明（設(shè)計(jì)）人: 黃澤天;傅啟明;陳建平;高振;陸悠
• 申請（專利權(quán)）人: 蘇州科技大學(xué)
• 主分類號: G08G1/081
• 分類號: G08G1/081;G08G1/01
• 代理公司: 北京科家知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11427
• 代理人: 陳娟

1.一種基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制方法，其特征在于，包括：

實(shí)時(shí)獲取當(dāng)前路口路況信息；

通過CNN算法處理所述路況信息，獲得當(dāng)前路口的各車道等待車流長度和通過當(dāng)前路口的車輛數(shù)目；

建立路口決策模型，所述路口決策模型根據(jù)各車道等待車流長度計(jì)算獲取各車道的擁堵值，并且，所述路口決策模型根據(jù)所述擁堵值以及所述通過當(dāng)前路口的車輛數(shù)目，結(jié)合DQN算法獲得當(dāng)前路口的路口最優(yōu)信號燈控制策略，通過當(dāng)前路口最優(yōu)信號燈控制策略控制當(dāng)前路口的信號燈；

當(dāng)某一路口的擁堵值大于閾值，將該路口以及與該路口相連的各個(gè)路口組成一個(gè)區(qū)域，獲得該區(qū)域所有路口的數(shù)據(jù)信息，建立終端決策模型，所述終端決策模型依據(jù)該區(qū)域所有路口的數(shù)據(jù)信息，通過DQN算法得到該區(qū)域的區(qū)域最優(yōu)信號燈控制策略，然后暫停使用該區(qū)域的各個(gè)路口自身的路口最優(yōu)信號燈控制策略，采用所述區(qū)域最優(yōu)信號燈控制策略控制該區(qū)域各個(gè)路口的信號燈。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制方法,其特征在于，

獲取相鄰路口的數(shù)據(jù)信息，所述相鄰路口的數(shù)據(jù)信息包括相鄰路口的各個(gè)車道等待車流長度，擁堵值和所采取的信號燈控制策略，

構(gòu)建預(yù)測網(wǎng)絡(luò)，所述預(yù)測網(wǎng)絡(luò)根據(jù)當(dāng)前路口的數(shù)據(jù)信息以及相鄰路口的數(shù)據(jù)信息預(yù)測出t秒后當(dāng)前路口的各車道車流長度，并根據(jù)預(yù)測的各個(gè)車道車流長度計(jì)算獲得預(yù)測擁堵值；

當(dāng)某一路口的預(yù)測擁堵值或擁堵值大于閾值，將該路口以及與該路口相連的各個(gè)路口組成一個(gè)區(qū)域，獲得該區(qū)域所有路口的數(shù)據(jù)信息，建立終端決策模型，所述終端決策模型依據(jù)該區(qū)域所有路口的數(shù)據(jù)信息，通過DQN算法得到該區(qū)域的區(qū)域最優(yōu)信號燈控制策略，然后暫停使用該區(qū)域的各個(gè)路口自身的路口最優(yōu)信號燈控制策略，采用所述區(qū)域最優(yōu)信號燈控制策略控制該區(qū)域各個(gè)路口的信號燈。

3.根據(jù)權(quán)利要求2所述的基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制方法，其特征在于，當(dāng)所述區(qū)域各路口的預(yù)測擁堵值以及擁堵值都小于閾值，停止使用所述區(qū)域最優(yōu)信號燈控制策略，各個(gè)路口采用自身的路口最優(yōu)信號燈控制策略控制交通信號燈。

4.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制方法,其特征在于，所述擁堵值的計(jì)算方法為：

其中，L11表示路口東側(cè)直行和右轉(zhuǎn)道車流長度，L21表示路口西側(cè)直行和右轉(zhuǎn)道車流長度，L12表示路口東側(cè)左轉(zhuǎn)道車輛長度，L22表示路口西側(cè)左轉(zhuǎn)道車輛長度，L31表示路口南側(cè)直行和右轉(zhuǎn)道車輛長度，L41表示路口北側(cè)直行和右轉(zhuǎn)道車輛長度，L32表示路口南側(cè)左轉(zhuǎn)道車輛長度，L42表示路口北側(cè)左轉(zhuǎn)道車輛長度，L1表示路口東側(cè)單條道路加上西側(cè)單條道路的總長，L2表示路口南側(cè)單條道路加上北側(cè)單條道路的總長，α₁₁和α₁₂表示路口東西方向?qū)?yīng)車道的擁堵值，α₂₁和α₂₂表示路口南北方向?qū)?yīng)車道的擁堵值。

5.一種基于深度強(qiáng)化學(xué)習(xí)的智能交通信號燈防堵塞控制系統(tǒng)，其特征在于，所述系統(tǒng)包括：

路況信息獲取裝置，所述路況信息獲取裝置用于實(shí)時(shí)獲取當(dāng)前路口路況信息；

路口決策控制器，所述路口決策控制器與所述路況信息獲取裝置相連，所述路口決策控制器通過CNN算法處理所述路況信息，獲得當(dāng)前路口的各車道等待車流長度和通過當(dāng)前路口的車輛數(shù)目，并建立路口決策模型，所述路口決策模型根據(jù)各車道等待車流長度計(jì)算獲取各車道的擁堵值，并且，所述路口決策模型根據(jù)所述擁堵值以及所述通過當(dāng)前路口的車輛數(shù)目，結(jié)合DQN算法獲得當(dāng)前路口的路口最優(yōu)信號燈控制策略，通過當(dāng)前路口最優(yōu)信號燈控制策略控制當(dāng)前路口的信號燈；

終端決策器，所述終端決策器與所述路口決策控制器相連，用于獲取路口決策控制器的數(shù)據(jù)信息，所述終端決策器實(shí)時(shí)判斷各個(gè)路口的擁堵值是否大于閾值，當(dāng)某一路口的擁堵值大于閾值，終端決策器將該路口以及與該路口連接的各個(gè)路口組成一個(gè)區(qū)域，并接管所述區(qū)域的各個(gè)路口的決策權(quán)，所述終端決策器建立終端決策模型，所述終端決策模型依據(jù)該區(qū)域所有路口的數(shù)據(jù)信息，通過DQN算法得到該區(qū)域的區(qū)域最優(yōu)信號燈控制策略，采用所述區(qū)域最優(yōu)信號燈控制策略控制該區(qū)域各個(gè)路口的信號燈。