[發明專利]一種基于深度強化學習的區域邊界主交叉口信號控制方法有效

申請號：	202110541233.2	申請日：	2021-05-18
公開（公告）號：	CN113392577B	公開（公告）日：	2023-01-13
發明（設計）人：	王銀銀;金雷;楊大鵬;傅惠;周家詮;林梓潼;歐錦賽;黃立榮;吳嘉明	申請（專利權）人：	廣東工業大學
主分類號：	G06F30/27	分類號：	G06F30/27;G06F17/12;G06N3/04;G06N3/08;G08G1/08;G06F111/10
代理公司：	廣東廣信君達律師事務所 44329	代理人：	張生梅
地址：	510062 廣東***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于深度強化學習區域邊界交叉口信號控制方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于深度強化學習的區域邊界主交叉口信號控制方法，其特征在于，包括以下步驟：

S1、將路網分為關鍵區域與外圍區域兩大部分；

S2、基于Sumo搭建仿真平臺，導入真實的公交出行數據，合理設置社會車流量，借助仿真獲取關鍵區域宏觀基本圖；

S3、建立關鍵區域與外圍區域之間的交通流動態守恒方程；

S4、基于步驟S3建立的交通流動態守恒方程，結合模型預測控制MPC與遺傳算法，求取最優邊界控制參數；

S5、在求得最優邊界控制參數的情況下，進行深度強化學習，得到最優的區域邊界主交叉口信號控制方案，使得實際轉移車流量與預期轉移車流量之間的差距最小；

所述步驟S5中，深度強化學習以實際轉移車流量和預期轉移車流量的差值最小的目標，通過觀察關鍵區域與外圍區域之間的區域邊界主交叉口處所有入口車道的狀態進行信號控制；

其中，

預期轉移車流量通過下式求得：

PTV＝[U₁₂(k)·m₁₂(k)+U₂₁(k)·m₂₁(k)]·T；

上式中，PTV為預期轉移車流量，T為控制時長，U₁₂(k)和U₂₁(k)為控制時刻k的最優邊界控制參數，m₁₂(k)和m₂₁(k)為控制時刻k從1區到2區的轉移車流量及從2區到1區的轉移車流量；

實際轉移車流量通過下式求得：

上式中，為k時刻所有路口的轉移數之和；

目標函數為：

Z＝min(PTV-ATV)；

路口交通流動態方程如下：

n^hm(k+1)＝n^hm(k)-out^hm(k)+in^hm(k)

上式中，n^hm(k)是時刻k內交叉口h進口車道m的等待車輛數，out^hm(k)是k時刻內交叉口h進口道m的實際通過車輛數，in^hm(k)是時刻k內實際進入交叉口h進口道m的車輛數，n^hm(k+1)是k+1時刻內交叉口h進口道m的實際等待車輛數；out^hm(k+1)為k+1時刻通過交叉口h進口道m的車輛數，g_m(k)為k時刻內路口h,進口道m所對應的相位綠燈時間，表示當前相位所有的進口道的等待車輛總和，saturation表示交叉口h進口道m的飽和流率。

2.根據權利要求1所述的一種基于深度強化學習的區域邊界主交叉口信號控制方法，其特征在于，所述步驟S3建立的交通流動態守恒方程如下：

n_ij(k+1)＝n_ij(k)+d_ij(k)-m_ij(k)*μ_ij(k) (1)

n_ii(k+1)＝n_ii(k)+d_ii(k)-m_ji(k)*μ_ji(k)-m_ii(k) (2)

式(1)和式(2)中，n_ij(k+1)和n_ii(k+1)分別表示k+1時刻區域i內的目的地是區域j的車輛數和區域i內的目的地是區域i的車輛數，n_ij(k)和n_ii(k)分別表示k時刻區域i內的目的地是區域j的車輛數和區域i內的目的地是區域i的車輛數，d_ij(k)和d_ii(k)分別表示k-1到k時間段內區域i產生的目的地是區域j的車輛需求和區域i產生的目的地是區域i的車輛需求，m_ij(k)和m_ji(k)分別表示k-1到k時間段內區域i到區域j的轉移流和區域j到區域i的轉移流,μ_ij(k)和μ_ji(k)分別表示k-1到k時間段內區域i到區域j轉移流的控制比率和區域j到區域i轉移流的控制比率,m_ii(k)表示k-1到k時間段內區域i到區域i的完成流，區域i和區域j為兩個不同的區域。