[發明專利]一種基于深度強化學習的區域邊界主交叉口信號控制方法

有效

• 申請號: 202110541233.2
• 申請日: 2021-05-18
• 公開（公告）號: CN113392577B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 王銀銀;金雷;楊大鵬;傅惠;周家詮;林梓潼;歐錦賽;黃立榮;吳嘉明
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F17/12;G06N3/04;G06N3/08;G08G1/08;G06F111/10
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 張生梅

本發明公開了一種基于深度強化學習的區域邊界主交叉口信號控制方法，包括步驟：將路網分為關鍵區域與外圍區域兩大部分；基于Sumo搭建仿真平臺，導入真實的公交出行數據，合理設置社會車流量，借助仿真獲取關鍵區域MFD；建立關鍵區域與外圍區域之間的交通流動態守恒方程；基于步驟S3建立的交通流動態守恒方程，結合模型預測控制MPC與遺傳算法，求取最優邊界控制參數；在求得最優邊界控制參數的情況下，進行深度強化學習，得到最優的區域邊界主交叉口信號控制方案，使得實際轉移車流量與預期轉移車流量之間的差距最小。本發明實現了城市路網的邊界交叉口信號智能控制，動態的調節各區域間的進出比，以達到緩解交通擁堵的目的。

技術領域

本發明涉及智能交通的技術領域，尤其涉及到一種基于深度強化學習的區域邊界主交叉口信號控制方法。

背景技術

隨著經濟的快速發展，城市交通擁堵問題變得非常嚴重，造成了巨大的經濟損失，尤其是在中國。道路交叉口的短時交通需求具有時變性、非線性、復雜性等特征，很難建立起精確的數學模型，簡單的定時控制、感應控制方法難以適應交通流量的動態、復雜、快速變化，控制效果不好。智能交通的發展，利用人工智能知識，加強對城市交通信號的有效控制，可以有效緩解城市擁堵。

目前存在的邊界控制方案：以兩個交通區域為研究對象的一種最優邊界控制方法，即模型預測控制法(MPC)，構建一個預測控制模型，最后以城市不同擁擠程度下MFD的穩定性作為分析指標，證明該方法比反饋調節算法更優。

目前存在的信號控制方案：一種基于信號燈組的交通信號強化學習控制方法，其每個流向的信號燈組為一個RL智能體，并采用Q學習算法根據交通流狀態自動優化相位結構及順序。

雖然基于MFD理論的邊界控制已有較為成熟的發展歷程，但也存在以下不足：以往的研究多是確定控制方案使路網運行效率最大化，并不從系統角度考慮尋找一個策略使路網運行效率在研究時段內整體最高。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于深度強化學習的區域邊界主交叉口信號控制方法，以提升城市道路對居民出行的服務能力為導向，圍繞基于MFD邊界控制理論，開展相應調研、仿真路網搭建、數據采集處理、人工智能算法設計與優化，旨在實現城市路網的邊界交叉口信號智能控制，動態的調節各區域間的進出比，以達到緩解交通擁堵的目的。本發明有利于對交通信息資源的管理和利用，提升城市道路基礎設施、路況信息的服務質量，為社會公眾提供安全、優質、便捷、高效的運輸服務。

為實現上述目的，本發明所提供的技術方案為：

一種基于深度強化學習的區域邊界主交叉口信號控制方法，包括以下步驟：

S1、將路網分為關鍵區域與外圍區域兩大部分；

S2、基于Sumo搭建仿真平臺，導入真實的公交出行數據，合理設置社會車流量，借助仿真獲取關鍵區域MFD；

S3、建立關鍵區域與外圍區域之間的交通流動態守恒方程；

S4、基于步驟S3建立的交通流動態守恒方程，結合模型預測控制MPC與遺傳算法，求取最優邊界控制參數；

S5、在求得最優邊界控制參數的情況下，進行深度強化學習，得到最優的區域邊界主交叉口信號控制方案，使得實際轉移車流量與預期轉移車流量之間的差距最小。

進一步地，所述步驟S3建立的狀態平衡方程如下：

n_ij(k+1)＝n_ij(k)+d_ij(k)-m_ij(k)*μ_ij(k) (1)