[發明專利]交通信號控制方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202011120565.5
• 申請日: 2020-10-19
• 公開（公告）號: CN112309138A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 王魯晗;胡天風;胡智群;王剛;傅彬
• 申請（專利權）人: 智郵開源通信研究院（北京）有限公司
• 主分類號: G08G1/08
• 分類號: G08G1/08;G08G1/01
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 李成龍;宋海龍

本公開實施例公開了一種交通信號控制方法、裝置、電子設備及可讀存儲介質，其中，該方法包括獲取當前路口的當前階段的狀態信息；接收所述當前路口的臨近路口的前一階段的控制動作；確定所述臨近路口的前一階段的控制動作的編碼的平均值；基于所述當前路口的當前階段的狀態信息和所述臨近路口的前一階段的控制動作的編碼的平均值，確定所述當前路口的當前階段的控制動作，從而將全體智能體與交通流量環境的交互作為一個隨機博弈問題，通過平均場近似來減小動作空間的維度，將本智能體與其他智能體的交互問題轉化為本智能體與臨近智能體的某種平均效應的交互問題，避免了“維度災難”問題。

技術領域

本公開涉及智慧交通技術領域，具體涉及一種交通信號控制方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著中國社會經濟的快速發展，城市居民汽車保有量的不斷提高，道路擁塞的現象越來越頻繁的出現，這一問題也直接影響著城市居民的生活質量和出行體驗。作為交通流量管理的關鍵部分，交通信號燈配時在交通流量控制、減緩道路堵塞、區域交通流量協調起著重要作用。

基于深度強化學習的交通燈智能調控研究將深度強化學習算法引入到交通燈配時中，在每個路口搭建一個智能體，獲取當前路口的車流信息作為狀態，通過深度強化學習網絡輸出動作以控制交通燈的配時方案，再設定排隊長度、等待時間等交通性能指標作為獎勵以指導智能體的學習。這類研究主要利用深度強化學習可應用于動態化、不確定化場景的特點，無需推導復雜的數學模型。

但是，本發明人發現，現有技術中至少存在如下問題：如果將各個路口的智能體當成獨立個體，各智能體收集局部狀態信息，獨立地做出動作決策，缺少智能體之間的狀態、動作信息交互，從而容易產生局部的交通堵塞，不能達到較好的區域協調效果；如果將全部智能體與環境之間的交互當成一個隨機博弈問題，智能體需要處理的動作空間包含全體智能體的動作選擇，在處理多路口甚至大規模路網的情況下，會導致動作空間的維度隨著交叉路口的數量增多而指數增長，引發“維度災難”。

發明內容

為了解決相關技術中的問題，本公開實施例提供一種交通信號控制方法、裝置、電子設備及可讀存儲介質。

第一方面，本公開實施例中提供了一種交通信號控制方法。

具體地，所述交通信號控制方法，包括：

獲取當前路口的當前階段的狀態信息；

接收所述當前路口的臨近路口的前一階段的控制動作；

確定所述臨近路口的前一階段的控制動作的編碼的平均值；

基于所述當前路口的當前階段的狀態信息和所述臨近路口的前一階段的控制動作的編碼的平均值，確定所述當前路口的當前階段的控制動作。

結合第一方面，本公開在第一方面的第一種實現方式中，所述狀態信息包括當前路口范圍內的多個子區域的車輛狀態，所述車輛狀態包括所述子區域內是否存在車輛以及所述子區域內車輛的速度。

結合第一方面的第一種實現方式，本公開在第一方面的第二種實現方式中，所述獲取當前路口的當前階段的狀態信息包括：

確定多個所述子區域中每個子區域所屬的車道的屬性；

采集所述當前路口范圍內的多個子區域的車輛狀態；

按照所述子區域所屬車道的屬性，將所述多個子區域的車輛狀態映射為狀態矩陣，作為所述當前路口的當前階段的狀態信息。

結合第一方面，本公開在第一方面的第三種實現方式中，所述臨近路口包括以下至少一種：

到所述當前路口經過的路口數量小于第一閾值的路口；

與所述當前路口的直線距離小于第二閾值的路口；

沿道路到達所述當前路口的距離小于第三閾值的路口。