[發明專利]一種基于多智能體協作的多模式交通干線信號協調控制方法及裝置

有效

• 申請號: 202110331935.8
• 申請日: 2021-03-29
• 公開（公告）號: CN113299078B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 王昊;王雷震;董長印;楊朝友
• 申請（專利權）人: 東南大學;揚州市法馬智能設備有限公司
• 主分類號: G08G1/07
• 分類號: G08G1/07;G08G1/081;G08G1/01;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

本發明公開了一種基于多智能體協作的多模式交通干線信號協調控制方法及裝置，方法包括：多模式交通干線仿真標定與流量生成；干線各交叉口的信號控制多智能體設計；構建協作式值分解的多智能體強化學習框架；訓練輸出多模式交通干線各交叉口的智能體。本發明提供的方法將每個交叉口的多模式交通信號控制視為一個智能體，綜合考慮了交通干線各交叉口的協作，以干線整體的人流量和延誤為目標優化訓練交通信號控制智能體，為道路交通管理者提供管控依據，實現交通干線整體最優的目標，提升城市道路交通服務水平。

技術領域

本發明涉及城市交通信號控制領域，具體涉及一種基于多智能體協作的多模式交通干線信號協調控制方法及裝置。

背景技術

近年來，由于交通需求量的迅猛增長，致使道路擁擠堵塞、空氣污染加重、運輸效率下降，嚴重影響了城市的經濟發展和市民的日常生活。為緩解交通問題，交通干線信號協調控制是城市交通管控中優選的方式，合理的干線控制方法可以有效提升車輛速度、通行效率，減少油耗和尾氣排放。

傳統的交通干線信號協調控制以綠波模型為主，設置干線各交叉口使用公共周期時長，以車輛停車次數、綠波帶寬度、車輛延誤等為優化指標，計算每個交叉口的相序和相位差。然而此類方法很大程度上限制了單個交叉口的效率，使其為干線車輛利益讓步。已有研究中，中國專利已有研究中，中國專利202010793652.0通過對潮汐交通狀態干線目標路段建模，以加權吞吐量為優化目標，構建了干線雙向優化的模型，實現在系統通行能力最大化的基礎上，車均延誤最低的目標；同樣的，中國專利201910092239.9根據公交車的運行軌跡，在公交優先的策略基礎上，建立模型優化周期、相位差，實現社會車輛和公交的干線綠波。總體來說，現有研究偏向于干線車輛及公交的利益最大化，模型中犧牲了支路以及單點交叉口的效率，缺乏公交、行人及非機動車等多模式交通在干線的綜合考量，鮮有干線的單點交叉口在多模式交通自適應控制的基礎上進行協作，以實現多模式干線整體最優的微觀研究。

發明內容

發明目的：為了克服上述現有技術的不足，本發明目的在于提出一種基于多智能體協作的多模式交通干線信號協調控制方法及裝置，對目標干線進行多模式交通仿真標定與流量生成；設計干線各交叉口的信號控制智能體；構建協作式值分解的多智能體強化學習框架；訓練輸出多模式交通干線各交叉口的智能體；在單點多模式交通自適應控制基礎上，考慮交通干線各交叉口的協作，實現交通干線整體最優的目標。

技術方案：為解決上述技術問題，本發明采用的技術方案為：一種基于多智能體協作的多模式交通干線信號協調控制方法，包括如下步驟：

(1)獲取交通干線交叉口信息和多模式交通流量模式，根據以上數據使用仿真軟件對多模式交通干線進行仿真標定，還原多模式交通流量到達率。

(2)對干線中的每個交叉口生成一個信號控制智能體，交通干線n個交叉口對應n個智能體，智能體i讀取時刻t_k該交叉口包含多模式交通位置、排隊長度、速度信息的狀態將狀態輸入智能體i在時刻t_k時參數為的神經網絡，輸出交叉口智能體i在時刻t_k的動作相位其中，表示在神經網絡參數下，選用動作相位a_i且狀態為的情況下的價值函數，簡稱Q值，A_i表示在本交叉口i可以放行的動作相位集和，a_i表示A_i中的一個動作相位；

(3)初始化干線內所有智能體的神經網絡參數和經驗回放池，設定訓練輪數N_episode；

(4)初始化仿真的多模式交通干線流量到達率，設定初始仿真時間t₀，總仿真時間T；