[發明專利]基于深度強化學習單路口交通信號控制方法、系統、裝置

有效

• 申請號: 201910629489.1
• 申請日: 2019-07-12
• 公開（公告）號: CN110428615B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 呂宜生;柴嘉駿;于銘瑞;陳圓圓;熊剛;朱鳳華;王飛躍
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G08G1/01
• 分類號: G08G1/01;G08G1/08;G06N20/00
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于城市交通控制領域，具體涉及了一種基于深度強化學習單路口交通信號控制方法、系統、裝置，旨在解決復雜交通狀況的交通信號控制效果不好的問題。本發明方法包括：建立微觀交通仿真環境并定義參數，設定評判網絡、交通信號生成網絡；基于當前階段以及前一階段數據計算評判網絡的訓練誤差并更新網絡參數；基于更新后的評判網絡、當前階段以及前一階段數據，計算更新后的評判網絡訓練誤差，并更新評判網絡、交通信號生成網絡參數；采用訓練好的交通信號生成網絡獲取交叉口信號燈下一相位時長。本發明減少了事先了解路口車流量信息的調研工作，并能夠隨路口車流量需求改變而及時做出調整，大大提高了復雜交通狀況的交通信號控制的效果。

技術領域

本發明屬于城市交通控制領域，具體涉及了一種基于深度強化學習單路口交通信號控制方法、系統、裝置。

背景技術

交通信號控制是當前城市交通管理與控制的重要手段。合理的交通信號控制策略不僅可以提高交通系統運行效率，還可有效減少交通事故的發生。道路交叉口的短時交通需求具有時變性、非線性、復雜性等特征，很難建立起精確的數學模型，簡單的定時控制、感應控制方法難以適應交通流量的動態、復雜、快速變化，控制效果不好。

深度強化學習方法將深度學習和強化學習技術融合在一起，結合了深度學習的特征表示、預測和強化學習的決策能力，在棋類、機器人控制等領域取得了廣泛的應用。如果將深度強化學習應用到路口交通信號控制，使得深度強化學習可以通過與環境自主交互、學習得到最優或次優的交通信號控制策略，適應不同的交通需求，那么將會提高交通信號控制效果，有效應對復雜交通狀況所帶來的交通信號控制挑戰。

總的來說，現有技術難以適應交通流量的動態、復雜、快速變化，控制效果不好，無法有效提高交通系統運行效率。

發明內容

為了解決現有技術中的上述問題，即復雜交通狀況的交通信號控制效果不好的問題，本發明提供了一種基于深度強化學習單路口交通信號控制方法，該控制方法包括：

步驟S10，獲取當前交叉口交通狀態信息；

步驟S20，基于所述當前時刻交叉口交通狀態信息，采用交通信號生成網絡計算交叉口信號燈下一相位時長；

其中，所述交通信號生成網絡基于深度強化學習方法訓練，包括：

步驟B10，根據獲取的交叉口交通狀態信息建立交叉口微觀交通仿真環境；針對每個交通相位，定義深度強化學習模型的獎勵、動作以及狀態，設定評判網絡和交通信號生成網絡；

步驟B20，將所述深度強化學習模型應用于所述交叉口微觀交通仿真環境的路口，采用所述交通信號生成網絡在設定的動作取值范圍內輸出動作獲得交叉口信號燈下一相位時長，并獲取第一預設數量的交叉口交通狀態信息元組作為訓練數據；

步驟B30，獲取當前階段第二預設數量的交叉口交通狀態信息元組并結合所述訓練數據，采用所述交通信號生成網絡在設定的動作取值范圍內輸出動作獲得交叉口信號燈下一相位時長，并計算所述評判網絡的訓練誤差值；

步驟B40，更新所述評判網絡的參數并重復執行步驟B30直至達到第一預設訓練次數，獲得第一評判網絡；

步驟B50，獲取當前階段第三預設數量的交叉口交通狀態信息元組并結合所述第二預設數量的交叉口交通狀態信息元組、所述訓練數據，采用所述交通信號生成網絡獲得交叉口信號燈下一相位時長，并計算所述第一評判網絡的訓練誤差值；

步驟B60，更新所述第一評判網絡以及交通信號生成網絡的參數并重復執行步驟B50直至達到第二預設訓練次數，獲得訓練好的交通信號生成網絡。

在一些優選的實施例中，所述交叉口微觀交通仿真環境包括：

交叉口車道數、進口道長度、渠化、相位組成、交叉口車流量、車流組成、車流轉向。