[發明專利]基于深度強化學習的高速公路道路協同控制系統及方法

有效

• 申請號: 202011202148.5
• 申請日: 2020-11-02
• 公開（公告）號: CN112289044B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 王翀
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G08G1/08
• 分類號: G08G1/08;G08G1/01;G06N3/08;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 蘇虹

本發明公開了一種基于深度強化學習的高速公路道路協同控制系統及方法，系統包括交通信息交互模塊、交通控制模塊、深度學習網絡訓練模塊以及若干可變限速和匝道控制單元，通過信息交互模塊獲取道路的交通狀態，再傳遞給交通控制模塊。后者通過訓練模塊不斷優化控制策略，并采用具有actor?critic架構的深度強化學習算法保證訓練過程的穩定性。本發明能同時控制系統中的所有交通控制單元，且不會造成交通狀態空間爆炸等問題，能保障車輛以較高速度通過瓶頸路段，且不會因為排隊等問題影響周邊道路車輛的通行。

技術領域

本發明涉及交通控制與智能交通技術領域，特別是涉及一種基于深度強化學習的高速公路主線道路和入口匝道協同控制系統及方法。

背景技術

高速公路在高峰時段呈現出常發性、周期性、長距離的交通擁堵，其中，高速公路入口匝道及相鄰主線道路已成為典型的高速公路瓶頸區域。由于早期的路網規劃可能存在不合理之處，且道路改建的困難較大，所以對高速公路匝道和相鄰主線道路進行協同管控，是改善道路通行效率，提升行車安全的重要方式。

現有的協同控制方法主要以模型預測控制或反饋式控制方法為主。模型預測控制方法一般要先從實際交通數據中提取特征變量，再建立交通流模型。由于實際交通狀況具有高度的非線性和隨機性，難以建立精確的交通預測模型，因此較難在復雜場景中取得良好的建模效果。此外，對于交通狀態的細節也難以取得較好的刻畫效果；另一方面，反饋式控制方法具有安裝靈活，不依賴模型等特點，但是其控制效果有滯后性，可能造成交通流的二次擾動。

因此，提出一種合理、精細的匝道和主線交通協同控制系統，不僅有助于拓展現有的交通控制理論水平，并且對提升高速公路的通行效率和安全有重要意義。深度強化學習作為機器學習的一個重要分支，不需對交通環境進行精確的建模，而是通過智能體和環境的不斷交互來獲得對控制策略的反饋，并可基于長期的反饋結果學習不同的隨機交通環境，最終獲得各種動態交通環境下的最優控制策略。但是，深度強化學習在處理協同控制時存在以下問題：(1)多智能體協同時的同步控制問題。例如，匝道信號燈的周期和可變限速控制的周期不一致，兩者如何統一；(2)現有的獎勵函數容易受到交通環境中隨機擾動的影響；(3)現有技術較少考慮車輛在入口匝道的排隊問題，會導致周邊道路的擁堵。(4)傳統的深度強化學習技術存在固有缺陷，處理多智能體協同控制時容易造成行為空間狀態爆炸等問題。

發明內容

發明目的：針對現有技術中的不足，本發明的目的是提供一種基于深度強化學習的高速公路道路協同控制系統及方法，該系統是一種基于深度強化學習的高速公路主線和匝道協同控制系統和方法，綜合考慮了車輛在高速公路上的旅行時間，進入高速公路前的等待時間，以及車輛的排隊長度等因素，可以讓車輛以較高速度通過瓶頸路段的同時，不會因為排隊等問題影響周邊道路上車輛的通行；可以解決現有強化學習技術的狀態空間爆炸的問題，以及容易陷入局部最優控制的問題。

技術方案：本發明的一種基于深度強化學習的高速公路主線和匝道協同控制系統，包括交通信息交互模塊，交通控制模塊，深度學習神經網絡訓練模塊，以及若干交通控制單元；

所述交通信息交互模塊，用于采集道路的觀測信息o_t，并轉化為可用于深度強化學習的交通狀態信息s_t發送給交通控制模塊，以及接收交通控制模塊和交通控制單元的指令并發送給管轄范圍內的車輛。其中，交通信息交互模塊包括若干路側單元(Road-sideUnit，RSU)，高速公路主線及入口匝道的每條等距離子路段均配置有采集該子路段交通狀態信息的路側單元，采集的交通狀態信息包括相應子路段的車輛密度、平均速度、排隊長度。