[發明專利]一種智能交通信號控制方法

在審

• 申請號: 202110717477.1
• 申請日: 2021-06-28
• 公開（公告）號: CN113487860A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 劉鵬;張真;曹旭東;曹騮;時晨皓
• 申請（專利權）人: 南京云創大數據科技股份有限公司
• 主分類號: G08G1/01
• 分類號: G08G1/01;G08G1/08;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

1.一種智能交通信號控制方法，其特征在于，包括：

步驟1、獲取路網車流運行數據并評價當前交通擁堵值；

步驟2、構建并訓練交通信號控制模型；

步驟3、利用訓練好的交通信號控制模型判斷路網狀態并獲得能減少路網交通擁堵的最佳交通信號控制策略。

2.根據權利要求1所述的一種智能交通信號控制方法，其特征在于，步驟1所述路網車流運行數據包括路網車流運行狀態數據S和信號燈工作狀態數據；

所述路網車流運行狀態數據S包括路網整體交通運行狀態數據、目標路口周邊區域交通運行狀態數據和目標路口各進口道交通運行狀態數據。

3.根據權利要求1所述的一種智能交通信號控制方法，其特征在于，步驟2包括以下步驟：

步驟(a)利用卷積神經網絡搭建actor動作神經網絡，用于輸出信號相位a，并搭建critic評估神經網絡，用于預測未來交通擁堵評估值v，actor動作神經網絡和critic評估神經網絡共同組成交通信號控制模型；

步驟(b)將獲取到的路網車流運行數據s輸入actor動作神經網絡，輸出信號相位a，基于信號相位a，得到新的交通路網車流運行數據s’，和對應的路網交通r擁堵值；

步驟(c)在critic評估神經網絡中分別輸入路網車流運行數據s和s’得到路網交通評估值v(s)和v(s’)；

步驟(d)計算時序差分誤差TD_error：td_ε(t)＝r_t+γv(s_t+1)-v(s_t)；

步驟(e)使用均方差損失函數c_loss＝∑(td_ε(t)²)作為critic評估神經網絡參數的梯度更新方向；

步驟(f)采用動作損失函數作為actor動作神經網絡參數更新的方向；

步驟(h)將參數更新后的critic評估神經網絡、actor動作神經網絡再次用于新一輪的信號相位輸出和交通狀態評估，即循環步驟(b)～(f)實現模型的迭代訓練，最終得到一個訓練完成的交通信號控制模型。

4.根據權利要求2所述的一種智能交通信號控制方法，其特征在于，步驟2所述交通信號控制模型包括actor動作神經網絡和critic評估神經網絡；

所述actor動作神經網絡用于在與真實路網環境進行路網車流運行數據交互的基礎上產生信號控制動作，其輸入為車流運行狀態數據S，輸出為各種信號控制相位選擇的概率，actor動作網絡具體為：

f_π(θ)(s)＝P(a|s,θ)

其中，f_π(θ)表示actor動作神經網絡，θ表示actor動作神經網絡參數，P(a|s,θ)表示在車流運行狀態S條件下actor動作神經網絡輸出信號控制動作a的概率，所述信號控制動作即為路網車流運行數據；

所述critic評估神經網絡用于評估actor動作神經網絡的輸出表現，判斷當前狀態下采取actor動作神經網絡輸出的信號控制動作未來可能取得的收益，并指導actor動作神經網絡下一時刻的信號控制動作，critic評估神經網絡具體為：

v_π(w)(s)＝v(s,w)

其中，v_π(w)表示critic評估神經網絡，w表示critic評估神經網絡參數，v(s,w)表示在actor動作神經網絡輸出的信號控制動作下從車流運行狀態未來可能達到的期望價值，即預測擁堵值。

5.根據權利要求3所述的一種智能交通信號控制方法，其特征在于，使用均方差損失函數作為所述critic評估神經網絡參數w的梯度更新方向，所述均方差損失函數為：

c_loss＝∑(td_ε(t)²)

其中，c_loss表示critic評估神經網絡的損失函數，即為時序差分誤差的平方和；

更新actor動作神經網絡參數θ，其動作損失函數公式如下：

其中，α表示學習率，即梯度更新的幅度，N表示batch size，即一批訓練樣本的數量，θ表示actor動作神經網絡參數，P(a|s,θ)表示在車流運行狀態S條件下actor動作神經網絡輸出信號控制動作a的概率。