[發明專利]基于深度增強網絡的路網信號控制方法及裝置

有效

• 申請號: 201710787381.6
• 申請日: 2017-09-04
• 公開（公告）號: CN107705557B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 吳建平;許明
• 申請（專利權）人: 清華大學
• 主分類號: G08G1/01
• 分類號: G08G1/01;G08G1/08;G06N3/04;G06N3/08;G06Q10/04;G06Q50/26
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種基于深度增強網絡的路網信號控制方法，其特征在于，包括以下步驟：

建立包含流量通道和智能體通道的深度神經網絡模型，其中，所述流量通道包括三模式張量模型，所述三模式張量模型中包含空間維度模式、時間維度模式和流量及速度維度模式；

在所述流量通道輸入路網流量狀態信息；

在所述智能體通道輸入當前路口的信號燈相位設置信息，以及距離所述當前路口預設跳數范圍內的相鄰路口的信號燈相位設置信息；以及

控制所述深度神經網絡模型以預設頻率輸出所述當前路口的信號燈的相位設置，并以路網運行車輛的平均延誤作為回報，通過與交通仿真軟件實時在線交互，以迭代的方式逼近Q函數以實現優化控制策略，其中，所述Q函數為動作-值函數。

2.根據權利要求1所述的基于深度增強網絡的路網信號控制方法，其特征在于，所述以路網運行車輛的平均延誤作為回報，通過與交通仿真軟件實時在線交互，以迭代的方式逼近Q函數以實現優化控制策略，包括：

利用交通仿真軟件Flowsim對待控的路網區域進行建模；

控制所述深度神經網絡模型與所述Flowsim進行交互實現策略預學習，以根據學習結果將所述深度神經網絡模型收斂；

根據所述路網運行車輛的平均延誤對路網中各路口的信號燈進行相位設置；

讀取路網中路段延誤信息；

根據所述路段延誤信息優化所述控制策略。

3.根據權利要求1所述的基于深度增強網絡的路網信號控制方法，其特征在于，所述以迭代的方式逼近Q函數以實現優化控制策略包括：

通過公式(1)獲取所述深度神經網絡模型的Q值函數預測值和目標Q值函數的誤差值：

其中，所述公式(1)包括：

其中，θ表示網絡權值向量，s'和a'為下一個時刻的狀態和動作，s和a為當前時刻的狀態和動作，r為當前動作的回報，為目標Q值函數，Q(s,a,θ)為Q值函數預測值，L(θ)表示誤差函數，E_(s,a,r,s')表示求期望值；

根據公式(2)得到的樣例值更新所述Q值函數，其中，所述公式(2)包括：

4.根據權利要求3所述的基于深度增強網絡的路網信號控制方法，其特征在于，還包括：

通過公式(3)獲取當前時刻t的當前動作的回報r：

其中，N為調控區域內路段的路口總數量，c_i為路口i的設計通行能力，l_i為路口i的流量大小，為路口i的排隊長度額定值，d_i為路口i的實際排隊長度，τ、β和η為常數。

5.根據權利要求1所述的基于深度增強網絡的路網信號控制方法，其特征在于，所述深度神經網絡模型應用在智能體中，每個智能體由一個所述深度神經網絡模型構成，其中，路網的每一個路口設置有所述智能體，包括：

向所述智能體輸入所述路網流量狀態信息；

輸入路網中每個路口的信號燈相位設置信息；

通過所述深度神經網絡模型的前饋計算結果設置信息控制路網信號。

6.一種基于深度增強網絡的路網信號控制裝置，其特征在于，包括

建立模塊，用于建立包含流量通道和智能體通道的深度神經網絡模型，其中，所述流量通道包括三模式張量模型，所述三模式張量模型中包含空間維度模式、時間維度模式和流量及速度維度模式；

第一輸入模塊，用于在所述流量通道輸入路網流量狀態信息；

第二輸入模塊，用于在所述智能體通道輸入當前路口的相位設置信息，以及距離所述當前路口預設跳數范圍內的相鄰路口的相位設置信息；

訓練模塊，用于控制所述深度神經網絡模型以預設頻率輸出所述當前路口的信號燈的相位設置，并以路網運行車輛的平均延誤作為回報，通過與交通仿真軟件實時在線交互，以迭代的方式逼近Q函數以實現優化控制策略,其中，所述Q函數為動作-值函數。