[發明專利]交通信號燈的控制方法、裝置及計算機可讀存儲介質

有效

• 申請號: 201910299303.0
• 申請日: 2019-04-15
• 公開（公告）號: CN111833590B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 廖勇;劉慶敏;劉保鵬;王遠;張博
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G08G1/01
• 分類號: G08G1/01;G08G1/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 姜雍;劉劍波

本公開提供了一種交通信號燈的控制方法、裝置及計算機可讀存儲介質，涉及自動控制技術領域。其中的控制方法包括：采集路口的交通狀態信息；利用行動者Actor網絡對交通狀態信息進行處理，得到路口的交通信號燈的控制動作；其中，Actor網絡是利用行動者?評論家Actor?Critic算法訓練得到的，控制動作包括保持或切換交通信號燈的狀態；根據控制動作控制交通信號燈的狀態。本公開能夠根據路口的實際路況對交通信號燈進行實時控制，實現了對交通信號燈的動態配時，能夠有效緩解路口的交通擁堵情況。

技術領域

本公開涉及自動控制技術領域，特別涉及一種交通信號燈的控制方法、裝置及計算機可讀存儲介質。

背景技術

傳統的交通信號燈所采用的控制方式通常為定時控制。所謂定時控制，是指固定交通信號燈在路口各個方向上的綠燈時長及紅燈時長。

定時控制具體可分為單時段控制和多時段控制。在單時段控制方式下，交通信號燈在路口各個方向上的綠燈信號所占時間的比例是固定的。在多時段控制方式下，對于相同的時段而言，交通信號燈在路口各個方向上的綠燈信號所占時間的比例是相同的；對于不同的時段，交通信號燈在路口各個方向上的綠燈信號所占時間的比例是不同的。多時段控制方式可以在一定程度上緩解高峰時期路口的交通擁堵情況。

發明內容

發明人研究發現，傳統的交通信號燈只能根據預設的策略對交通信號燈的狀態進行控制，沒有考慮交通路況隨機性的特點，不能根據實際路況對交通信號燈的狀態控制進行實時調整。因此，傳統的交通信號燈難以適應交通流量波動的情況，會導致相對嚴重的交通擁堵。

本公開解決的一個技術問題是，如何實現對交通信號燈的動態配時，從而有效緩解路口的交通擁堵情況。

根據本公開實施例的一個方面，提供了一種交通信號燈的控制方法，包括：采集路口的交通狀態信息；利用行動者Actor網絡對交通狀態信息進行處理，得到路口的交通信號燈的控制動作；其中，Actor網絡是利用行動者-評論家Actor-Critic算法訓練得到的，控制動作包括保持或切換交通信號燈的狀態；根據控制動作控制交通信號燈的狀態。

在一些實施例中，還包括：檢測交通信號燈保持當前狀態的時長；在交通信號燈保持當前狀態的時長未超過預設最小時長的情況下，保持交通信號燈的當前狀態；在交通信號燈保持當前狀態的時長超過預設最小時長且未超過預設最大時長的情況下，重新執行權利要求1中的步驟；在交通信號燈保持當前狀態的時長超過預設最大時長的情況下，切換交通信號燈的狀態。

在一些實施例中，切換交通信號燈的狀態包括：按照預設的狀態切換順序，將交通信號燈從當前狀態切換至下一狀態。

在一些實施例中，交通狀態信息包括：交通信號燈的狀態、交通信號燈保持當前狀態的時長以及路口在各個方向上的最大排隊長度。

在一些實施例中，還包括：初始化Actor網絡的網絡參數；利用Actor網絡對上一周期的樣本交通狀態信息進行處理，得到交通信號燈基于上一周期的控制動作；根據交通信號燈基于上一周期的控制動作，確定交通信號燈在下一周期的狀態；根據上一周期路口的最大排隊長度及下一周期路口的最大排隊長度，確定交通信號燈基于上一周期的控制動作的貢獻值；利用Critic網絡對上一周期的樣本交通狀態信息進行處理，并根據處理結果及貢獻值更新Actor網絡的網絡參數。

在一些實施例中，Actor網絡與Critic網絡共享部分全連接層。

在一些實施例中，利用Critic網絡對上一周期的樣本交通狀態信息進行處理，并根據處理結果及貢獻值更新Actor網絡的網絡參數包括：在Critic網絡資源池中選擇業務負載最小的處理器及相應的Critic網絡；將上一周期的樣本交通狀態信息發送至業務負載最小的處理器及相應的Critic網絡，以便對上一周期的樣本交通狀態信息進行處理，并根據處理結果及貢獻值異步更新Actor網絡的網絡參數。