[發明專利]一種基于Actor-Critic的單交叉口交通信號控制方法

有效

• 申請號: 202011030399.X
• 申請日: 2020-09-27
• 公開（公告）號: CN112201060B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 全江偉;劉運杰;王喆冰;鄭喆;金智多;馮遠靜;李永強
• 申請（專利權）人: 航天科工廣信智能技術有限公司
• 主分類號: G08G1/08
• 分類號: G08G1/08;G08G1/01
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于Actor?Critic的單交叉口交通信號控制方法，包括如下步驟：1)獲取固定時間間隔的路網車輛位置信息和速度信息，以及對應時刻的信號燈狀態；2)數據預處理，獲得車輛隊列?信號燈狀態的集合；3)利用車輛隊列?信號燈狀態集，更新Actor網絡和Critic網絡參數；4)根據最終的收斂模型，可以得到基于Actor?Critic的單交叉口交通信號最優配時方案，即下一時刻的最優信號。與現有技術相比，本發明通過人工智能方法，獲取了交通運行過程中所隱藏的重要交通信息，最終得到了比傳統定時方法通行效率更高的配時方案。

技術領域

本發明涉及智能交通、最優控制領域，具體來說是一種基于Actor-Critic的單交叉口交通信號控制方法。

背景技術

在全球的大部分地區和城市，交通擁堵早已成為了一個棘手而復雜的問題，給人們的生活帶來了很多麻煩。盡管現在很多GPS導航會提醒駕駛員前方的擁堵情況，以及通行需要花費的時間(提前進行了信號的傳輸)，但是擁堵仍然是很難避免的。交通信號控制一般是指通過對信號燈的調節，來直接或間接的調控和引導車流，目的是保證人員和貨物的安全，提高交通網絡的整體運行效率。而日常生活中應用最廣泛的定時控制方法，它主要是根據不同時段從交通路網采集的歷史交通數據，使用數學方法來確定信號燈不同相位的持續時間，然而這種離線方法只考慮了長期的交通狀況，對交通的動態性卻沒有響應。

發明內容

為了緩解路口處的交通擁堵以及解決定時控制對交通動態性的無響應問題，借助實時獲取的交通信息，本發明提出一種基于當前路網車輛排隊信息和 Actor-Critic算法的信號燈配時優化方法，通過獲取的路網交通數據，基于Actor-Critic方法，設計了一種應對交通動態性的信號燈實時優化方案，以此提高交通流的運行效率。

本發明所采用的技術方案是：

一種基于Actor-Critic的單交叉口交通信號控制方法，包括以下步驟：

1)對于一段連續時間，每隔相同時間間隔step，獲取路網內的所有車輛的位置信息和速度信息，以及信號燈所處的燈態；

2)原始數據預處理，根據車輛的速度信息獲取處于停車狀態的車輛編號，通過停止車的位置信息獲取各條車道上的排隊狀態信息，最終獲取車輛隊列-信號燈狀態的集合{V_k,S_k}，其中，V_k為k時刻各個車道車輛的排隊長度集合，S_k為k時刻的信號燈狀態，k＝1,2,…,N，N為路網中進入交叉口的車道總數；

3)利用車輛隊列-信號燈狀態的集合{V_k,S_k}，根據Actor-Critic的方法，初始化關于策略的目標函數Q(V_t,S_t)以及S_t，其中，θ為參數化的策略，τ為一個采樣周期，Q(V_t,S_t)為參數化的值函數；

4)根據最終得到的神經網絡模型，可以給出基于Actor-Critic的單交叉口信號燈最優配時方案：在現實場景中，根據各車道中車輛的排隊信息和當前的燈態，通過下式確定下一個狀態所需的信號燈狀態信息：

S_next＝argmax(Q(V_now,S_now))

其中，S_next表示下個時刻要執行的信號燈狀態，V_now表示當前時刻的各個車道車輛的排隊長度集合，S_now表示當前時刻的信號燈狀態表示，Q(V_now,S_now)表示由當前時刻的各個車道車輛的排隊長度集合和信號燈狀態決定的Q值函數，argmax(Q(V_now,S_now))指的是使Q值函數取到最大值的信號燈狀態。