[發明專利]一種基于物聯網設備的強化學習可變時長信號燈控制方法

有效

• 申請號: 202110067478.6
• 申請日: 2021-01-19
• 公開（公告）號: CN112927522B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 陳銘松;張雯倩;趙吳攀;葉豫桐;胡銘;韓定定
• 申請（專利權）人: 華東師范大學
• 主分類號: G08G1/07
• 分類號: G08G1/07;G08G1/08;G08G1/085;G16Y40/35
• 代理公司: 上海德禾翰通律師事務所 31319
• 代理人: 夏思秋

本發明提出了一種基于物聯網設備的強化學習可變時長信號燈控制方法，主要包含以下幾方面的內容：設計了一種基于交叉路口“強度”概念的強化學習方法，利用物聯網設備采集到的各種實時交通信息(如車輛的位置，速度等)來控制信號燈的相位選擇。同時可根據各條車道上的車輛數量選擇一個最合理的綠燈時長。本發明能夠在交通動態變化的情況下快速地收斂到一個優秀的信號燈控制策略，極大地縮短策略的學習時間并提升策略的控制質量。

技術領域

本發明屬于計算機技術領域，涉及深度強化學習算法以及信號燈控制問題，尤其涉及在高度復雜的實時交通環境中，根據物聯網設備可獲取的實時交通數據學習生成一個有效的信號燈控制策略。

背景技術

近年來,隨著我國汽車持有量的迅猛增加,越來越多的道路交通問題頻繁出現，比如交通規劃問題、道路安全問題、道路擁塞問題、交通管制問題等等。交通擁堵一直是設計高效基礎設施的關鍵問題，但由于交通需求的快速增長，交通擁堵現象已經成為一個突出的問題。此外交通阻塞還帶來了交通環境污染，交通治安混亂等一系列問題，嚴重影響了人們的出行質量和生活質量。而交叉路口的信號燈作為控制交通的最小單位，如何制定合理的控制策略成為研究的重點。

傳統的固定邏輯的交通信號控制器使用預先定義的信號相位和綠燈時間來控制信號燈，不能根據交通情況的變化而做出靈活調整，這在交通流動態變化的背景下很難有效地對交通進行控制和引導。因此如何根據交通狀況實時地控制信號燈，從而達到對總體交通流量的動態控制，是目前的研究熱點之一。強化學習作為一種“試錯”的學習方法，目前越來越多地被應用到信號燈控制的問題上來。

然而由于不精確的建模，現有的基于強化學習的信號燈控制方法難以快速地從復雜的交通信息中提取出有效內容，以引導模型收斂到一個優秀的控制策略。同時，現有的方法為了簡化交通建模，通常為信號燈設置固定的綠燈時長，這實際上造成了控制時間的浪費。因此，如何設計準確合理的強化學習方法，以快速學習到一個有效的可變時長信號燈控制策略已成為亟待解決的問題。

發明內容

為了解決上述技術的不足，本發明的目的是提供一種新的基于物聯網設備的強化學習可變時長信號燈控制方法，設計了一種基于交叉路口“強度”概念的強化學習方法，利用物聯網設備采集到的各種實時交通信息(如車輛的位置，速度等)來控制信號燈的相位選擇。同時可根據各條車道上的車輛數量選擇一個最合理的綠燈時長。

本發明方法包括以下具體步驟：

步驟1：基于物聯網設備獲取實時交通數據，對獲取的交通信息進行處理，根據采集到的交通數據生成新定義的強度信息；物聯網設備包括測速儀和傳感器；實時交通數據包括車輛的位置和速度；強度信息包括車輛、車道、動作、相位和路口的強度。

經過廣泛的調查研究發現，目前的大部分強化學習方法都傾向于設計復雜的狀態以包括盡可能多的交通信息，然而復雜的設計通常伴隨著漫長的學習過程。本發明在充分考慮各種交通數據的情況下，提出了一個全新的“強度”的概念，在物聯網設備可獲取的車輛位置、速度數據的基礎上，可計算車輛、車道、動作、相位和路口的強度?；趶姸鹊亩x來設計強化學習方法可以大大縮短策略學習過程。

首先定義車輛的強度。假設當前車輛速度為v,當前車道可允許的最大行駛速度為v_max，車道長度為L,車輛距離路口距離為x,并引入權重系數δ，則此時車輛強度為：

在此基礎上，本發明定義車道強度為當前車道上所有車輛強度之和，即vehicle_i表示車道lane上的第i輛車，表示車道lane上的第i輛車的強度。

動作強度為當前動作下“駛進路口的車道強度”與“駛出路口的車道強度的平均值”的差值，即