[發明專利]一種基于Q學習的交通信號控制方法在審
| 申請號： | 201911301069.7 | 申請日： | 2019-12-17 |
| 公開（公告）號： | CN111081035A | 公開（公告）日： | 2020-04-28 |
| 發明（設計）人： | 胡春良;潘翔;柏志瑋;鄧忠飛;胡雅旭;張慶鵬;謝明亮 | 申請（專利權）人： | 揚州市鑫通智能信息技術有限公司 |
| 主分類號： | G08G1/07 | 分類號： | G08G1/07 |
| 代理公司： | 北京棘龍知識產權代理有限公司 11740 | 代理人： | 謝靜 |
| 地址： | 225600 江蘇省*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 學習 交通信號 控制 方法 | ||
1.一種基于Q學習的交通信號控制方法，其特征在于，包括以下步驟：
1)信息采集；對于每一個時刻，獲取交叉口的所有車道的排隊車輛信息，以及信號燈的燈態信息并按照連續時刻一一對應；
2)原始車輛燈態數據預處理；獲得排隊車輛-燈態數據集{Vk,Sk,Vk+1}，其中，Vk為第k時刻各個車道排隊車輛的個數，k＝1,2,…,K，K為該數據集合中的數據個數；
3)利用排隊車輛-燈態數據集{Vk,Sk,Vk+1}，更新Q學習中的Q值表
4)根據得到的Q值表，可以給出基于Q學習的最優控制方案：在實際信號控制中，利用傳感器獲取當前路網中的排隊車輛信息Vnow，根據Q值表，得到下一步應當執行的信號燈狀態Snext。
2.根據權利要求1所述的基于Q學習的交通信號控制方法，其特征在于：所述K為該數據集合中的數據個數，計算過程為，剔除明顯異常數據，如排隊車輛變化量不符合常識的數據，將過車時刻數據按照時間順序梳理，獲取數據集合{Vk,Sk,Vk+1}。
3.根據權利要求1所述的基于Q學習的交通信號控制方法，其特征在于：所述步驟3中對每個V,S初始化表項為，對于每一個數據(Vk,Sk,Vk+1)，定義Q學習中的獎勵值；
r＝-Vk。
4.根據權利要求3所述的基于Q學習的交通信號控制方法，其特征在于：利用車輛-燈態數據集{Vk,Sk,Vk+1}中每一個數據對Q值表按照下式更新表項，其中折扣因子γ＝0.99；
5.根據權利要求4所述的基于Q學習的交通信號控制方法，其特征在于：所述重復權利要求4步驟并相鄰計算兩次Q值表的差值ε，差值計算公式如下，直到ε0.001；
6.根據權利要求4所述的基于Q學習的交通信號控制方法，其特征在于：
所述Snext的計算公式為；
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于揚州市鑫通智能信息技術有限公司，未經揚州市鑫通智能信息技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911301069.7/1.html，轉載請聲明來源鉆瓜專利網。
