[發(fā)明專利]一種基于Q學(xué)習(xí)的改進(jìn)交通信號控制方法

在審

• 申請?zhí)枺?/td>: 201610135744.3
• 申請日: 2016-03-10
• 公開（公告）號: CN105654744A
• 公開（公告）日: 2016-06-08
• 發(fā)明（設(shè)計(jì)）人: 蔣昌俊;喻劍;閆春鋼;章昭輝;葉晨;王成;陳德基;畢卓;張辰
• 申請（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號: G08G1/081
• 分類號: G08G1/081;G08G1/08
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 宣慧蘭

1.一種基于Q學(xué)習(xí)的改進(jìn)交通信號控制方法，其特征在于，包括以下步驟：

1)通過在模擬環(huán)境下獲取區(qū)域內(nèi)所有路口對應(yīng)的初始lookup表，所述的初始lookup表包括環(huán)境信息state、路口行為action以及對應(yīng)的Q值，環(huán)境信息state包括本地路口local和全局路口global的當(dāng)前信號相位、本路口紅燈方向上隊(duì)列長度和綠燈方向上通行車流量數(shù)據(jù)，路口行為action包括保持當(dāng)前相位和切換當(dāng)前相位，所述的Q值由路口的擁堵情況決定，所述的lookup表為：

其中，N為總環(huán)境信息數(shù)，LV₁、LV₂、GV₁、GV₂為對應(yīng)的Q值；

2)在現(xiàn)實(shí)交通環(huán)境下通過安裝在各交通路口的感應(yīng)器持續(xù)檢測所有交通路口的環(huán)境信息；

3)在區(qū)域內(nèi)選擇一個本地路口，并根據(jù)交通路口的環(huán)境信息和初始的lookup表，采用路口信號切換算法判斷本地路口是否需要進(jìn)行信號切換，并根據(jù)Q值更新函數(shù)對初始lookup表進(jìn)行更新，路口信號切換算法包括以下步驟：

31)根據(jù)檢測到的本地路口的環(huán)境信息，查詢lookup表中對應(yīng)的本地路口local和全局路口global不同的路口行為Action對應(yīng)的Q值，即LV₁、LV₂、GV₁和GV₂；

32)當(dāng)|LV₁-LV₂|>>|GV₁-GV₂|時(shí)，則本地路口進(jìn)行路口行為對本地路口的影響高于對全局路口的影響，則選擇本地路口進(jìn)行路口行為切換，

當(dāng)|GV₁-GV₂|>>|LV₁-LV₂|時(shí)，則本地路口進(jìn)行路口行為對全局路口的影響高于對本地路口的影響，則選擇本地路口進(jìn)行路口行為保持，

當(dāng)min(LV₁,LV₂)＞＞min(GV₁,GV₂)時(shí)，則本地路口進(jìn)行路口行為對本地路口帶來的收益高于全局路口，則選擇本地路口進(jìn)行路口行為切換，

當(dāng)min(GV₁,GV₂)>>min(LV₁,LV₂)時(shí)，則本地路口進(jìn)行路口行為對全局路口帶來的收益高于本地路口，則選擇本地路口進(jìn)行路口行為保持，

當(dāng)LV₁≈LV₂≈GV₁≈GV₂時(shí)，則隨機(jī)選擇本地路口的路口行為；

33)獲取本地路口進(jìn)行路口行為后的擁堵情況和環(huán)境信息，根據(jù)擁堵情況采用Q值更新函數(shù)更新初始的lookup表，并且獲取環(huán)境信息在更新后的lookup表中對應(yīng)的Q值，返回步驟32)，進(jìn)而實(shí)現(xiàn)本地路口的信號控制，擁堵情況EI由平均延誤x_t、平均速度x_d和排隊(duì)長度x_c加權(quán)后得到，計(jì)算式為：

EI＝w₁x_d+w₂x_t+w₃x_c

其中，w₁、w₂、w₃為權(quán)值；

Q值更新函數(shù)為：

Q_t+1(s_t,a_t)＝(1-a_t)Q_t(s_t,a_t)+a_t[r_t+1+γmaxQ_t(s_t+1,a_t+1)]

Q_t(s_t,a_t)＝[Q_tLocal(s_t,a_t),Q_tGlobal(s_t,a_t)]

r_t+1＝[r_Local,r_Global]a_t

r_i＝EI_t+1-EI_t

其中，Q_t+1(s_t,a_t)為t+1時(shí)刻的Q值，s_t為t時(shí)刻的State值，a_t為t時(shí)刻的action值，r_t+1為t+1時(shí)刻的回報(bào)值，r_Local為本地路口的回報(bào)值，r_Global為全局路口的回報(bào)值，r_i為第i個路口的回報(bào)值，h_i為第i個全局路口的權(quán)重，n為全局路口總數(shù)，γ為常數(shù)，EI_t+1為t+1時(shí)刻的擁堵情況，EI_t為t時(shí)刻的擁堵情況；

4)選擇一個其他路口，重復(fù)步驟3)，最終完成區(qū)域內(nèi)全部路口的信號控制。