[發(fā)明專利]交通信號(hào)燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811029041.8
• 申請(qǐng)日: 2018-09-05
• 公開（公告）號(hào): CN109035812B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 吳壯偉
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G08G1/07
• 分類號(hào): G08G1/07;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

1.一種交通信號(hào)燈的控制方法，其特征在于，包括：

獲取交通環(huán)境訓(xùn)練數(shù)據(jù)，所述交通環(huán)境訓(xùn)練數(shù)據(jù)包括若干預(yù)設(shè)路段的聯(lián)合路口行為以及在不同聯(lián)合路口行為下所述若干預(yù)設(shè)路段的聯(lián)合交通狀態(tài)，所述聯(lián)合路口行為包括每一預(yù)設(shè)路段的交通信號(hào)燈的通行時(shí)間變化量；其中，所述聯(lián)合交通狀態(tài)為在一個(gè)聯(lián)合路口行為的條件下得到的各預(yù)設(shè)路段的交通狀態(tài)組合形成的整體道路的交通狀態(tài)，各所述預(yù)設(shè)路段的交通狀態(tài)為在設(shè)置好不同聯(lián)合路口行為的條件下采集各所述預(yù)設(shè)路段的車流數(shù)據(jù)，并通過所述車流數(shù)據(jù)得到每個(gè)所述預(yù)設(shè)路段的交通狀態(tài)；所述預(yù)設(shè)路段的交通信號(hào)燈為所述預(yù)設(shè)路段的路口中的交通信號(hào)燈，所述預(yù)設(shè)路段為兩個(gè)交通信號(hào)燈路口之間的一段道路，且將駛離所述預(yù)設(shè)路段對(duì)應(yīng)的路口歸為所述預(yù)設(shè)路段的路口；

基于Q-Learning算法對(duì)所述交通環(huán)境訓(xùn)練數(shù)據(jù)進(jìn)行深度學(xué)習(xí)以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對(duì)應(yīng)的Q矩陣，其中，所述Q矩陣中的任一Q值表示在對(duì)應(yīng)的聯(lián)合交通狀態(tài)下選擇對(duì)應(yīng)的聯(lián)合路口行為所得的若干預(yù)設(shè)路段的聯(lián)合交通狀態(tài)改善的總收益；

若當(dāng)前時(shí)間為第一預(yù)設(shè)時(shí)間，每預(yù)設(shè)周期獲取所述若干預(yù)設(shè)路段的交通狀態(tài)以得到當(dāng)前的聯(lián)合交通狀態(tài)；

基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間，其中，所述通行切換時(shí)間為所述預(yù)設(shè)路段各通行方向的放行時(shí)間；

所述基于Q-Learning算法對(duì)所述交通環(huán)境訓(xùn)練數(shù)據(jù)進(jìn)行深度學(xué)習(xí)以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對(duì)應(yīng)的Q矩陣，包括：

設(shè)置Q-Learning算法的獎(jiǎng)懲規(guī)則、折扣因子γ；

基于所述獎(jiǎng)懲規(guī)則，利用Q-Learning算法學(xué)習(xí)所述交通環(huán)境訓(xùn)練數(shù)據(jù)以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對(duì)應(yīng)的Reward矩陣以及各聯(lián)合交通狀態(tài)之間的轉(zhuǎn)換概率T矩陣，所述Reward矩陣包括不同的聯(lián)合交通狀態(tài)在不同的聯(lián)合路口行為下對(duì)應(yīng)的Reward值，所述轉(zhuǎn)換概率T矩陣包括任一聯(lián)合交通狀態(tài)在任一聯(lián)合路口行為下轉(zhuǎn)化為另一聯(lián)合交通狀態(tài)的概率；

根據(jù)公式計(jì)算聯(lián)合交通狀態(tài)S在聯(lián)合路口行為下的Q值，以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對(duì)應(yīng)的Q矩陣，其中，T(S,A,S’)為聯(lián)合交通狀態(tài)S在聯(lián)合路口行為A下轉(zhuǎn)化為聯(lián)合交通狀態(tài)S’的概率，max[R(S’)]表示聯(lián)合交通狀態(tài)S’在不同的聯(lián)合路口行為下所能得到的最大Reward值，R(S,A)表示聯(lián)合交通狀態(tài)S下選擇聯(lián)合路口行為A可得到的當(dāng)前收益，all包括全部聯(lián)合交通狀態(tài)。

2.根據(jù)權(quán)利要求1所述的交通信號(hào)燈的控制方法，其特征在于，所述基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間，包括：

從所述Q矩陣中獲取所述當(dāng)前的聯(lián)合交通狀態(tài)下的最大Q值；

獲取所述最大Q值對(duì)應(yīng)的聯(lián)合路口行為以得到每一預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間；

控制所述若干預(yù)設(shè)路段的交通信號(hào)燈按對(duì)應(yīng)的通行切換時(shí)間進(jìn)行交通指示。

3.根據(jù)權(quán)利要求1所述的交通信號(hào)燈的控制方法，其特征在于，所述基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間之前，還包括：

判斷所述當(dāng)前的聯(lián)合交通狀態(tài)是否滿足預(yù)設(shè)狀態(tài)；

若所述當(dāng)前的聯(lián)合交通狀態(tài)滿足預(yù)設(shè)狀態(tài)，執(zhí)行所述基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間的步驟。

4.根據(jù)權(quán)利要求1所述的交通信號(hào)燈的控制方法，其特征在于，所述基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號(hào)燈的通行切換時(shí)間之后，還包括：

若當(dāng)前時(shí)間達(dá)到第二預(yù)設(shè)時(shí)間，恢復(fù)所述若干預(yù)設(shè)路段的交通信號(hào)燈初始的通行切換時(shí)間。