[發(fā)明專利]交通信號燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811029041.8
• 申請日: 2018-09-05
• 公開（公告）號: CN109035812B
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 吳壯偉
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G08G1/07
• 分類號: G08G1/07;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

本發(fā)明提供一種交通信號燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，該方法包括：獲取交通環(huán)境訓(xùn)練數(shù)據(jù)，基于Q?Learning算法對所述交通環(huán)境訓(xùn)練數(shù)據(jù)進(jìn)行深度學(xué)習(xí)以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對應(yīng)的Q矩陣；若當(dāng)前時(shí)間為第一預(yù)設(shè)時(shí)間，每預(yù)設(shè)周期獲取所述若干預(yù)設(shè)路段的交通狀態(tài)以得到當(dāng)前的聯(lián)合交通狀態(tài)；基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號燈的通行切換時(shí)間。通過訓(xùn)練Q?Learning算法模型進(jìn)行數(shù)據(jù)建模，得到交通狀態(tài)對應(yīng)交通信號燈通行切換時(shí)間的選擇行為的Q矩陣，在交通擁堵的時(shí)段，利用強(qiáng)化學(xué)習(xí)的結(jié)果，即Q矩陣，實(shí)現(xiàn)對交通信號燈的控制，通過改變交通信號燈的通行切換時(shí)間來改善整體交通情況，緩解交通擁堵狀態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種交通信號燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著經(jīng)濟(jì)的發(fā)展以及汽車行業(yè)的發(fā)展，交通問題越來越嚴(yán)峻，一方面影響人們的出行，另一方面其已成為制約經(jīng)濟(jì)發(fā)展的重要因素。要從根本上解決交通擁堵的問題，除了拓展城市道路、改造城市布局、增強(qiáng)人們交通意識之外，人工智能已然成為解決交通擁堵問題的重要手段之一。

現(xiàn)有的通過人工智能改善交通擁堵的方法一般是根據(jù)紅綠燈路口的車流情況智能地控制紅綠燈各個(gè)指示通行方向的通行時(shí)間，通過智能控制紅綠燈來使路口前方道路的車輛能夠以最大的通行效率通過該紅綠燈路口。此方法指針對單獨(dú)一個(gè)紅綠燈信號的智能控制，僅通過每個(gè)路口紅綠燈信號的智能控制智能改善對應(yīng)道路的交通擁堵，然而，道路之間具有千絲萬縷的關(guān)系，一條道路的通行效率的提高可能會導(dǎo)致另外一條道路通行效率降低，最終導(dǎo)致城市或某一區(qū)域內(nèi)整體交通通行效率的改善結(jié)果不明顯。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種交通信號燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，旨在提高城市道路的整體通行效率，改善交通環(huán)境。

第一方面，本發(fā)明實(shí)施例提供了一種交通信號燈的控制方法，該方法包括：獲取交通環(huán)境訓(xùn)練數(shù)據(jù)，所述交通環(huán)境訓(xùn)練數(shù)據(jù)包括若干預(yù)設(shè)路段的聯(lián)合路口行為以及在不同聯(lián)合路口行為下所述若干預(yù)設(shè)路段的聯(lián)合交通狀態(tài)，所述聯(lián)合路口行為包括每一預(yù)設(shè)路段的交通信號燈的通行切換時(shí)間；基于Q-Learning算法對所述交通環(huán)境訓(xùn)練數(shù)據(jù)進(jìn)行深度學(xué)習(xí)以得到聯(lián)合交通狀態(tài)與聯(lián)合路口行為對應(yīng)的Q矩陣，其中，所述Q矩陣中的任一Q值表示在對應(yīng)的聯(lián)合交通狀態(tài)下選擇對應(yīng)的聯(lián)合路口行為所得的若干預(yù)設(shè)路段的聯(lián)合交通狀態(tài)改善的總收益；若當(dāng)前時(shí)間為第一預(yù)設(shè)時(shí)間，每預(yù)設(shè)周期獲取所述若干預(yù)設(shè)路段的交通狀態(tài)以得到當(dāng)前的聯(lián)合交通狀態(tài)；基于所述當(dāng)前的聯(lián)合交通狀態(tài)以及所述Q矩陣控制所述若干預(yù)設(shè)路段的交通信號燈的通行切換時(shí)間。

第二方面，本發(fā)明實(shí)施例還提供了一種交通信號燈的控制裝置，所述交通信號燈的控制裝置包括用于實(shí)現(xiàn)第一方面所述的交通信號燈的控制方法的單元。

第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括存儲器，以及與所述存儲器相連的處理器；所述存儲器用于存儲實(shí)現(xiàn)交通信號燈的控制方法的計(jì)算機(jī)程序；所述處理器用于運(yùn)行所述存儲器中存儲的計(jì)算機(jī)程序，以執(zhí)行如上述第一方面所述的方法。

第四方面，本發(fā)明實(shí)施例提供了一種存儲介質(zhì)，所述存儲介質(zhì)存儲有一個(gè)或者一個(gè)以上計(jì)算機(jī)程序，所述一個(gè)或者一個(gè)以上計(jì)算機(jī)程序可被一個(gè)或者一個(gè)以上的處理器執(zhí)行，以實(shí)現(xiàn)上述第一方面所述的方法。

本發(fā)明實(shí)施例提供了一種交通信號燈的控制方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，通過訓(xùn)練Q-Learning算法模型得到交通狀態(tài)對應(yīng)交通信號燈通行切換時(shí)間的選擇行為的Q矩陣，在交通擁堵的時(shí)段，利用強(qiáng)化學(xué)習(xí)的結(jié)果，即Q矩陣，實(shí)現(xiàn)對交通信號燈的控制，通過改變交通信號燈的通行切換時(shí)間來達(dá)到改善整體交通情況，緩解交通擁堵的狀態(tài)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。