[發(fā)明專(zhuān)利]基于快速梯度下降的單交叉口信號(hào)控制的交通狀態(tài)對(duì)抗擾動(dòng)生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110813579.3
• 申請(qǐng)日: 2021-07-19
• 公開(kāi)（公告）號(hào): CN113487889B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 徐東偉;王達(dá);李呈斌;周磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類(lèi)號(hào): G08G1/08
• 分類(lèi)號(hào): G08G1/08
• 代理公司: 杭州斯可睿專(zhuān)利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于快速梯度下降的單交叉口信號(hào)控制的交通狀態(tài)對(duì)抗擾動(dòng)生成方法，根據(jù)已有的強(qiáng)化學(xué)習(xí)DQN算法訓(xùn)練的交通路口信號(hào)燈控制模型，利用基于FGSM攻擊并結(jié)合梯度值大小對(duì)對(duì)抗擾動(dòng)進(jìn)行離散化處理生成對(duì)抗樣本，將對(duì)抗擾動(dòng)與原始狀態(tài)相結(jié)合得到最終的擾動(dòng)狀態(tài)輸入到智能體模型中，最后在sumo上對(duì)單交叉路口的流暢或擁堵程度檢驗(yàn)效果。本發(fā)明可以在使輸出的擾動(dòng)具有物理意義的情況下限制擾動(dòng)的大小，從而高效的生成對(duì)抗?fàn)顟B(tài)，增加路口的排隊(duì)長(zhǎng)度和等待時(shí)間，大幅降低模型的性能，使交通路口流通度大大降低。

技術(shù)領(lǐng)域

本發(fā)明屬于智能交通與機(jī)器學(xué)習(xí)信息安全的交叉領(lǐng)域，涉及基于快速梯度下降(FGSM)的單交叉口信號(hào)控制的交通狀態(tài)對(duì)抗擾動(dòng)生成方法。

背景技術(shù)

交通擁堵問(wèn)題已成為城市交通面臨的迫切挑戰(zhàn)，設(shè)計(jì)現(xiàn)代城市時(shí)，最關(guān)鍵的考慮因素之一就是開(kāi)發(fā)智能交通管理系統(tǒng)。交通管理系統(tǒng)的主要目標(biāo)是減少交通擁堵，如今這已成為大城市的主要問(wèn)題之一。高效的城市交通管理可節(jié)省時(shí)間和金錢(qián)，并減少向大氣排放的二氧化碳。

強(qiáng)化學(xué)習(xí)(RL)作為交通信號(hào)控制問(wèn)題的一種機(jī)器學(xué)習(xí)技術(shù)，已經(jīng)產(chǎn)生了令人印象深刻的結(jié)果。強(qiáng)化學(xué)習(xí)不需要事先對(duì)環(huán)境有全面的了解，例如交通流量。相反，他們通過(guò)與環(huán)境進(jìn)行交互能夠獲取知識(shí)并為環(huán)境動(dòng)力學(xué)建模。在環(huán)境中執(zhí)行每個(gè)操作后，它將獲得標(biāo)量獎(jiǎng)勵(lì)。所獲得的報(bào)酬取決于采取的行動(dòng)的程度，而智能體的目標(biāo)是學(xué)習(xí)最佳控制策略，因此通過(guò)與環(huán)境的反復(fù)交互，可以使折價(jià)的累積報(bào)酬最大化。深度強(qiáng)化學(xué)習(xí)(DRL)由于具有快速適應(yīng)周?chē)h(huán)境的出色能力，因此在現(xiàn)實(shí)世界中具有眾多應(yīng)用。盡管DRL具有很大的優(yōu)勢(shì)，但它容易受到對(duì)抗性攻擊，例如：引誘攻擊、策略定時(shí)攻擊、基于值函數(shù)的對(duì)抗攻擊、木馬攻擊等。

發(fā)明內(nèi)容

為了克服已有技術(shù)的不足，本發(fā)明提供了基于快速梯度下降的單交叉口信號(hào)控制的交通狀態(tài)對(duì)抗擾動(dòng)生成方法，可以對(duì)車(chē)輛數(shù)量及其所處位置添加少量擾動(dòng)且保證擾動(dòng)具有實(shí)際物理意義，從而高效地生成對(duì)抗擾動(dòng)，大幅降低模型的性能和交通路口流暢程度。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：

一種基于快速梯度下降的單交叉口信號(hào)控制的交通狀態(tài)對(duì)抗擾動(dòng)生成方法，包括以下步驟：

步驟1：在單交叉口道路網(wǎng)格上訓(xùn)練強(qiáng)化學(xué)習(xí)Deep Q Network(DQN)智能體模型，訓(xùn)練完成后模型的網(wǎng)絡(luò)參數(shù)不再發(fā)生變化，且具有較高的遷移性，在單交叉口測(cè)試過(guò)程中體現(xiàn)出高流暢度且無(wú)擁堵發(fā)生；

步驟2：在交通路口獲取各個(gè)路口輸入端的車(chē)輛數(shù)量及其所處位置即輸入，將當(dāng)前車(chē)輛數(shù)與位置輸入到模型中，會(huì)生成對(duì)應(yīng)的交通信號(hào)燈即輸出動(dòng)作，利用FGSM攻擊算法，對(duì)各個(gè)時(shí)刻的輸入逐一進(jìn)行攻擊，得到相應(yīng)的對(duì)抗擾動(dòng)；

步驟3：對(duì)生成的對(duì)抗擾動(dòng)進(jìn)行離散化處理，再將生成的對(duì)抗擾動(dòng)與原始采集到的交通流量相結(jié)合得到最終的擾動(dòng)狀態(tài)即此時(shí)輸入到模型中去的交通路口車(chē)輛數(shù)量及其位置；

步驟4：在當(dāng)前構(gòu)建的擾動(dòng)狀態(tài)中，對(duì)擾動(dòng)的大小進(jìn)行限制，當(dāng)擾動(dòng)量小于擾動(dòng)限制時(shí)將擾動(dòng)狀態(tài)輸入模型中；當(dāng)擾動(dòng)量大于擾動(dòng)限制時(shí)將原始狀態(tài)輸入模型；

步驟5：對(duì)生成的對(duì)抗擾動(dòng)進(jìn)行性能的測(cè)試，將狀態(tài)輸入模型后，智能體會(huì)根據(jù)當(dāng)前狀態(tài)選取交通信號(hào)燈的相位，來(lái)控制單交叉口的車(chē)流量，最后在sumo上對(duì)不同輸入狀態(tài)的交通流量得到的紅綠燈相位對(duì)交通路口的流暢度進(jìn)行對(duì)比。

作為人工智能領(lǐng)域的研究熱點(diǎn)，深度強(qiáng)化學(xué)習(xí)(DRL)在機(jī)器人控制，計(jì)算機(jī)視覺(jué)，智能交通等各個(gè)領(lǐng)域都取得了一定的成功。同時(shí)，其遭到攻擊的可能性以及它是否具有強(qiáng)大的抵抗能力也成為近年來(lái)的熱門(mén)話(huà)題。因此，本發(fā)明在深度強(qiáng)化學(xué)習(xí)中選擇了具有代表性的Deep Q Network(DQN)算法，將單交叉口信號(hào)燈控制作為應(yīng)用場(chǎng)景，并采用快速梯度下降法(FGSM)攻擊DQN算法以生成對(duì)抗樣本。