[發(fā)明專利]一種基于深度學(xué)習(xí)目標(biāo)檢測的交通信號燈故障檢測方法

有效

• 申請?zhí)枺?/td>: 202110410532.2
• 申請日: 2021-04-13
• 公開（公告）號: CN113129591B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 饒歡;陳凝;馬黨生;盛旺;周東;蔡新聞
• 申請（專利權(quán)）人: 江蘇智通交通科技有限公司
• 主分類號: G08G1/01
• 分類號: G08G1/01;G01M11/02;G01R31/44;G06V20/40;G06V20/58;G06N3/04
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種基于深度學(xué)習(xí)目標(biāo)檢測的交通信號燈故障檢測方法，其特征在于：所述方法包括如下步驟：

步驟1，根據(jù)攝像頭歷史采集的視頻數(shù)據(jù)，標(biāo)注檢測目標(biāo)位置，檢測目標(biāo)包括信號燈、倒計(jì)時(shí)牌；以圖像左上角為原點(diǎn)建立坐標(biāo)系，檢測目標(biāo)位置信息通過物體外邊框巨像的左上角坐標(biāo)、右下角坐標(biāo)確定；

步驟2，以T為畫面提取時(shí)間間隔，從實(shí)時(shí)視頻流數(shù)據(jù)中提取一幀圖像，構(gòu)建h×w×3階特征圖矩陣F，其中h為圖像高度、w為圖像寬度、3為通道數(shù)；根據(jù)檢測目標(biāo)位置信息，從F中截取信號燈、倒計(jì)時(shí)牌子矩陣；畫面提取時(shí)間間隔T取值為1s；對信號燈故障進(jìn)行識(shí)別轉(zhuǎn)入步驟3，對倒計(jì)時(shí)牌故障進(jìn)行識(shí)別轉(zhuǎn)入步驟7；

步驟3，若存在高度大于寬度的信號燈子矩陣，則對其進(jìn)行轉(zhuǎn)置處理；采用雙三次插值，將信號燈子矩陣轉(zhuǎn)化為高度、寬度一致的p×p×3階矩陣SF_i，完成對信號燈子矩陣的特征圖的一致性處理；p為信號燈子矩陣高度，i為子矩陣編號，其數(shù)值為1～n，n為步驟2圖像中的信號燈數(shù)量，SF_i為一致性處理后的信號燈第i個(gè)子矩陣；將所有子矩陣拼接得到輸入張量Tc＝[SF₁,SF₂,...,SF_n]；

步驟4，采用MobileNet V2網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建信號燈目標(biāo)檢測模型；Tc輸入模型后得到輸出張量每一行的數(shù)值分別指代各信號燈子矩陣所指代的信號燈子圖中紅燈亮、黃燈亮、綠燈亮的概率；

步驟5，構(gòu)建信號燈狀態(tài)判別模型，基于目標(biāo)檢測模型輸出張量對信號燈亮燈狀態(tài)與燈色進(jìn)行自動(dòng)識(shí)別；基于判別結(jié)果，對信號燈子矩陣的燈色狀態(tài)進(jìn)行標(biāo)記：紅燈亮、黃燈亮、綠燈亮、滅燈、燈色沖突；信號燈狀態(tài)判別模型實(shí)現(xiàn)燈色沖突、滅燈狀態(tài)和燈色識(shí)別；

步驟6，對視頻流中提取出的各幀圖像在經(jīng)由信號燈狀態(tài)判別模型處理后輸出的燈色狀態(tài)結(jié)果，構(gòu)建時(shí)間序列；構(gòu)建基于狀態(tài)判斷結(jié)果時(shí)間序列分析的信號燈故障模型，從而基于實(shí)時(shí)視頻流進(jìn)行信號燈故障動(dòng)態(tài)檢測；信號燈故障動(dòng)態(tài)檢測包括滅燈故障、黃閃故障、常亮故障、燈色顯示異常、燈色異常跳動(dòng)；

步驟7，采用卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建文本分類模型，其中卷積循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特征表達(dá)，結(jié)合注意力機(jī)制對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化升級，降低網(wǎng)絡(luò)復(fù)雜度，提升網(wǎng)絡(luò)分類效果；將步驟2獲得的倒計(jì)時(shí)牌子矩陣轉(zhuǎn)化為灰度矩陣；采用雙三次插值，將倒計(jì)時(shí)牌子矩陣轉(zhuǎn)化為高度、寬度一致的u×v階矩陣BF _j，u、v分別取值為32、48，j為倒計(jì)時(shí)牌子矩陣編號，其數(shù)值為1～m，m為步驟2圖像中的倒計(jì)時(shí)牌數(shù)量，BF_j為對應(yīng)第j個(gè)倒計(jì)時(shí)牌子圖的子矩陣；將所有子矩陣拼接得到輸入張量Tc_b＝[BF₁,BF₂,...,BF_m]，輸入文本分類模型后輸出倒計(jì)時(shí)牌顯示數(shù)值識(shí)別結(jié)果；

步驟8，對視頻流中提取出的各幀圖像在經(jīng)由文本分類模型處理后輸出的倒計(jì)時(shí)牌顯示數(shù)值識(shí)別結(jié)果，構(gòu)建時(shí)間序列；構(gòu)建基于數(shù)值識(shí)別結(jié)果時(shí)間序列分析的倒計(jì)時(shí)牌故障識(shí)別模型；故障識(shí)別包括數(shù)字未跳動(dòng)故障判別、數(shù)字顯示異常判別、數(shù)秒異常故障判別。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)目標(biāo)檢測的交通信號燈故障檢測方法，其特征在于，步驟5中的信號燈狀態(tài)判別模型包括：

(1)燈色沖突：且

(2)滅燈狀態(tài)：

(3)燈色識(shí)別：在不存在燈色沖突與滅燈狀態(tài)時(shí)，可進(jìn)行亮燈的燈色判別，即亮燈概率最大值所對應(yīng)的燈色判定為張量列序號i對應(yīng)的信號燈子矩陣的亮燈燈色；

式中，a、b均指代輸出張量中的行序號，i指代輸出張量中的列序號；p₁、p₂分別為亮燈概率閾值、不同燈色均亮燈的核查閾值；p₃、p₄分別為存在亮燈狀態(tài)的最小閾值以及紅黃綠各燈色未亮燈的判別閾值。