[發(fā)明專利]一種基于區(qū)域注意力的交通標(biāo)志檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110425906.8
• 申請(qǐng)日: 2021-04-20
• 公開（公告）號(hào): CN113033482A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 李文舉;蘇攀;那馨元
• 申請(qǐng)（專利權(quán)）人: 上海應(yīng)用技術(shù)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 黃超宇;胡晶

本發(fā)明公開了一種基于區(qū)域注意力的交通標(biāo)志檢測(cè)方法，包括步驟1：獲取ImageNet數(shù)據(jù)集和TT100K交通標(biāo)志數(shù)據(jù)集，在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練ResNet50深度網(wǎng)絡(luò)；步驟2：輸入TT100K訓(xùn)練集圖片，從預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)的第10、22、40和49層獲取樣本特征，構(gòu)成特征金字塔，在Faster R?CNN目標(biāo)檢測(cè)框架下對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)；步驟3：訓(xùn)練數(shù)據(jù)集以圖片形式輸入?yún)^(qū)域注意力模塊，獲取注意力圖；步驟4：RPN網(wǎng)絡(luò)使用特征金字塔的信息生成候選區(qū)域；步驟5：利用區(qū)域注意力圖濾除注意力區(qū)域之外的候選區(qū)域，得到最終的檢測(cè)結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及交通標(biāo)志檢測(cè)領(lǐng)域，特別涉及一種基于區(qū)域注意力的交通標(biāo)志檢測(cè)方法。

背景技術(shù)

交通標(biāo)志檢測(cè)技術(shù)是交通標(biāo)志識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一，廣泛應(yīng)用于自動(dòng)駕駛汽車、輔助駕駛系統(tǒng)和交通秩序管制等領(lǐng)域。交通標(biāo)志的檢測(cè)和識(shí)別是目標(biāo)檢測(cè)的一個(gè)應(yīng)用場(chǎng)景，但是交通標(biāo)志的檢測(cè)有其特殊性。在真實(shí)場(chǎng)景下，交通標(biāo)志的檢測(cè)過程可能會(huì)受到光照、變形、遮擋等問題，而且交通標(biāo)志的檢測(cè)在某些場(chǎng)景下屬于小目標(biāo)檢測(cè)，目標(biāo)在圖片中所占面積可能不足1/1000。

目前，主流的交通標(biāo)志檢測(cè)方法大多采用的是基于顏色分割或者結(jié)合形狀特性的方法，該方法依靠人工設(shè)計(jì)的特征檢測(cè)交通標(biāo)志。在實(shí)際運(yùn)行環(huán)境中，這種人工設(shè)計(jì)的特征極易受到光照、天氣和視點(diǎn)等變化的干擾，使得小目標(biāo)交通標(biāo)志的檢測(cè)變得困難。

近年來，隨著深度學(xué)習(xí)方法在目標(biāo)識(shí)別、圖像檢索等領(lǐng)域取得的巨大成功，研究者開始嘗試使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)解決交通標(biāo)志識(shí)別問題。有研究表明從預(yù)訓(xùn)練的CNN模型中提取的圖像特征較人工設(shè)計(jì)的特征有更好的表現(xiàn)。以圖像分類為目標(biāo)訓(xùn)練的卷積核更傾向于抓取那些有可能成為圖像分類目標(biāo)的對(duì)象，這對(duì)于檢測(cè)和識(shí)別是有利的。然而，從CNN中提取的高維度特征向量增加了計(jì)算復(fù)雜度，這對(duì)于需要實(shí)時(shí)運(yùn)行的交通標(biāo)志檢測(cè)和識(shí)別是一個(gè)挑戰(zhàn)。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種基于區(qū)域注意力的交通標(biāo)志檢測(cè)方法，以實(shí)現(xiàn)準(zhǔn)確檢測(cè)出路邊的交通標(biāo)志，從而減小由于預(yù)測(cè)的候選區(qū)域過多導(dǎo)致的識(shí)別效率低的問題。針對(duì)特定的交通標(biāo)志檢測(cè)任務(wù)，引入?yún)^(qū)域注意力的方法優(yōu)化網(wǎng)絡(luò)模型，提高交通標(biāo)志檢測(cè)的準(zhǔn)確率，減小候選區(qū)域的數(shù)量。通過使用特征金字塔提升對(duì)小目標(biāo)的檢測(cè)精度，提高特征對(duì)視角和光照變化的魯棒性，降低對(duì)小目標(biāo)的漏檢率。

為了達(dá)到上述發(fā)明目的，解決其技術(shù)問題所采用的技術(shù)方案如下：

一種基于區(qū)域注意力的交通標(biāo)志檢測(cè)方法，包括以下步驟：

步驟1：獲取ImageNet數(shù)據(jù)集和TT100K交通標(biāo)志數(shù)據(jù)集，在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練ResNet50深度網(wǎng)絡(luò)；

步驟2：輸入TT100K訓(xùn)練集圖片，從預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)的第10、22、40和49層獲取樣本特征，構(gòu)成特征金字塔，在Faster R-CNN目標(biāo)檢測(cè)框架下對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)；

步驟3：訓(xùn)練數(shù)據(jù)集以圖片形式輸入?yún)^(qū)域注意力模塊，獲取注意力圖；

步驟4：RPN網(wǎng)絡(luò)使用特征金字塔的信息生成候選區(qū)域；

步驟5：利用區(qū)域注意力圖濾除注意力區(qū)域之外的候選區(qū)域，得到最終的檢測(cè)結(jié)果。

進(jìn)一步的，在所述步驟1中，使用了遷移學(xué)習(xí)的方法，在ImageNet數(shù)據(jù)集上對(duì)ResNet50進(jìn)行預(yù)訓(xùn)練，所述ImageNet是一個(gè)大型的圖像分類數(shù)據(jù)集，包含100個(gè)目標(biāo)類別，所述ResNet50是一個(gè)包含殘差模塊的卷積神經(jīng)網(wǎng)絡(luò)，一共有50個(gè)權(quán)重層。

進(jìn)一步的，在所述步驟2中，獲取在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet50分類模型，將全連接層之外的卷積層作為特征提取模塊，并從網(wǎng)絡(luò)的第10、22、40和49層卷積層提取特征圖，構(gòu)成特征金字塔；將全連接層作為網(wǎng)絡(luò)最終的分類模塊，并另外添加一個(gè)3層的全連接層作為交通標(biāo)志位置回歸模塊。