[發(fā)明專(zhuān)利]一種基于空間注意力地圖的目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010024750.8
• 申請(qǐng)日: 2020-01-10
• 公開(kāi)（公告）號(hào): CN111259940B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 郭春生;蔡猛;應(yīng)娜;陳華華;楊萌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06V10/82;G06V10/774;G06N3/0455;G06N3/0464;G06N3/045;G06N3/084
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 周希良

本發(fā)明公開(kāi)了一種基于空間注意力地圖的目標(biāo)檢測(cè)方法，包括：將測(cè)試圖像輸入預(yù)先訓(xùn)練好的Faster?RCNN網(wǎng)絡(luò)，自下向上逐層進(jìn)行特征提取、自上向下逐層進(jìn)行高層語(yǔ)義信息傳播，得到目標(biāo)的空間特征信息和特征梯度信息；對(duì)目標(biāo)的空間特征信息和特征梯度信息進(jìn)行加權(quán)得到目標(biāo)高層語(yǔ)義信息引導(dǎo)的注意力地圖；對(duì)目標(biāo)空間特征信息進(jìn)行數(shù)據(jù)預(yù)處理，得到目標(biāo)感興趣區(qū)域圖；疊加目標(biāo)感興趣區(qū)域圖和注意力地圖，得到目標(biāo)注意力地圖；將目標(biāo)注意力地圖與通道特征權(quán)重進(jìn)行計(jì)算得到多通道空間注意力地圖；將多通道空間注意力地圖與目標(biāo)空間特征信息結(jié)合得到新的目標(biāo)空間特征信息；將新的目標(biāo)空間特征信息聯(lián)合RPN網(wǎng)絡(luò)的目標(biāo)候選框提取出進(jìn)行目標(biāo)分類(lèi)和邊界框回歸的特征。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于空間注意力地圖的目標(biāo)檢測(cè)方法。

背景技術(shù)

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)的領(lǐng)域的一個(gè)基礎(chǔ)研究課題，其目標(biāo)是在圖片中對(duì)可變數(shù)量的目標(biāo)進(jìn)行查找和分類(lèi)。得益于深度學(xué)習(xí)的快速發(fā)展，目標(biāo)檢測(cè)的性能取得了較大的進(jìn)展，但是由于目標(biāo)的尺度不一、種類(lèi)和數(shù)量不確定、空間特征信息利用率低以及分類(lèi)與定位精度間的不一致性等問(wèn)題，限制了檢測(cè)精度的提升。考慮到，人們?cè)诳匆患|西的時(shí)候，總能夠快速的將注意力焦點(diǎn)集中在這件東西的某一個(gè)地方或者部位，同時(shí)能夠在較短時(shí)間內(nèi)準(zhǔn)確的獲得這件東西的屬性、類(lèi)別等信息，這意味著人們?cè)谧⒁獾侥硞€(gè)目標(biāo)或某個(gè)場(chǎng)景時(shí)，人類(lèi)會(huì)利用有限的注意力資源從大量信息中快速篩選出高價(jià)值信息，即通過(guò)視覺(jué)注意力機(jī)制有效的結(jié)合了自下而上與自上而下的特征信息，進(jìn)而極大提高了視覺(jué)信息處理的效率與準(zhǔn)確性。

受人類(lèi)視覺(jué)注意力的啟發(fā)，近幾年注意力模型被廣泛應(yīng)用于深度學(xué)習(xí)的語(yǔ)音識(shí)別、自然語(yǔ)言處理等任務(wù)中。其生成的注意力地圖作為一種解釋網(wǎng)絡(luò)決策的有效方法，不僅有助于提高網(wǎng)絡(luò)中圖像特征信息的利用率，而且能夠保證網(wǎng)絡(luò)在有限注意力資源條件下將注意力焦點(diǎn)更多的投放在目標(biāo)相關(guān)區(qū)域。其中，注意力模型的框架當(dāng)前最為流行的是Transformer模型，它是一種編碼解碼框架主要依賴(lài)于self-attention機(jī)制處理自然語(yǔ)言處理中的各項(xiàng)任務(wù)，能夠考慮到序列中元素間的關(guān)聯(lián)性。盡管在深度學(xué)習(xí)的其他任務(wù)中，注意力模型有著較多的應(yīng)用也取得了不錯(cuò)的效果，但是在圖像處理領(lǐng)域如目標(biāo)檢測(cè)任務(wù)中它的應(yīng)用依然是缺乏的。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的缺陷，提供了一種基于空間注意力地圖的目標(biāo)檢測(cè)方法，在目標(biāo)檢測(cè)流程中，通過(guò)引入Transformer注意力模塊以及結(jié)合網(wǎng)絡(luò)自下而上的目標(biāo)特征和自上而下的高層語(yǔ)義信息，不僅能夠使網(wǎng)絡(luò)充分利用目標(biāo)的空間特征信息，而且也能夠使網(wǎng)絡(luò)更多的關(guān)注、定位相關(guān)目標(biāo)區(qū)域

為了實(shí)現(xiàn)以上目的，本發(fā)明采用以下技術(shù)方案：

一種基于空間注意力地圖的目標(biāo)檢測(cè)方法，包括步驟：

S1.將測(cè)試圖像輸入預(yù)先訓(xùn)練好的Faster?RCNN網(wǎng)絡(luò)，并自下向上逐層進(jìn)行特征提取、自上向下逐層進(jìn)行高層語(yǔ)義信息傳播，得到目標(biāo)的空間特征信息F和與空間特征信息相對(duì)應(yīng)的特征梯度信息G；

S2.對(duì)所述得到的目標(biāo)的空間特征信息F和特征梯度信息G進(jìn)行加權(quán)計(jì)算，得到目標(biāo)高層語(yǔ)義信息引導(dǎo)的注意力地圖M；

S3.對(duì)所述目標(biāo)的空間特征信息F進(jìn)行數(shù)據(jù)預(yù)處理，通過(guò)Transformer注意力模塊得到目標(biāo)的感興趣區(qū)域圖P；

S4.疊加所述得到的目標(biāo)感興趣區(qū)域圖P和目標(biāo)高層語(yǔ)義信息引導(dǎo)的注意力地圖M，得到目標(biāo)注意力地圖A；并將得到的目標(biāo)注意力地圖A與通道特征權(quán)重進(jìn)行計(jì)算，得到多通道的空間注意力地圖A^S；

S5.將所述得到的多通道的空間注意力地圖A^S與目標(biāo)空間特征信息F進(jìn)行結(jié)合，得到新的目標(biāo)空間特征信息F_new；

S6.將得到的新的目標(biāo)空間特征信息F_new聯(lián)合RPN網(wǎng)絡(luò)的目標(biāo)候選框，提取出進(jìn)行目標(biāo)分類(lèi)和邊界框回歸的特征。