[發(fā)明專利]多任務(wù)的目標(biāo)檢測方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010422038.3
• 申請日: 2020-05-18
• 公開（公告）號: CN111598112B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 趙朝陽
• 申請（專利權(quán)）人: 中科視語（北京）科技有限公司
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/82
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 周天宇

一種多任務(wù)的目標(biāo)檢測、裝置、電子設(shè)備及存儲介質(zhì)，應(yīng)用于圖像處理技術(shù)領(lǐng)域，利用級聯(lián)式的注意力模塊，提取目標(biāo)的注意力感知的卷積特征圖，能夠從粗到精地生成全圖注意力感知的卷積特征，抑制背景噪聲的干擾。基于注意力感知的卷積特征圖，提取目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征，基于目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征，實(shí)現(xiàn)目標(biāo)的檢測任務(wù)、關(guān)鍵點(diǎn)檢測任務(wù)、實(shí)例分割任務(wù)中的至少一個(gè)。能夠有效的關(guān)聯(lián)目標(biāo)全局結(jié)構(gòu)、局部部件以及上下文信息，形成結(jié)構(gòu)化的特征表達(dá)，提高特征對遮擋、形變以及姿態(tài)等的魯棒性，改善多任務(wù)性能。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種多任務(wù)的目標(biāo)檢測方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目標(biāo)檢測是計(jì)算機(jī)視覺中的一項(xiàng)基礎(chǔ)任務(wù)，是很多其他任務(wù)的前提，目標(biāo)檢測的難點(diǎn)在其他任務(wù)中幾乎都有體現(xiàn)，并且更為復(fù)雜多樣，如背景噪聲干擾、目標(biāo)遮擋、截?cái)唷⒆藨B(tài)變化以及形變等。在目標(biāo)檢測基礎(chǔ)上進(jìn)行多任務(wù)的設(shè)計(jì)也一直是個(gè)熱門問題，通過一個(gè)網(wǎng)絡(luò)同時(shí)進(jìn)行多項(xiàng)任務(wù)的預(yù)測不僅可以節(jié)省計(jì)算量，同時(shí)還能改善模型的泛化能力。

現(xiàn)有多任務(wù)的框架，例如Mask R-CNN擴(kuò)展性較強(qiáng)，受到廣泛應(yīng)用，但是此框架沒有考慮環(huán)境以及目標(biāo)本身狀態(tài)帶來的影響，并沒有針對性的結(jié)構(gòu)和學(xué)習(xí)策略，所以其表達(dá)能力還有待增強(qiáng)。綜合來看，目前缺乏對環(huán)境干擾、目標(biāo)姿態(tài)變化等多任務(wù)的整體解決方案。

發(fā)明內(nèi)容

本公開的主要目的在于提供一種多任務(wù)的目標(biāo)檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，可解決上述至少一個(gè)技術(shù)問題。

為實(shí)現(xiàn)上述目的，本公開實(shí)施例第一方面提供一種多任務(wù)的目標(biāo)檢測方法，包括：

獲取待檢測目標(biāo)的圖像；

利用級聯(lián)式的注意力模塊，提取所述目標(biāo)的注意力感知的卷積特征圖；

基于所述注意力感知的卷積特征圖，提取所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征；

基于所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征，實(shí)現(xiàn)所述目標(biāo)的檢測任務(wù)、關(guān)鍵點(diǎn)檢測任務(wù)、實(shí)例分割任務(wù)中的至少一個(gè)。

可選的，所述利用級聯(lián)式的空間注意力模塊，提取所述目標(biāo)的注意力感知的卷積特征圖包括：

將注意力模塊插入預(yù)設(shè)基礎(chǔ)網(wǎng)絡(luò)下采樣的多個(gè)預(yù)設(shè)倍數(shù)處，得到多個(gè)注意力圖；

將所述多個(gè)注意力圖分別與對應(yīng)下采樣倍數(shù)處的卷積特征圖逐通道相乘，得到注意力感知的卷積特征圖。

可選的，所述基于所述注意力感知的卷積特征圖，提取所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征包括：

在所述注意力感知的卷積特征圖上提取包含所述目標(biāo)的候選框；

基于所述注意力感知的卷積特征圖和所述候選框，提取所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征。

可選的，所述基于所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征，實(shí)現(xiàn)所述目標(biāo)的檢測任務(wù)包括：

將所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征進(jìn)行融合，得到所述目標(biāo)的結(jié)構(gòu)化特征；

基于所述結(jié)構(gòu)化特征，實(shí)現(xiàn)所述目標(biāo)的檢測任務(wù)。

可選的，所述基于所述目標(biāo)的局部部件特征、全局結(jié)構(gòu)特征、空間上下文特征以及多任務(wù)特征，實(shí)現(xiàn)所述目標(biāo)的關(guān)鍵點(diǎn)檢測任務(wù)，和/或，實(shí)例分割任務(wù)包括：

將所述結(jié)構(gòu)化特征進(jìn)行上采樣，使所述結(jié)構(gòu)化特征的分辨率與所述多任務(wù)特征的分辨率相同；

將上采樣后的結(jié)構(gòu)化特征與所述多任務(wù)特征進(jìn)行融合，得到融合后的特征；