[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的弱監(jiān)督目標(biāo)定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010614514.1
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111967464A
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 賴(lài)睿;吳俁;徐昆然;李奕詩(shī);官俊濤;楊銀堂
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): G06K9/32
• 分類(lèi)號(hào): G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 李園園

1.一種基于深度學(xué)習(xí)的弱監(jiān)督目標(biāo)定位方法，其特征在于，包括：

獲取待測(cè)圖像；所述待測(cè)圖像中包含有待定位的目標(biāo)；

將所述待測(cè)圖像輸入至預(yù)先訓(xùn)練完成的弱監(jiān)督定位網(wǎng)絡(luò)，得到所述待測(cè)圖像對(duì)應(yīng)的目標(biāo)定位圖以及所述目標(biāo)的分類(lèi)結(jié)果；

基于所述目標(biāo)定位圖和所述分類(lèi)結(jié)果，確定目標(biāo)定位結(jié)果；

其中，所述弱監(jiān)督定位網(wǎng)絡(luò)是基于多個(gè)訓(xùn)練圖像以及每個(gè)訓(xùn)練圖像的分類(lèi)標(biāo)簽所訓(xùn)練獲得的；所述弱監(jiān)督定位網(wǎng)絡(luò)包括：

初始特征提取模塊，包括多個(gè)級(jí)聯(lián)的第一卷積單元和第二卷積單元，用于通過(guò)所述多個(gè)級(jí)聯(lián)的第一卷積單元和第二卷積單元從所述待測(cè)圖像中提取初始特征圖；其中，每個(gè)所述第一卷積單元均包括級(jí)聯(lián)的多個(gè)卷積層和一個(gè)最大池化層，每個(gè)所述第二卷積單元均包括級(jí)聯(lián)的多個(gè)卷積層，且不包括最大池化層，任一所述第二卷積單元包括的多個(gè)卷積層為具有不同膨脹率的空洞卷積層；

注意力加權(quán)模塊，用于基于所述初始特征圖計(jì)算一注意力權(quán)重矩陣，并利用所述注意力權(quán)重矩陣對(duì)所述初始特征圖進(jìn)行加權(quán)，得到注意力加權(quán)特征圖；其中，所述注意力權(quán)重矩陣用于表征所述初始特征圖的通道間的空間相似度；

掩模模塊，用于屏蔽所述注意力加權(quán)特征圖中與所述目標(biāo)相關(guān)的顯著性區(qū)域，得到注意力掩模圖；

特征融合模塊，用于對(duì)所述初始特征圖和所述注意力掩模圖進(jìn)行特征融合，得到融合特征圖；

去冗余連通域模塊，用于去除所述融合特征圖中的冗余連通域，輸出所述待測(cè)圖像對(duì)應(yīng)的目標(biāo)定位圖；其中，所述冗余連通域?yàn)榕c所述目標(biāo)非相關(guān)的像素連通區(qū)域；

分類(lèi)結(jié)果輸出模塊，用于基于所述目標(biāo)定位圖，確定并輸出所述目標(biāo)的分類(lèi)結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標(biāo)定位圖和所述分類(lèi)結(jié)果，確定目標(biāo)定位結(jié)果的步驟，包括：

確定所述目標(biāo)定位圖中的最大像素值；

基于所述最大像素值確定一像素篩選閾值；

確定所述目標(biāo)定位圖中，像素值大于所述篩選閾值的像素所在的目標(biāo)區(qū)域，得到圖像分割結(jié)果；

基于所述圖像分割結(jié)果中最大的像素連通區(qū)域，生成一圖像分割框；

以熱力圖的形式展示所述目標(biāo)定位圖，并在所展示的目標(biāo)定位圖中顯示所述圖像分割框；

將顯示有所述圖像分割框的所述目標(biāo)定位圖和所述分類(lèi)結(jié)果作為目標(biāo)定位結(jié)果。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述注意力加權(quán)模塊，基于所述初始特征圖計(jì)算一注意力權(quán)重矩陣，包括：

將所述初始特征圖重構(gòu)為一個(gè)維度為C×N的矩陣M；其中，C代表所述初始特征圖的通道，N＝H×W，H代表所述初始特征圖的高度，W代表所述初始特征圖的寬度；

將所述矩陣M與所述矩陣M的轉(zhuǎn)置相乘，得到一注意力權(quán)重矩陣。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述掩模模塊，屏蔽所述注意力加權(quán)特征圖中與所述目標(biāo)相關(guān)的顯著性區(qū)域，得到注意力掩模圖，包括：

將所述注意力加權(quán)特征圖在通道的維度求平均，得到平均注意力特征圖；

基于所述平均注意力特征圖，利用預(yù)設(shè)的閾值計(jì)算公式，計(jì)算一采樣閾值；

根據(jù)所述采樣閾值對(duì)所述平均注意力特征圖進(jìn)行采樣，得到初始注意力掩模圖；

對(duì)所述初始注意力掩模圖進(jìn)行擴(kuò)維和卷積，得到注意力掩模圖。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述掩模模塊，根據(jù)所述采樣閾值對(duì)所述平均注意力特征圖進(jìn)行采樣，得到初始注意力掩模圖，包括：

將所述平均注意力特征圖中不小于所述采樣閾值的像素值設(shè)置為0，并將所述平均注意力特征圖中小于所述采樣閾值的像素值設(shè)置為1，得到掩模模板；

將所述掩模模板與所述平均注意力特征圖進(jìn)行相乘，得到初始注意力掩模圖。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述閾值計(jì)算公式為：

val＝λ*p_max(i,j)+(1-λ)*p_min(i,j)；

其中，p_max(i,j)為所述平均注意力特征圖中的最大像素值，p_min(i,j)為所述平均注意力特征圖中的最小像素值；λ∈[0.4，0.6]，val為所述采樣閾值。