[發(fā)明專利]基于信息挖掘的偽裝目標(biāo)圖像分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110078735.6
• 申請(qǐng)日: 2021-01-21
• 公開（公告）號(hào): CN112750140B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 楊鑫;梅海洋;董文;魏小鵬;范登平
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/00;G06N3/04;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪

1.一種基于信息挖掘的偽裝目標(biāo)圖像分割方法，其特征在于，步驟如下：

步驟1構(gòu)建PFNet網(wǎng)絡(luò)

偽裝目標(biāo)分割網(wǎng)絡(luò)PFNet主要由多層特征提取器、一個(gè)定位模塊和三個(gè)聚焦模塊組成；

多層特征提取器基于具有特征提取能力的網(wǎng)絡(luò)ResNet-50實(shí)現(xiàn)，其輸入是包含有偽裝目標(biāo)的RGB圖像，其提取到的多等級(jí)特征依次分等級(jí)送入一個(gè)定位模塊和三個(gè)聚焦模塊；

定位模塊用來初步確定圖像中潛在偽裝目標(biāo)的位置，主要由一個(gè)通道注意力塊和一個(gè)空間注意力塊依次組成，兩者均以non-local方式實(shí)現(xiàn)，來捕獲通道和空間的long-range依賴關(guān)系，從全局角度增強(qiáng)最高級(jí)別特征的語義表示；對(duì)于給定的特征F∈R^C×H×W，C、H和W分表表示圖像的通道數(shù)、高度和寬度，首先重塑F獲得Q、K和V，其中{Q，K，V}∈R^C×N并且N＝H×W；之后對(duì)Q和K^T使用矩陣乘法，并用softmax層來計(jì)算通道注意力圖X，X∈R^C×C：

其中，x_ij衡量j^th通道對(duì)i^th通道的影響；為了提高容錯(cuò)能力，給結(jié)果乘以可學(xué)習(xí)的縮放參數(shù)γ并進(jìn)行表示映射，獲得通道注意力塊的輸出F′，F(xiàn)′∈R^C×H×W：

其中，γ是初始化為1的逐步學(xué)習(xí)的權(quán)重參數(shù)；特征F′對(duì)特征圖之間的long-rang語義依賴建模，比輸入特征F更具判別力；之后將通道注意力塊的輸出送入空間注意力塊；在空間注意力塊里，首先使用三個(gè)1×1的卷積層處理F′并將結(jié)果分別重塑為新的Q′、K′和V′，其中V′∈R^C×N；再將Q′^T乘以V′，使用softmax正則化生成空間注意力圖X′，X′∈R^N×N：

其中，x′_ij衡量j^th位置對(duì)i^th位置的影響；同時(shí)執(zhí)行V′和X′^T的矩陣乘法，并將結(jié)果重塑為R^C×H×W；結(jié)果乘以可學(xué)習(xí)的縮放參數(shù)γ′并添加一個(gè)skip-connection生成空間注意塊的輸出F″，F(xiàn)″∈R^C×H×W：

其中，γ′同樣被初始化為1；F″進(jìn)一步獲得所有位置之間的語義相關(guān)性，從而增強(qiáng)了特征的語義表示；在定位模塊的最后，本方法使用步長(zhǎng)為3的7×7的卷積確定潛在目標(biāo)的初始位置；

聚焦模塊用來獲得對(duì)偽裝目標(biāo)更為準(zhǔn)確的細(xì)節(jié)信息預(yù)測(cè)，消除偽裝目標(biāo)因與周圍環(huán)境相似形成的干擾信息；在本方法的設(shè)計(jì)中，首先是干擾信息的發(fā)現(xiàn)部分，對(duì)較高級(jí)別的預(yù)測(cè)進(jìn)行上采樣，再使用sigmoid層進(jìn)行歸一化，使用歸一化的結(jié)果圖以及其反轉(zhuǎn)的結(jié)果乘以當(dāng)前級(jí)別的特征F_C，分別生成前景關(guān)注特征F_fa和背景關(guān)注特征F_ba；之后將兩種類型的特征送入兩個(gè)并行上下文探索塊CE中，分別獲得假陽性干擾信息F_fpd和假陰性干擾信息F_fnd；其中CE塊有四個(gè)上下文探索分支，每個(gè)分支使用3×3的卷積來縮減通道，k_i×k_i的卷積提取局部特征，擴(kuò)張率為r_i的3×3擴(kuò)張卷積來進(jìn)行語境感知，設(shè)置k_i為1，3，5，7，設(shè)置r_i為1，2，4，8，i等于{1，2，3，4}；第i個(gè)CE分支的輸出送進(jìn)第(i+1)個(gè)分支以獲得在更大感受野中進(jìn)行的處理；所有的四個(gè)分支的輸出通過3×3卷積進(jìn)行級(jí)聯(lián)和融合；在發(fā)現(xiàn)干擾之后，使用如下方法去除干擾信息：

F_up＝U(CBR(F_h))，

F_r＝BR(F_up-αF_fpd)，

F′_r＝BR(F_r+βF_fnd)，

其中，F(xiàn)_h和F_r′分別表示輸入的高等級(jí)特征和微調(diào)后的輸出特征；CBR表示卷積、批正則化和ReLU激活函數(shù)的結(jié)合；U是上采樣；α，β是可學(xué)習(xí)的縮放參數(shù)；本方法使用元素級(jí)減法運(yùn)算抑制雜亂的背景信息和元素級(jí)加法增強(qiáng)丟失的前景信息；在聚焦模塊的最后，通過對(duì)精細(xì)特征F_r′的卷積操作，獲得更準(zhǔn)確的預(yù)測(cè)結(jié)果；

步驟2訓(xùn)練過程

在訓(xùn)練時(shí)，首先將數(shù)據(jù)集的訓(xùn)練集數(shù)據(jù)送入網(wǎng)絡(luò)的多層特征提取器，提取的結(jié)果先后分等級(jí)送入一個(gè)定位模塊和三個(gè)聚焦模塊；然后定位模塊通過通道注意力塊和空間注意力塊對(duì)圖像中的偽裝目標(biāo)進(jìn)行初步定位，描繪模塊反復(fù)挖掘偽裝目標(biāo)信息并去除環(huán)境干擾信息，最終獲得精細(xì)的預(yù)測(cè)結(jié)果；為提升訓(xùn)練效果，定位模塊和描繪模塊在訓(xùn)練過程中的預(yù)測(cè)結(jié)果均受到訓(xùn)練集中對(duì)應(yīng)的人工標(biāo)注的掩膜圖像的監(jiān)督，對(duì)定位模塊的輸出使用二元交叉熵?fù)p失l_bce和IoU損失l_iou，即L_pm＝l_bce+l_iou；聚焦模塊處理目標(biāo)的邊界、細(xì)長(zhǎng)的區(qū)域和孔洞處，本方法使用加權(quán)的二元交叉熵?fù)p失l_wbce和加權(quán)的IoU損失l_wiou，即L_fm＝l_wbce+l_wiou；整體的損失函數(shù)定義如下：

從而引導(dǎo)PFNet能夠根據(jù)輸入圖像更好地預(yù)測(cè)最終的偽裝目標(biāo)分割結(jié)果。