[發(fā)明專利]一種基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法

在審

• 申請?zhí)枺?/td>: 202110494656.3
• 申請日: 2021-05-06
• 公開（公告）號: CN113139544A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 孫延光;夏晨星;段松松;張海濤
• 申請（專利權(quán)）人: 安徽理工大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法，其特征在于，該方法包括一下步驟：

1)收集RGB圖像數(shù)據(jù)集，利用VGG-16主干框架提取圖像多尺度特征并進(jìn)行編碼；

2)利用多尺度特征動態(tài)融合模塊優(yōu)化多尺度特征，生成初始顯著性圖；

3)利用邊緣預(yù)測模塊從主干網(wǎng)絡(luò)中低層次的特征生成高質(zhì)量邊緣信息圖；

4)初始顯著性圖與邊緣信息圖進(jìn)行高效融合增強(qiáng)顯著性目標(biāo)的邊緣信息，生成高性能最終顯著性圖。

2.根據(jù)權(quán)利要求1所述的基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法，其特征在于：所述步驟1)具體方法是：

2.1)收集顯著性目標(biāo)檢測領(lǐng)域常用的RGB圖像數(shù)據(jù)集,MSRA-10K數(shù)據(jù)集、ECSSD數(shù)據(jù)集、PASCA-S數(shù)據(jù)集、SOD數(shù)據(jù)集、THUS數(shù)據(jù)集。

2.2)將MSRA-10K數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，將SOD數(shù)據(jù)集、ECSSD數(shù)據(jù)集、PASCA-S數(shù)據(jù)集、THUS數(shù)據(jù)集作為測試數(shù)據(jù)集。

2.3)將預(yù)訓(xùn)練好的VGG-16作為主干框架從輸入RGB圖像數(shù)據(jù)集提取多尺度特征，然后對多尺度特征進(jìn)行編碼(Conv_1、Conv_2、Conv_3、Conv_4、Conv_5)

3.根據(jù)權(quán)利要求1所述的基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法，其特征在于：所述步驟2)具體方法是：

3.1)將多尺度特征輸入多尺度特征動態(tài)融合模塊進(jìn)行特征融合，通過卷積操作與sigmoid(x)函數(shù)生成顯著性圖利用平均絕對誤差(MAE)進(jìn)行判斷，保留最優(yōu)融合特征。多尺度特征進(jìn)行動態(tài)最優(yōu)融合生成高質(zhì)量特征(P1、P2、P3、P4、P5)

其中x，y是像素坐標(biāo)點(diǎn)的位置，S是生成顯著性圖，G是真值標(biāo)簽，W，H是顯著性圖S的長度和寬度。

Pi＝θ(ρ(concat(Conv_i，Conv))，w)(i＝1，2，3，4，5) (2)

其中θ(x)是卷積核大小是1×1，參數(shù)為w的卷積操作，ρ(x)是平均絕對誤差判斷機(jī)制，concat(x)是特征融合操作，Conv除了Conv_i本身的所有多尺度特征。

3.2)步驟3.1中生成的高質(zhì)量特征P2、P3、P4、P5進(jìn)行上采樣到與P1尺寸相同，然后進(jìn)行特征融合通過卷積核大小為1×1的卷積操作和sigmoid(x)函數(shù)預(yù)測初始的顯著性圖S1；

S1＝s(θ(concat(P1，up(P2)，up(P3)，up(P4)，up(P5))，w)) (3)

其中s(x)是sigmoid(x)函數(shù)，up(x)是上采樣操作，θ(x)是卷積操作，w是卷積操作參數(shù)，S1是預(yù)測的初始顯著性圖。

4.根據(jù)權(quán)利要求1所述的基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法，其特征在于：所述步驟3)具體方法是：

4.1)將VGG-16主干框架中高層次語義特征(Conv_5)與低層次邊緣特征(Conv_1、Conv_2)進(jìn)行特征相乘，生成特征T1、T2，用作更好地定位顯著性目標(biāo)。

Ti＝multi(Conv_i，Conv_5)(i＝1，2) (4)

其中multi(x)是特征相稱操作。

4.2)將生成的特征T1、T2輸入邊緣預(yù)測模塊，然后利用空洞卷積擴(kuò)張率為(0，2，4)和殘差結(jié)構(gòu)提升特征的性能，T2特征通過上采樣與T1特征進(jìn)行融合，通過一個(gè)1×1的卷積核和Sigmoid函數(shù)生成邊緣預(yù)測圖E。

E＝s(θ(concat(τ(T1)，up(τ(T2)))，w)) (5)

其中s(x)是sigmoid(x)函數(shù)，θ(x)是卷積核為1×1，參數(shù)為w的卷積操作，concat(x)是特征聚合操作，τ(x)是邊緣預(yù)測模塊。

5.根據(jù)權(quán)利要求1所述的基于多尺度特征動態(tài)融合的顯著性目標(biāo)檢測方法，其特征在于：所述步驟4)具體方法是：

5.1)對步驟3.3)和步驟4.2)生成的初始顯著性圖S1和邊緣預(yù)測圖E進(jìn)行融合，得到顯著性圖S2。

S2＝s(θ(concat(S1，E)，w)) (6)

其中s(x)是sigmoid(x)函數(shù)，θ(x)是卷積核為1×1，參數(shù)為w的卷積操作，concat(x)是特征聚合操作。

5.2)對于生成的顯著性圖S2進(jìn)行自迭代操作，生成最終的顯著性圖S3。

S3＝concat(S2，up(θ1(S2))，up(θ2(S2))) (7)

其中concat(x)為特征聚合操作，θ1(x)卷積核為3×3的卷積操作，θ2(x)卷積核為5×5的卷積操作，up(x)為上采樣操作。