[發明專利]基于邊緣指導和多層次特征動態聚合的顯著性目標檢測方法

在審

• 申請號: 202210029292.6
• 申請日: 2022-01-07
• 公開（公告）號: CN114529740A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 孫延光;夏晨星;高修菊;李續兵;趙文俊;段秀真
• 申請（專利權）人: 安徽理工大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/74;G06V10/80;G06V10/82;G06V10/26;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于邊緣指導和多層次特征動態聚合的顯著性目標檢測方法，其特征在于，該方法包括一下步驟：

1)收集RGB圖像數據集，利用VGG-16主干框架提取圖像多尺度特征并進行編碼；

2)利用多層次特征動態聚合模塊優化多層次特征，生成初始顯著性圖；

3)利用邊緣預測模塊從主干網絡中低層次的特征生成高質量邊緣信息圖；

4)初始顯著性圖與邊緣信息圖進行高效融合增強顯著性目標的邊緣信息，生成高性能最終顯著性圖。

2.根據權利要求1所述的基于邊緣指導和多層次特征動態聚合的顯著性目標檢測方法，其特征在于：所述步驟1)具體方法是：

2.1)收集顯著性目標檢測領域常用的RGB圖像數據集，DUTS數據集、DUT-OMRON數據集、MSRA-10K數據集、ECSSD數據集、PASCAL-S數據集、SOD數據集、THUS數據集。

2.2)將DUTS數據集作為訓練數據集，將SOD數據集、ECSSD數據集、PASCAL-S數據集、THUS數據集、MSRA-10K數據集、DUT-OMRON數據集作為測試數據集。

2.3)將預訓練好的VGG-16作為主干框架從輸入RGB圖像數據集提取多尺度特征，然后對多尺度特征進行編碼(Conv_1、Conv_2、Conv_3、Conv_4、Conv_5)。

3.根據權利要求1所述的基于邊緣指導和多層次特征動態聚合的顯著性目標檢測方法，其特征在于：所述步驟2)具體方法是：

3.1)將初始多層次特征輸入多層次特征動態聚合模塊進行特征融合，通過卷積操作與sigmoid(x)函數生成顯著性圖利用平均絕對誤差(MAE)進行判斷，保留最優融合特征。多層次特征進行動態最優融合生成高質量特征(P1、P2、P3、P4、P5)

其中x，y是像素坐標點的位置，S是生成顯著性圖，G是真值標簽，W，H是顯著性圖S的長度和寬度。

Pi＝θ(ρ(concat(Conv_i，Conv))，w)(i＝1，2，3，4，5) (2)

其中θ(x)是卷積核大小是1×1，參數為w的卷積操作，ρ(x)是平均絕對誤差判斷機制，concat(x)是特征融合操作，Conv除了Conv_i本身的所有多尺度特征。

3.2)步驟3.1中生成的高質量特征P2、P3、P4、P5進行上采樣到與P1尺寸相同，然后進行特征融合通過卷積核大小為1×1的卷積操作和sigmoid(x)函數預測初始的顯著性圖S1；

S1＝s(θ(concat(P1，up(P2)，up(P3)，up(P4)，up(P5))，w)) (3)

其中s(x)是sigmoid(x)函數，up(x)是上采樣操作，θ(x)是卷積操作，w是卷積操作參數，S1是預測的初始顯著性圖。

4.根據權利要求1所述的基于邊緣知道和多層次特征動態聚合的顯著性目標檢測方法，其特征在于：所述步驟3)具體方法是：

4.1)將VGG-16主干框架中高層次語義特征(Conv_5)與低層次邊緣特征(Conv_1、Conv_2)進行特征相乘，生成特征T1、T2，用作更好地定位顯著性目標。

Ti＝multi(Conv_i，Conv_5)(i＝1，2) (4)

其中multi(x)是特征相稱操作。

4.2)將生成的特征T1、T2輸入邊緣預測模塊，然后利用空洞卷積擴張率為(0，2，4)和殘差結構提升特征的性能，T2特征通過上采樣與T1特征進行融合，通過一個1×1的卷積核和Sigmoid函數生成邊緣預測圖E。

E＝s(θ(concat(τ(T1)，up(τ(T2)))，w)) (5)

其中s(x)是sigmoid(x)函數，θ(x)是卷積核為1×1，參數為w的卷積操作，concat(x)是特征聚合操作，τ(x)是邊緣預測模塊。

5.根據權利要求1所述的基于邊緣知道和多層次特征動態聚合的顯著性目標檢測方法，其特征在于：所述步驟4)具體方法是：

5.1)對步驟3.3)和步驟4.2)生成的初始顯著性圖S1和邊緣預測圖E進行融合，得到顯著性圖S2。

S2＝s(θ(concat(S1，E)，w)) (6)

其中s(x)是sigmoid(x)函數，θ(x)是卷積核為1×1，參數為w的卷積操作，concat(x)是特征聚合操作。

5.2)對于生成的顯著性圖S2進行自迭代操作，生成最終的顯著性圖S3。

S3＝concat(S2，up(θ1(S2))，up(θ2(S2))) (7)

其中concat(x)為特征聚合操作，θ1(x)卷積核為3×3的卷積操作，θ2(x)卷積核為5×5的卷積操作，up(x)為上采樣操作。