[發明專利]基于級聯卷積網絡和對抗學習的顯著性目標檢測方法

有效

• 申請號: 201910024728.0
• 申請日: 2019-01-10
• 公開（公告）號: CN109829391B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 鄔向前;卜巍;唐有寶
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/46;G06V10/82;G06N3/0464;G06N3/045;G06N3/0475;G06N3/094;G06N3/09
• 代理公司: 哈爾濱龍科專利代理有限公司 23206
• 代理人: 高媛

1.一種基于級聯卷積網絡和對抗學習的顯著性目標檢測方法，其特征在于所述方法包括如下步驟：

一、設計一個用于全局顯著性估計的編碼器-解碼器網絡，將其命名為全局顯著性估計器E，將原圖輸入到全局顯著性估計器E中，得到初始顯著性圖；

二、為了細化顯著性檢測的邊緣，設計一組局部顯著性細化的深度殘差網絡，將其命名為局部顯著性細化器R，深度殘差網絡的輸入是由全局顯著性估計器E生成的初始顯著性圖和原圖的組合，輸出是最終的細化顯著性圖；

三、將全局顯著性估計器E和局部顯著性細化器R組合成為基于級聯卷積神經網絡的產生器G，用于生成顯著性圖；

四、引入一種對抗性損失來優化基于級聯卷積神經網絡的產生器G；

五、設計一個對抗學習判別器D來區分真實的顯著性圖和基于級聯卷積神經網絡的產生器G生成的預測顯著性圖，所述對抗學習判別器D的損失函數為：

L_C＝γ·L_E+(1-γ)·L_R；

L(G)＝λ·L_C+(1-λ)·L_A；

L＝L(G)+L(D)；

式中，L(D)為對抗學習判別器部分的損失函數，L_A為對抗學習生成器部分的損失函數，表示求目標分布的期望，D()表示對抗學習判別器輸出的結果，G()表示對抗學習生成器的輸出結果，輸入變量I指原圖，Y指真實顯著性圖，L_C為對抗學習生成器部分監督學習的損失函數，L(G)為對抗學習生成器的損失函數，包含有監督學習和對抗學習兩部分，L為總的損失函數，包含對抗學習生成器和對抗學習判別器兩部分，γ和λ是平衡常量；

六、基于級聯卷積神經網絡的產生器G和對抗學習判別器D遵循條件生成對抗性網絡的策略，以一種完全端到端的方式進行訓練，使基于級聯卷積神經網絡的產生器G更好地了解顯著性物體結構信息，得到好的顯著性檢測結果。

2.根據權利要求1所述的基于級聯卷積網絡和對抗學習的顯著性目標檢測方法，其特征在于所述編碼器部分使用八個連續的卷積核大小為4*4、步長為2的卷積層，每層卷積核數分別為64、128、256、512、512、512、512、512；解碼器部分使用對應的八個卷積核大小為4*4、步長為2的反卷積層，每層的卷積核數分別為512、512、512、512、256、128、64、1；在反卷積層之前，使用跨層連接的方法將相應的卷積模塊得到的特征和上一個反卷積的結果整合作為反卷積層的輸入，在每兩個卷積層之間，使用ParametricReLU激活函數和批規范層，網絡的最后一層使用雙曲正切激活函數。

3.根據權利要求1所述的基于級聯卷積網絡和對抗學習的顯著性目標檢測方法，其特征在于所述全局顯著性估計器E的損失函數為：

式中：L_E為全局顯著性估計器E的損失函數，α為平衡參數，設置為Y-為真實顯著性圖片的背景像素數量，|Y₊|為真實顯著性圖片的顯著性區域像素數量，y_i為預測像素的值，0代表背景，1代表顯著性區域，E(I)為E生成的顯著性圖。

4.根據權利要求1所述的基于級聯卷積網絡和對抗學習的顯著性目標檢測方法，其特征在于所述局部顯著性細化器R由16個殘差模塊組成，每一個殘差模塊由兩個64*3*3的卷積層、ParametricReLU激活函數和批規范層組成，最后一個殘差模塊后使用一個1*1*1的卷積并使用雙曲正切激活函數。

5.根據權利要求1所述的基于級聯卷積網絡和對抗學習的顯著性目標檢測方法，其特征在于所述對抗學習判別器D部分使用5個連續的卷積核大小為4*4、步長為2的卷積層，每層卷積核數分別為64、128、256、512、512，在每兩個卷積層之間，使用ParametricReLU激活函數和批規范層，最后一個卷積層后使用一個1*1的卷積和sigmoid激活函數。