[發明專利]深度融合邊緣與高層特征的顯著性目標檢測方法及裝置

有效

• 申請號: 202110245337.9
• 申請日: 2021-03-05
• 公開（公告）號: CN112926667B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 唐奇伶;劉子儀;盧玉紅;張美玲;郭金鑫;鄭菲
• 申請（專利權）人: 中南民族大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06N3/08
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孔燦

1.一種深度融合邊緣與高層特征的顯著性目標檢測方法，其特征在于：所述顯著性目標檢測方法包括以下步驟：

獲取圖像訓練數據集；

基于VGG-16神經網絡構建初始顯著性檢測網絡；

基于所述圖像訓練數據集通過反向傳播算法有監督的最小化所述初始顯著性檢測網絡的目標函數，得到優化后的顯著性檢測網絡；

所述初始顯著性檢測網絡包括兩個低層網絡和三個高層網絡；

在兩個所述低層網絡建立非經典感受野調制神經網絡；

初始化所述非經典感受野調制神經網絡中的感受野層的參數，定義所述非經典感受野調制神經網絡的目標函數；

根據所述目標函數，基于所述圖像訓練數據集訓練所述非經典感受野調制神經網絡有監督的學習所述圖像訓練數據集中圖像的邊緣特征；

獲取三個所述高層網絡的高層特征，根據所述高層特征計算得到高層注意映射、高層特征與低層特征的交互注意力映射，通過所述高層注意映射與所述交互注意力映射得到顯著性區域的高層信息對低層產生的作用強度，根據所述作用強度聯合所述高層特征和所述邊緣特征有監督的學習所述圖像訓練數據集中圖像的顯著性特征，獲得優化后的顯著性檢測網絡；

將待識別圖像輸入所述優化后的顯著性檢測網絡，輸出所述待識別圖像的顯著性目標檢測結果。

2.如權利要求1所述的顯著性目標檢測方法，其特征在于：所述基于所述圖像訓練數據集通過反向傳播算法有監督的最小化所述初始顯著性檢測網絡的目標函數，得到優化后的顯著性檢測網絡，具體包括：

基于所述圖像訓練數據集，通過基于隨機梯度下降的反向傳播算法對所述初始顯著性檢測網絡進行端到端的訓練，輸入為所述圖像訓練數據集中的圖像，輸出為所述圖像訓練數據集中圖像的顯著性映射，產生所述圖像訓練數據集中圖像的每個像素的顯著性得分概率，在訓練過程中，通過反向傳播算法有監督的計算所述初始顯著性檢測網絡的目標函數，當所述目標函數最小時，得到優化后的顯著性檢測網絡。

3.如權利要求1所述的顯著性目標檢測方法，其特征在于：在對所述初始顯著性檢測網絡進行訓練的過程中，所述初始顯著性檢測網絡的總損失函數為顯著性邊緣損失和顯著性區域損失之和，具體計算公式如下：

其中顯著性邊緣損失利用二值交叉熵函數定義如下：

k為調控因子，平衡輪廓與非輪廓之間嚴重的類別不均衡，Y⁺和Y^-分別表示圖像輪廓的正、負樣本集，F_L表示輸入判別器的低層特征，W_E表示對應的低層網絡參數，P(y_j＝1|F_L；W_E)表示像素j屬于邊緣類別的預測概率，P(y_j＝0|F_L；W_E)表示像素j屬于非邊緣類別的預測概率；顯著性區域損失由兩部分組成：高層特征產生的顯著性區域損失和高低層特征融合后的產生顯著性區域損失，計算公式如下：

式中l＝1對應高層特征產生的顯著性區域損失，l＝2對應高低層特征融合后產生的顯著性區域損失，Z⁺,Z^-分別表示顯著性區域像素集合與非顯著性區域像素集合，為預測像素i為顯著性區域像素的概率值，為預測像素i為非顯著性區域像素的概率值，和分別表示高層特征與對應的高層網絡參數，和分別表示高低層融合后的特征與對應的融合層網絡參數。

4.如權利要求1所述的顯著性目標檢測方法，其特征在于：在所述獲取圖像訓練數據集的步驟之后，還包括：

對所述圖像訓練數據集進行數據增強，獲得增強后的圖像訓練數據集，所述增強后的圖像訓練數據集用于對所述初始顯著性檢測網絡進行有監督的學習。

5.一種深度融合邊緣與高層特征的顯著性目標檢測裝置，其特征在于，所述顯著性目標檢測裝置包括：

獲取模塊，用于獲取圖像訓練數據集；

構建模塊，用于基于VGG-16構建初始顯著性檢測網絡；

訓練模塊，用于基于所述圖像訓練數據集通過反向傳播算法有監督的最小化所述初始顯著性檢測網絡的目標函數，得到優化后的顯著性檢測網絡；

所述初始顯著性檢測網絡包括兩個低層網絡和三個高層網絡；

所述訓練模塊具體用于在兩個所述低層網絡建立非經典感受野調制神經網絡；

還用于初始化所述非經典感受野調制神經網絡中的感受野層的參數，定義所述非經典感受野調制神經網絡的目標函數；

還用于根據所述目標函數，基于所述圖像訓練數據集訓練所述非經典感受野調制神經網絡有監督的學習所述圖像訓練數據集中圖像的邊緣特征；

還用于獲取三個所述高層網絡的高層特征，根據所述高層特征計算得到高層注意映射、高層特征與低層特征的交互注意力映射，通過所述高層注意映射與所述交互注意力映射得到顯著性區域的高層信息對低層產生的作用強度，根據所述作用強度聯合所述高層特征和所述邊緣特征有監督的學習所述圖像訓練數據集中圖像的顯著性特征，獲得優化后的顯著性檢測網絡；

檢測模塊，用于將待識別圖像輸入所述優化后的顯著性檢測網絡，輸出所述待識別圖像的顯著性目標檢測結果。