[發明專利]基于U網絡和對抗學習的顯著性檢測方法

有效

• 申請號: 201810036637.4
• 申請日: 2018-01-15
• 公開（公告）號: CN108171701B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 路紅;姚澤平;楊博弘
• 申請（專利權）人: 復旦大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于計算機數字圖像處理技術領域，具體為一種基于U網絡和對抗學習的顯著性檢測方法。本發明步驟為：構建深度神經網絡：神經網絡整體設計基于對抗生成網絡，包含生成器與鑒別器，生成器在結構上使用了自編碼器結構與跳躍連接，主要由編碼器和譯碼器組成，編碼器是由編碼模塊組成，編碼模塊使用了堆疊的殘差模塊，譯碼器主要由解碼器組成，也使用了堆疊的殘差模塊；訓練深度神經網絡：使用公開的、真實場景下的顯著性圖像數據集，利用多尺度的圖像內容損失函數與對抗損失函數，訓練前一步中構建的深度神經網絡；利用訓練好的網絡模型，對自然圖像進行檢測，再將得到的結果進行后處理，得到最終的結果。本發明方法能夠提高顯著性檢測的準確性。

技術領域

本發明屬于計算機數字圖像處理技術領域，具體涉及一種基于U網絡和對抗學習顯的著性檢測方法。

背景技術

隨著數字圖像處理技術的不斷發展，圖像顯著性檢測被廣泛應用到圖像壓縮，圖像分類，目標識別，圖像分割等多個領域。

目前計算機在處理復雜場景的圖像時，需要耗費大量的時間和計算能力，如果能夠模仿人類的視覺注意力機制，像人眼一樣不受復雜背景影響而準確快速地確定場景中的顯著區域或目標，并進行優先處理，舍棄非顯著區域，可有效地提高圖像處理的效率和準確性。根據人類的視覺特點，視覺顯著性主要可以分成三類：一類是基于數據驅動、獨立于具體任務，自底向上的顯著檢測；一類是受意識支配，依賴于具體任務，自頂向下的顯著檢測；一類是前兩類的結合。顯著性源于視覺的獨特性、不可預測性，這是由顏色、亮度、邊界、梯度、紋理等圖像屬性所致，由于缺乏高層知識，大多數算法都是屬于自底向上的顯著檢測。

盡管目前的自底向上的顯著性檢測算法取得了不錯的效果，但仍存在幾個問題需要解決。首先，這些方法利用圖像顏色，亮度，邊界，梯度，紋理等底層特征屬性來決定圖像某個區域和它周圍的對比度，雖然現有的大部分的圖像顯著度方法一般容易檢測到目標，但是集中在圖像的邊緣上，難以均勻的高亮整個顯著目標。其次，就是因為不知道目標的大小和位置，所以需要大量的重復計算對整幅圖像進行搜索。最后，在背景比較復雜的情況下，依賴于低層次特征的視覺信息，容易丟失感興趣目標的信息，從而對結果產生影響。本發明通過設計深度神經網絡來提取高級視覺信號提高顯著性檢測的準確性。

發明內容

本發明的目的在于克服以上技術中的缺陷，提供一種高效的、準確的顯著性檢測方法。

本發明提出的顯著性檢測方法，是一種基于U網絡和對抗學習的顯著性檢測的方法，其具體步驟如下：

(1)構建深度神經網絡；

(2)訓練深度神經網絡；

(3)利用訓練好的網絡模型進行顯著性檢測；

(4)利用全連接的條件隨機場進行后處理。

步驟(1)所述的構建深度神經網絡，具體過程如下：

(11)構造生成器，其具體步驟如下：

(111)構造編碼模塊：包含6個編碼塊，每個編碼塊由順序連接的3個殘差塊和最大池化組成，其具體步驟如下：

(1111)構造殘差塊，其具體步驟如下：

(11111)定義卷積層，每個卷積層的卷積核大小都為3×3，步長都為1；

(11112)定義批標準化層；

(11113)定義非激活函數；

(11114)將卷積層，批標準化層，非激活函數順序連接，再加上殘差連接組成殘差塊

(1112)構造最大池化層；

(1113)將殘差塊和最大池化層順序堆疊起來組成編碼塊；

(1114)將6個編碼塊順序連接起來；