[發明專利]一種基于弱監督學習的協同顯著性檢測方法

有效

• 申請號: 202011495029.3
• 申請日: 2020-12-17
• 公開（公告）號: CN112598043B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 周曉飛;賀熠凡;張繼勇;孫垚棋;顏成鋼
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/46;G06V10/82;G06N3/0464;G06N3/045;G06N3/084;G06N3/0895
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于弱監督學習的協同顯著性檢測方法。本發明包括以下步驟：步驟(1)深度神經網絡的構建和預訓練；步驟(2)弱監督數據集的劃分；步驟(3)顯著性圖像樣本增強；步驟(4)協同顯著性圖的預測。使用弱監督的方式隱式地抓取圖像間的協同特征，使用樣本圖像增強的方式增加神經網絡的魯棒性。協同顯著性檢測中，如何利用好圖像間的協同特征是關鍵的，本發明使用約50％的樣本輸入到神經網絡中進行訓練微調隱式獲取圖像間的協同特征。同時存在圖像樣本中顯著性目標在像素層面所占的比例較小的情況，不利于神經網絡的訓練和微調，本發明使用一種圖像樣本增強的手段來克服這一點，來實現對一組圖像中顯著性目標的預測。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于弱監督學習的協同顯著性檢測方法。

背景技術

顯著性檢測是計算機視覺領域的一個研究熱點，在相關研究方向中有著廣泛的應用，如行人重識別、基于內容的視頻壓縮、圖像質量評估以及目標檢測和分割等，它已引起越來越多的關注。

協同顯著性是在視覺顯著性發展過程中的另一個新興的研究分支。在近幾年來逐步成為計算機視覺領域的熱點問題。許多成像設備，例如數碼相機和智能手機，都能夠采集大量的圖像或視頻數據。尤其照片共享網站例如Flickr和Facebook，增加了此類數據的訪問量。因此，如今人們更有可能面對大量的圖像，這些圖像通常尺寸巨大并且共享共同的對象或事件。與單個圖像相比，一組圖像包含更豐富，更有用的信息。在圖像組內，可以使用頻繁出現的圖案或主要前景來表示圖像組的主要內容。因此，需要建立有效的計算系統為機器賦予此類功能，促進協同顯著性任務的發展。

協同顯著性所研究的內容是多幅圖像之間顯著物體的協同檢測。一方面，協同顯著性需要借助傳統的視覺顯著性檢測方法對單一圖像進行顯著區域提取；另一方面，協同顯著性需要考慮多幅圖像之間的協同相關性，尤其是多幅圖像中顯著區域之間的協同相關性。在一些復雜情況下單幅圖像顯著性檢測受到制約或瓶頸時，通過引入其他相關圖像或參考源、分析相互間關系、構建全局的關聯性約束，則可以探索基于全局關聯性的顯著性模式(也就是協同顯著性)并挖掘該圖像組中的共性感興趣物體。

近年來，鑒于深度神經網絡(DNNs)的強大學習能力，研究者們已經研制出了多個深度(卷積)模型。這些模型通常情況下可以出色地完成視覺顯著性檢測任務，因為他們能夠從大量標注數據中學習到許多有意義的特征表征和隱層模式。例如最初是用卷積神經網絡(CNN)?在局部圖像中為每一個像素預測出一個顯著性得分，然后從全局的角度調整每一個超像素的得分。類似的，還有學者提出了一個多“語境”的深度學習框架，它在一個統一的框架中聯合了全局和局部的上下文信息。還有首先從圖片的全局結構中生成一個粗糙的全局顯著預測，然后通過分層的遞歸卷積神經網絡來逐步生成顯著圖的局部細節的方法。目前協同顯著性檢測是通過全監督學習或無監督學習的方式，利用深度神經網絡強大的能力，取得了不錯的效果。使用弱監督學習的策略較為缺少。

發明內容

針對現有技術存在的不足，本發明提供了一種基于弱監督學習的協同顯著性檢測方法。

本發明方法包括以下步驟：

步驟(1)深度神經網絡的構建和預訓練。

所述的深度神經網絡即BASNet(邊緣感知顯著性目標檢測網絡)。所述的預訓練是在基于BASNet的原有參數下，再使用協同顯著性檢測數據集進行訓練實現模型微調。本發明使用的數據集為協同顯著性檢測領域中較常見的三個數據集CoSal2015、Coseg-Rep、PASCAL，合并后作為網絡預訓練的輸入，然后使用BASNet的公開訓練參數進行訓練得到BASNet的網絡內部參數A。

步驟(2)弱監督數據集的劃分。

選取的測試數據集是協同顯著性檢測常見的三個，iCoseg、MSRC、?CoSOD3k，具體劃分步驟如下：