[發明專利]一種基于圖卷積梯度引導的多分支協同顯著性檢測方法

在審

• 申請號: 202210691998.9
• 申請日: 2022-06-17
• 公開（公告）號: CN115546511A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 宋慧慧;吳泱;張開華
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/22;G06V20/70;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 田凌濤

本發明公開了一種基于圖卷積梯度引導的多分支協同顯著性檢測方法。在相似度提取分支中，我們用CNN提取輸入的一組圖片的淺層和中層特征。在圖卷積分支中，我們用GCN對這組圖片進行特征提取，剔除背景噪聲，得到平滑的深層特征。將此二分支高維特征進行融合，得到一組具備鑒別性的共識表示，再將此共識表示逐次與組內單張圖片特征信息進行融合，得到一組高維圖像級信息，利用反向傳播中的梯度信息來引導模型關注具有鑒別性的特征。我們進一步利用坐標軸注意力機制，協助在引導深層信息指導上采樣過程中恢復目標邊界，最終獲得協同顯著性圖。本發明的協同顯著性檢測算法在干擾目標多樣、背景雜亂的場景中能顯著地提高準確性和魯棒性。

技術領域

本發明屬于圖像處理領域，特別涉及一種基于圖卷積梯度引導的多分支協顯著性檢測方法。

背景技術

協同顯著性目標檢測的目標是分割出一組圖片中共同的顯著性物體，與傳統的顯著性檢測任務不同，協同顯著性檢測需要排除更多的干擾目標，應對更繁雜的圖片背景。由于該任務在處理組圖像方面的能力，被廣泛應用于視頻前景檢測、協同分割、圖像內容理解等方面。

最近，很多基于深度學習的方法被提出，通過探索圖像的深層信息來指導模型分割出具有相同語義信息的區域，這些方法一般都是提取一組圖片的共有的特征，再將單張圖片的特征與共有特征進行融合。這樣做會使模型受限于提取的共有特征的質量，如果提取出的共有的特征存在較多的干擾，會極大地限制對單張圖像的分割能力。同時，共有的特征均為深度信息，缺乏對目標邊緣等細節的把握。這樣就會導致一系列協同顯著性目標檢測的問題。

發明內容

本發明的目的在于：本發明為了解決現有技術中存在的模型受限于提取的共有特征的質量，限制對單張圖像的分割能力問題，本發明提供一種基于圖卷積梯度引導的多分支協顯著性檢測方法，利用相似度對于頂部圖卷積層的梯度來引導模型關注更具鑒別性的特征，從而使模型能精確地把目標從背景里表示和分割出來。

為實現上述目的，本發明提供如下技術方案：一種基于圖卷積梯度引導的多分支協同顯著性檢測方法，基于各個圖片組，所述各個圖片組分別對應一個目標類型，且圖片組中包含目標類型不同前景姿態的各樣本圖片；執行以下步驟A至步驟I，獲得多分支協同顯著性檢測模型，之后，應用多分支協同顯著性檢測模型，獲得圖片組的目標類型圖片。步驟A：根據CNN網絡，針對各個圖片組，分別以圖片組中的各個樣本圖片為輸入、各圖片組的底層信息共識特征為輸出，構建淺層和中層特征提取模型；同時基于CNN 網絡，以各個組圖片中各個單張樣本圖片為輸入、圖片組中各個單張樣本圖片底層特征為輸出，構建底層特征提取模型；

步驟B：根據GCN網絡，針對各個圖片組，分別以圖片組中的各個樣本圖片為輸入、以各個圖片組的高維語義級共識特征為輸出，構建深層特征提取模型；

步驟C：分別以各圖片組的底層信息共識特征、以及各個圖片組的高維語義級共識特征，為輸入、以各圖片組的相似性共識特征為輸出，構建特征融合模塊；

步驟D：分別以各圖片組的相似性共識特征、以及圖片組中各個單張樣本圖片底層特征為輸入、以組圖片中各個單張圖片高階特征為輸出，構建高階特征融合模塊；之后基于各個單張圖片高階特征，計算GCN網絡局部反向傳播最后一個圖卷積層的各個單張圖片正梯度；

步驟E：以GCN網絡局部反向傳播最后一個圖卷積層的單張圖片正梯度、以及各個圖片組的高維語義級共識特征為輸入、以圖片組中各個單張圖片誘導后的特征為輸出，構建特征誘導模塊；

步驟F：以各個單張圖片誘導后的特征為輸入、各單張圖片的最終特征為輸出，構建坐標軸注意力模塊；

步驟G：以各單張圖片的最終特征、以及各個單張圖片的底層特征為輸入，以各個單張圖片的目標類型圖片為輸出，構建注意力保持模塊；