[發明專利]一種基于圖卷積梯度引導的多分支協同顯著性檢測方法

在審

• 申請號: 202210691998.9
• 申請日: 2022-06-17
• 公開（公告）號: CN115546511A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 宋慧慧;吳泱;張開華
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/22;G06V20/70;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 田凌濤

1.一種基于圖卷積梯度引導的多分支協同顯著性檢測方法，其特征在于，基于各個圖片組，所述各個圖片組分別對應一個目標類型，且圖片組中包含目標類型不同前景姿態的各樣本圖片；執行以下步驟A至步驟I，獲得多分支協同顯著性檢測模型，之后，應用多分支協同顯著性檢測模型，獲得圖片組的目標類型圖片。

步驟A：根據CNN網絡，針對各個圖片組，分別以圖片組中的各個樣本圖片為輸入、各圖片組的底層信息共識特征為輸出，構建淺層和中層特征提取模型；同時基于CNN網絡，以各個組圖片中各個單張樣本圖片為輸入、圖片組中各個單張樣本圖片底層特征為輸出，構建底層特征提取模型；

步驟B：根據GCN網絡，針對各個圖片組，分別以圖片組中的各個樣本圖片為輸入、以各個圖片組的高維語義級共識特征為輸出，構建深層特征提取模型；

步驟C：分別以各圖片組的底層信息共識特征、以及各個圖片組的高維語義級共識特征，為輸入、以各圖片組的相似性共識特征為輸出，構建特征融合模塊；

步驟D：分別以各圖片組的相似性共識特征、以及圖片組中各個單張樣本圖片底層特征為輸入、以組圖片中各個單張圖片高階特征為輸出，構建高階特征融合模塊；之后基于各個單張圖片高階特征，計算GCN網絡局部反向傳播最后一個圖卷積層的各個單張圖片正梯度；

步驟E：以GCN網絡局部反向傳播最后一個圖卷積層的單張圖片正梯度、以及各個圖片組的高維語義級共識特征為輸入、以圖片組中各個單張圖片誘導后的特征為輸出，構建特征誘導模塊；

步驟F：以各個單張圖片誘導后的特征為輸入、各單張圖片的最終特征為輸出，構建坐標軸注意力模塊；

步驟G：以各單張圖片的最終特征、以及各個單張圖片的底層特征為輸入，以各個單張圖片的目標類型圖片為輸出，構建注意力保持模塊；

步驟H：順序連接淺層和中層特征提取模型、底層特征提取模型、深層特征提取模型、特征融合模塊、高階特征融合模塊、特征誘導模塊、坐標軸注意力模塊、注意力保持模塊，并結合GCN網絡局部反向傳播最后一個圖卷積層的正梯度，構建接淺層和中層特征提取模型為輸入端、以注意力保持模塊為輸出端、并且以包含目標類型不同前景姿態的各樣本圖片為輸入、該各樣本圖片對應的各個單張圖片的目標類型圖片為輸出的多分支協同顯著性檢測模型；

步驟I：基于包含目標類型不同前景姿態的各樣本圖片、以及各樣本圖片對應的各個單張圖片的目標類型圖片，以各樣本圖片為輸入、目標類型圖片為輸出針對多分支協同顯著性檢測模型進行訓練，獲得各樣本圖片的目標類型圖片。

2.根據權利要求1所述的一種基于圖卷積梯度引導的多分支協同顯著性檢測方法，其特征在于，所述圖片組為n個子圖構成的多尺度圖：

其中，多尺度圖的點集定義為邊集定義為ε＝{ε^k}，鄰接矩陣定義為A＝∑_kA^k；表示由點構成的的點集，表示由構成的邊集，A^k表示的鄰接矩陣，其內部的A^k(i,j)由對應位置的邊的值表示；表示的特征矩陣，其中為點在d^k維的特征；

針對子圖按如下公式：

計算其圖結構，其中，表示激活函數，為兩個可學習的投影矩陣，用于將點特征的維度從d^k降至r，且r＜d^k；然后我們通過像素級相加，將子圖中所有的鄰接矩陣相加，得到最終的鄰接矩陣：

A＝A¹+A²+A³+……+Aⁿ。

3.根據權利要求1所述的一種基于圖卷積梯度引導的多分支協顯著性檢測方法，其特征在于，所述步驟B中，深層特征提取模型按如下公式：

定義兩層圖卷積網絡，其中，所述圖卷積濾波器定義為：

其中，是用于特征投影的兩個全連接層的可學習權重矩陣，可具體表示為：

其中，I為單位矩陣；是的對角度矩陣；Z^k為最終的輸出值，即高維語義級共識特征。