[發明專利]基于邊界注意力一致性的目標邊界檢測和目標分割模型

有效

• 申請號: 202110028596.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112686913B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 李冬輝;劉欣宇;梁寧一;高龍
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06V10/25;G06V10/774;G06K9/62
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

1.一種基于邊界注意力一致性的目標邊界檢測和目標分割方法，該方法通過兩個pix2pix模型實現目標分割，每個pix2pix模型均由生成器、判別器、損失函數組成，其特征在于：兩個pix2pix模型級聯在一起，第一個pix2pix模型為OBD模型，輸入原始圖像，輸出邊界檢測結果；第二個pix2pix模型為目標分割模型，輸入邊界檢測結果和原始圖像疊加后的圖像，輸出目標分割結果；

所述OBD模型的訓練過程基于邊界注意力一致性實現，邊界注意力一致性將目標邊界檢測視為一種變換，用G表示，該一致性要求初始圖像A經過OBD模型變換為G(A)時，A的注意力圖經過G變換后應當變為G(A)的注意力圖；為通過邊界注意力一致性訓練OBD模型，OBD模型的生成器由一個孿生網絡、注意力模塊和解碼器組成；OBD模型訓練時，經過下采樣和殘差塊，分別獲取孿生網絡兩個分支輸入的特征圖，又經過全局平均池化層GAP和全局最大池化層GMP池化，然后送入以W為全連接權重的全連接層進行分類，輸出分類得分，并通過將全連接權重W和特征圖線性組合，獲取注意力圖；孿生網絡的第一個分支以初始圖像A為訓練輸入，在得到注意力圖M(A)后，重新輸入OBD模型，輸出G(M(A))；第二個分支以G(A)為訓練輸入，經過模型得到它的注意力圖M(G(A))；然后根據邊界注意力一致性，要求G(M(A))＝M(G(A))，并將兩者的差值定義為邊界注意力一致性損失；注意力模塊的分類損失約束兩分支輸出相同的分類結果；分類損失和一致性損失在訓練過程中共同引導OBD模型提取目標邊界特征，并將其傳遞給解碼器以生成OBD結果；

OBD模型的損失函數包括用于生成真實的目標邊界圖像的對抗損失函數L_adv、用于維持穩定生成的損失函數L1_G、輔助分類器的分類損失函數和邊界注意力一致性損失函數；

所述目標分割模型的生成器采用與常規pix2pix模型相同的結構，其使用目標邊界經過增強的圖像來訓練該模型；

目標分割模型的判別器結構與常規pix2pix模型中的判別器結構相同；

目標分割模型的損失函數包括對抗損失函數L_adv2和損失函數L1_G2，采用最小二乘GAN作為優化目標函數。

2.根據權利要求1所述的基于邊界注意力一致性的目標邊界檢測和目標分割方法，其特征在于：在OBD模型的注意力模塊中，將目標邊界視為類別屬性，初始圖像和目標邊界圖像為同一類。

3.根據權利要求1所述的基于邊界注意力一致性的目標邊界檢測和目標分割方法，其特征在于：

所述對抗損失函數L_adv和對抗損失函數L_adv2分別表示為：

L_adv＝E_x～A[log(1-D(x,G(x)))²]+E_x～A,y～B[log(D(x,y))²]

其中G,G2和D,D2分別是兩個pix2pix模型的生成器和判別器；

所述損失函數L1_G、損失函數L1_G2分別表示為：

L1_G＝E_x～A,y～B[||G(x)-y||₁]

所述OBD模型的輔助分類器的分類損失函數表示為；

其中c_g是生成器的輔助分類器，采用交叉熵分類損失函數；

所述OBD模型的輔助分類器的邊界注意力一致性損失函數L_att表示為；

L_att＝E_x～A[||G(M(x))-M(G(x))||₁]

其中M(x)表示初始圖像集合A中的圖像x的注意力圖，G(x)和M(G(x))表示生成圖像以及它的注意力圖；

整合上述損失函數為兩個優化目標函數來訓練pix2pix模型：

其中α₁＝1,α₂＝1000,α₃＝10,α₄＝10,β＝10。