[發明專利]基于背景變換下目標注意力一致性的目標分割模型

有效

• 申請號: 202110028899.8
• 申請日: 2021-01-11
• 公開（公告）號: CN112884773B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 李冬輝;劉欣宇;高龍;梁寧一
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

1.一種基于背景變換下目標注意力一致性的目標分割模型，在pix2pix模型基礎上實現，由生成器、判別器和損失函數組成，其特征在于：

所述生成器由三個分支編碼網絡E₁、E₂、E₃、注意力模塊C_g和解碼器組成；三個分支編碼網絡分別接收相同目標、不同背景的原始圖像集X_As、它們共同的背景移除圖像X_C＝C(X_As)和真實分割結果X_B，通過下采樣和殘差塊獲得對應的特征圖F_As、特征圖F_B和特征圖F_C；三個特征圖經全局平均池化層和全局最大池化層進行池化并輸入以W為權重的全連接層中以進行分類，注意力模塊C_g通過加權池化的特征圖來計算分類值；類激活圖通過逐通道乘法線性組合特征圖，并沿著組合特征圖的維數求和，分別提取原始圖像集X_As和背景移除圖像C(X_As)的注意力圖M(X_As)和注意力圖M(C(X_As))；注意力模塊C_g的分類損失和一致性損失共同引導pix2pix的編碼器提取目標特征，并將其傳遞給解碼器以產生分割結果G(X_As)；

所述判別器中包括注意力模塊C_d，判別器分別接收生成的圖像G(X_As)和真實分割結果X_B，并區分真實的和生成的圖像，從而引導生成器關注需要改進的區域；

所述損失函數包括用于生成真實圖像的對抗損失函數L_gan，用于維持穩定的生成的L₁損失函數，生成器和鑒別器的輔助分類器的分類損失函數和目標注意力一致性損失L_att。

2.根據權利要求1所述的基于背景變換下目標注意力一致性的目標分割模型，其特征在于：所述生成器中的注意力模塊將原始圖像集X_As和背景移除圖像X_C分為相同類，真實分割結果X_B為另一個類。

3.根據權利要求1所述的基于背景變換下目標注意力一致性的目標分割模型，其特征在于：所述注意力目標一致性，是指原始圖像和背景移除圖像的注意力圖M(X_As)和M(C(X_As))在相同背景變換下相等。