[發明專利]基于背景變換下目標注意力一致性的目標分割模型

有效

• 申請號: 202110028899.8
• 申請日: 2021-01-11
• 公開（公告）號: CN112884773B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 李冬輝;劉欣宇;高龍;梁寧一
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

本發明涉及一種基于背景變換下目標注意力一致性的目標分割模型，該目標分割模型基于pix2pix模型實現，其生成器由三個分支編碼網絡、注意力模塊和解碼器組成；判別器也包括一個注意力模塊，判別器接收生成的圖像和真實分割結果，注意力模塊區分真實的和生成的圖像，引導生成器關注需要改進的區域；損失函數包括對抗損失函數、L1損失函數、生成器和鑒別器的分類損失函數及目標注意力一致性損失。本發明將背景移除的圖像作為具有相同目標、不同背景圖像集合的一個典型范例，并分別約束集合中每個圖像和他們共同的背景移除的圖像的在目標區域的注意力一致性，增強了不同背景下所有圖像的注意力一致性，提高了對目標區域的注意力和目標分割的準確性。

技術領域

本發明屬于計算機視覺技術領域，涉及目標分割模型，尤其是一種基于背景變換下目標注意力一致性的目標分割模型。

背景技術

在技術及視覺技術中，準確的目標分割與針對多種目標的顯著性目標檢測不同，它要求以更高的精度從背景中分割出特定的目標。例如，應用于場景轉換任務的肖像分割以及醫學診斷之前的器官分割。盡管深度神經網絡已經顯著提升了目標分割的性能，但是，由于背景的干擾，在復雜場景中準確分割仍然非常困難。

許多視覺任務衍生于目標分割，例如顯著性目標檢測、圖像消光、肖像分割和醫學器官分割等。上述任務在研究中具有許多共性，例如，這些任務的目的都是將目標與背景準確分離，并且常會受到復雜多變的背景的干擾。這些任務的改進集中在通過設計深度學習模型取得高級特征和低級特征之間的平衡，進而逼近實際分割邊界。對于顯著性目標檢測，提出了許多方法來獲取更準確的特征，例如模型融合技術、階段性細化技術和注意力機制等。圖像消光和肖像分割任務對分割結果精度具有更高的要求，最近的方法試圖細化邊界細節。此外，在醫學領域，U-Net首次采用了編碼-解碼體系結構和跳過連接，成為許多醫學分割模型的鼻祖，例如3D U-Net，Res-Unet，MultiRes-UNet和Attention U-Net。然而，上述技術都是直接在復雜場景中定位目標或檢測邊界，因此無法避免背景對目標的干擾，阻礙了分割準確性的進一步提升。

研究人員發現，提升模型對目標的視覺感知能力有助于解決這個問題。對于具有相同目標、不同背景的多個圖像，人類總是能夠準確地定位到它們相同的目標，這是由于人類對不同背景下的同一目標保持一致的視覺感知。事實上，語義數據增強(SDA)就早已隱式地利用了視覺感知的一致性來提升模型對目標的視覺感知能力。SDA技術可以通過更換背景來擴充數據集，給相同目標、不同背景的圖像分配相同的真實分割結果，但是，SDA的感知一致性施加在了模型的輸出端，而輸出端的高階特征丟失了全局語義信息，不能較好地保持該一致性。

將實驗發現，注意力圖可以反映模型的注意力區域以及模型在不同區域的感知性能的強弱，即使為相同目標、不同背景的圖像分類相同的分割真值來擴充數據集，訓練好的目標分割模型仍然無法在不同背景下保持對目標的注意力一致性。如圖1的中間行所示，不同背景的圖像在肖像區域的注意力存在明顯差異，甚至有些注意力擴散到與目標分割無關的背景區域。因此，如何在背景變化時，以目標注意力一致性為引導、獲得對目標更準確的注意力、進而獲得準確的目標分割結果是目前迫切需要解決的問題。

發明內容

本發明的目的在于克服現有技術的不足，提出一種基于背景變換下目標注意力一致性的目標分割模型，解決當前目標分割模型受復雜背景影響導致分割不準確的問題。

本發明解決其技術問題是采取以下技術方案實現的：

一種基于背景變換下目標注意力一致性的目標分割模型，由生成器、判別器和損失函數組成，