[發明專利]基于邊界注意力一致性的目標邊界檢測和目標分割模型

有效

• 申請號: 202110028596.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112686913B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 李冬輝;劉欣宇;梁寧一;高龍
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06V10/25;G06V10/774;G06K9/62
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

本發明涉及一種基于邊界注意力一致性的目標邊界檢測和目標分割模型，其主要技術特點是：包括級聯在一起兩個pix2pix模型，每個pix2pix模型均由生成器、判別器、損失函數組成，第一個pix2pix模型為目標邊界檢測模型(OBD模型)，其檢測結果疊加在原始圖像上用作第二個pix2pix模型的輸入，第二個pix2pix模型為目標分割模型。本發明設計合理，在目標邊界檢測模型當中引入了邊界注意力一致性用于增強對目標邊界的注意力，進而檢測到準確的目標邊界，實現更準確的目標分割結果。

技術領域

本發明屬于計算機視覺技術領域，涉及目標邊界檢測和目標分割模型，尤其是一種基于邊界注意力一致性的目標邊界檢測和目標分割模型。

背景技術

在技術及視覺技術中，準確的目標分割與針對多種目標的顯著性目標檢測不同，它要求以更高的精度從背景中分割出特定的目標。例如，應用于場景轉換任務的肖像分割以及醫學診斷之前的器官分割。盡管深度神經網絡已經顯著提升了目標分割的性能，但是，由于背景的干擾，在復雜場景中準確分割仍然非常困難。

通過對邊界處分割不理想問題的研究，發現問題大多出現在目標邊界不明顯的區域。這是由于目標與背景局部差異很小，以至于模型無法根據所提取的特征區分兩者。一個可行的解決方案是通過將目標邊界檢測(OBD)視為目標分割的一項任務來提升邊界意識。但是，由于目標邊界只占整個圖像的極小一部分以及在逐像素損失函數中它對目標分割性能的提升貢獻很小，因此OBD在現有目標分割模型沒有引起足夠的關注。

在現有的目標分割模型中，OBD最多只是作為其中的一個簡單子網絡，僅使用初始圖像和真實目標邊界圖像來訓練。由于目標邊界像素所占比例小以及缺乏對模型中間的監督，這樣的子網絡容易出現過擬合和不準確的OBD結果。因此，通過監控OBD模型的中間層引導注意力集中在目標邊界有助于提高OBD的準確性。調研發現，大多數優秀的注意力機制是基于類激活圖(CAM)的。CAM是通過圖像分類來增強標簽相關區域注意力的有效方式。

但是，由于圖像級分類的弱監督性，使用CAM獲得的注意力仍難以準確落在標簽相關區域上。因此，研究人員提出了一種空間變換下的注意力一致性(TAC)來進一步約束注意力區域。TAC是指：在圖像分類時，如果輸入圖像發生空間轉換，則注意力區域應遵循相同的轉換。空間轉換一般包括旋轉，翻轉，裁剪等等。然而，TAC是通過在間接變換下要求輸入圖像的注意力一致性來提高對標簽相關區域的注意力，并且實驗證明不同變換或組合下獲得的一致性存在明顯差異。換句話說，為獲得良好的一致性，需要大量試驗來找到一個合適的變換，因此在間接變換下獲得的一致性是有限的。

綜上所述，如何提升目標邊界檢測和目標分割的準確性是目前迫切需要解決的問題。

發明內容

本發明的目的在于克服現有技術的不足，提出一種基于邊界注意力一致性的目標邊界檢測和目標分割模型，解決目標邊界檢測和目標分割不準確的問題。

本發明解決其技術問題是采取以下技術方案實現的：

一種基于邊界注意力一致性的目標邊界檢測和目標分割模型，包括兩個pix2pix模型，每個pix2pix模型均由生成器、判別器、損失函數組成，兩個pix2pix模型級聯在一起，第一個pix2pix模型為OBD模型用于檢測目標邊界，其檢測結果疊加在原始圖像上用作第二個pix2pix模型的輸入，第二個pix2pix模型為目標分割模型用于產生目標分割結果；