[發明專利]一種基于初始標注點指導的圖像交互分割方法

在審

• 申請號: 202010031075.1
• 申請日: 2020-01-13
• 公開（公告）號: CN111260659A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 程明明;林錚;張釗;陳林卓;盧少平
• 申請（專利權）人: 鎮江優瞳智能科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T7/187;G06T7/194
• 代理公司: 上海氦閃專利代理事務所(普通合伙) 31354
• 代理人: 李明;袁媛

本發明屬于圖像處理技術領域，尤其為一種基于初始標注點指導的圖像交互分割方法，步驟如下；S10全局標注點特征提取、S20初始標注點指導、S30兩類特征融合預測、S40基于全局標注點損失函數監督、S50結構保持性策略處理物體預測圖。該發明目的是使用戶交互生成的標注點能更加有效地利用初始標注點信息來得到精細的圖像分割結果，因此設計了一種基于初始標注點指導的圖像交互分割方（FCANet），本發明提出的FCANet通過將初始標注點作為額外的監督指導，分割出的目標物體具有更少的錯誤區域，能容忍用戶存在一些錯誤的交互操作；經實驗，本發明在公開的5個數據集上均超越最前沿的圖像交互分割方法。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于初始標注點指導的圖像交互分割方法。

背景技術

圖像交互分割的目的是通過用戶交互的方式，將一張圖片中的目標物體分割出來；通常情況下，用戶通過點擊設置一些前景和背景的標注點來得到分割結果；該技術在圖像編輯，圖像標注等領域有著廣泛的應用。

近年來，由于深度學習在圖像分割任務上的強大能力，2016年以來大多數方法都使用神經網絡來進行圖像的交互分割；新加坡國立大學的Liew等人提出了基于標注點對的局部區域圖像分割方法，使分割結果能在物體局部達到更好的效果；首爾大學的Song等人通過強化學習，使計算機生成更多的模擬標注點進行分割；英特爾實驗室的Li等人為了解決交互分割過程中存在的二義性問題，提出了使用神經網絡生成多個分割結果，再使用另一個神經網絡進行選擇的方法；拉夫堡大學的Hu等人設計了一個兩路神經網絡，來達到更好的分割質量；哈佛大學的Jang等人提出了一種特殊的反向傳播策略，強制標注點像素得到正確的分割結果來修正初始標注點信息，以此來達到更好的分割質量；波恩大學的Majumder等人提出了使用標注點來生成特殊的指導圖，如通過超像素生成物體推薦指導圖，通過將這些特殊的指導圖輸入神經網絡，來獲得最終的分割結果；以上這些方法都存在一個共性，但他們都選擇將所有的標注點信息整體對待，對于每一個標注點，他們的對待方式是同等的；但是，由于用戶在交互分割過程中，每一次交互分割的標注點都是基于上一次交互分割的結果而設置的，而初始交互點所提供的信息尤為重要，它不僅提供了物體的整體信息，還指示了目標物體的位置信息等；因此，將初始標注點區別對待則顯得尤為重要。

發明內容

本發明的目的在于提供一種基于初始標注點指導的圖像交互分割方法，以解決上述背景技術中提出的現有的這些方法都存在一個共性，但他們都選擇將所有的標注點信息整體對待，對于每一個標注點，他們的對待方式是同等的問題。

為了實現以上目的，本發明采用的技術方案為：一種基于初始標注點指導的圖像交互分割方法，步驟如下；

S10全局標注點特征提取、S20初始標注點指導、S30兩類特征融合預測、S40基于全局標注點損失函數監督、S50結構保持性策略處理物體預測圖。

進一步的，所述S10全局標注點特征提取：使用所有的前景標注點和背景標注點作為輸入信息，指導多層卷積神經網絡提取輸入圖像特征。

進一步的，所述S20初始標注點指導：將初始標注點作為額外輸入，與全局標注點分割的主干網絡的低層次特征融合，提取目標物體主體信息，使用基于初始標注點的損失函數進行約束監督。

進一步的，所述S30兩類特征融合預測：將全局標注點得到的特征和初始標注點得到的特征融合，通過多尺度卷積模塊，并聯合底層特征修正較高層級的分割圖，以此得到最終的預測結果。

進一步的，所述S40基于全局標注點損失函數監督：使用基于用戶所有標注點的損失函數來對預測結果圖進行監督，通過目標物體分割圖像與人工標注的參考圖像的計算對應損失值，進行梯度回傳、更新網絡。

進一步的，所述S50結構保持性策略處理物體預測圖：使用基于連通性的結構保持性策略對二值分割后的預測圖像進行處理，消除與前景標注點不連通的許多錯誤區域。