[發明專利]一種交互式自然圖像摳圖方法

有效

• 申請號: 202010000472.2
• 申請日: 2020-01-02
• 公開（公告）號: CN111161286B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 喬羽;楊鑫;魏小鵬;張強;尹寶才
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/187;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

1.一種交互式自然圖像摳圖方法，其特征在于，所采用的模型包含五個階段，具體步驟如下：

(1)超像素劃分階段

超像素劃分階段主要對于輸入圖像進行超像素的劃分；超像素是表示顏色和文理特征的像素塊；

(2)信息區域的選取階段

將輸入圖像平均劃分成16個區域，根據區域內部的超像素信息來計算每一個區域的信息量Info，信息量的計算綜合考慮每個區域內部的顏色、文理、標簽熵和對象邊界信息：

Info＝I+J+E+S(2)

式中：I、J、E和S分別表示該區域與其他區域之間的相似度、內部超像素的多樣性、已有的標簽熵以及內部包含的對象邊界信息；等式(2)中的變量都是以超像素為單位進行計算的，其中I和J參考的是超像素的顏色和文理信息，具體定義如下：

其中，cm_i、ch_i和th_i分別是對應超像素i的顏色均值、顏色直方圖和文理直方圖，θ是為了防止被除數為0的偏置，λ₁，λ₂和λ₃為平衡系數，在實際運行中分別取0.4，0.35和0.25；

J的計算整體取負數；I考慮的是該區域與其他區域之間的相似度，與其他區域相似度高的區域更能表達圖像整體的特征；J考慮的是該區域內部超像素之間的差異性，內部差異較大的區域更有可能位于前景和背景之間的過渡區域，對于用戶劃線標注的過程更有意義；

標簽熵的定義如下：

其中，pb_i、pu_i和pf_i分別表示超像素i屬于背景、過渡區域或前景的概率；

對象邊界的計算參考邊界映射圖中的對應值：

其中，e_i是對應超像素的邊界映射值，是根據超像素內部的像素集Ψ_i匯總出來的，em_k表示Ψ_i中的像素點k在邊界映射圖中的數值，δ和ε是平衡系數，根據Ψ_i中的像素數量計算得到，取值在[0,1]之間，白色表示可能位于對象邊界的像素點；

(3)用戶畫線階段

依據上述區域信息量的計算公式，每一次迭代都計算對應區域的信息量Info，然后將信息量最大的區域選擇出來進行用戶畫線標記，用戶只需要用紅色、綠色和藍色來分別標記前景、過渡區域和背景，每種類別只需要畫一筆或兩筆；

(4)馬爾可夫傳播

用戶畫線后，將標記信息最大化的傳播到整張圖像，實現精致的圖像蒙版計算，首先依賴馬爾可夫鏈來實現鄰域內標簽擴散；把每個超像素看作馬爾可夫鏈中的節點，依據超像素之間的顏色、文理相似性構建概率轉移矩陣，其中已經有明確標簽信息的超像素視為吸收節點；每一次畫線結束后都會更新概率轉移矩陣，計算每個節點到不同類別吸收節點的最新轉移概率pb_i、pu_i和pf_i，最終的三分圖由最終的概率轉移矩陣計算得到；信息區域選取、用戶畫線和馬爾可夫傳播的過程迭代進行，最大化實現標記信息在鄰域內的傳播；

(5)卷積神經網絡傳播

取每一個超像素的外接矩形，將其中帶有用戶標記的超像素作為訓練集，對于網絡模型進行訓練，然后用訓練好的網絡模型來預測其余超像素的類別概率，最終完成對于概率轉移矩陣的更新；以前景、背景和過渡區域的三分類作為分類標簽，最終由softmax實現激活映射；整體網絡訓練20個epoches，使用指數下降的學習率和交叉熵Loss函數；設定0.65的閾值來根據概率轉移矩陣計算三分圖，最終預測得到所述圖像蒙版。