[發明專利]一種基于目標框標注的實例分割方法

在審

• 申請號: 202011401506.5
• 申請日: 2020-12-03
• 公開（公告）號: CN112508029A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 許明江
• 申請（專利權）人: 蘇州科本信息技術有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 郭曉鳳

本發明涉及一種基于目標框標注的實例分割方法，為圖像處理領域。對給定不同尺寸的圖片，首先經過預處理，再將其送入實例分割器中的FPN網絡，得到不同尺寸的特征；隨后這些特征被送入頭模塊中進行實例級別類別和目標框的預測。在該檢測器之外，還存在一個掩膜分支，用于預測實例的掩膜，掩膜分支通過控制頭動態生成的參數可以實現動態生成掩碼。最后通過一個精心設計的基于目標框標注的實例分割損失函數實現梯度的反向傳播，該損失函數包括投影損失和成對損失兩部分。該發明在原有的實例分割器的基礎上，通過設計的損失函數，僅使用目標框標注便可實現對于實例的預測，避免對于精確的像素級掩膜標注的需要，且在大型數據集上達到很好的性能。

技術領域

本發明涉及圖像處理領域，更具體的說是涉及一種基于目標框標注的實例分割方法。

背景技術

實例分割是指給定當前圖像，同時進行像素級別的語義分類任務和區域級別的實例分類任務，即既判定當前位置像素屬于什么類別，同時又歸于哪例目標物體。這一任務在無人駕駛、機器人導航等領域具有十分重要的現實意義。

近年來，隨著深度學習的快速發展，許多基于掩膜標注信息的實例分割工作取得了很好的性能和效果，即利用掩膜標注信息，通過卷積網絡預測目標實例的掩膜。然而相較于目標框的標注，像素級別的掩膜信息標注需要消耗大量的時間，其約是目標框標注的35倍。因此，現實中像素級別的掩膜標注是成本高昂的。

相較于基于掩膜標注信息的實例分割模型需要大量的像素級別的掩膜標注，基于目標框標注的實例分割方法則僅僅需要目標框級別的標注。基于此，出現了一些僅使用目標框標注的實例分割方法，然而這些方法存在以下缺點：1)算法難以在GPU上進行并行計算，訓練速度緩慢；2)為了達到更好的性能，部分算法使用迭代訓練的策略，導致復雜的訓練方式和更多的超參數；3)目前的方法無法在大型數據集如Microsoft COCO上達到較好的結果，多數僅在Pascal VOC上進行測試。

發明內容

本發明的目的是針對現有技術的不足之處，提供一種基于目標框標注的實例分割方法，其避免了對于昂貴的像素級別的掩碼標注的需要，且可以在大型數據集上達到很好的性能。

本發明的技術解決措施如下：

一種基于目標框標注的實例分割方法，包括如下步驟，

(1)圖片預處理：對于給定不同尺寸的圖片，首先經過預處理。

(2)實例分割器構建：再將預處理后的圖片送入實例分割器中的FPN網絡，得到不同尺寸的特征，隨后這些特征被送入頭模塊中進行實例級別類別和目標框的預測；FPN中P3層的特征是該層的輸入，同時在實例分割器上有一路掩膜預測分支，掩膜預測分支通過控制頭動態生成的參數來實現動態生成掩碼,用于預測實例的掩膜向量。

(3)目標檢測及掩膜預測：測試時模型將輸出大量潛在目標，對這些目標按照分類得分進行降序排列，并根據目標框間或是掩膜間的交并比進行非極大值抑制；最終從剩下的候選中選取得分排名前K個目標，其對應的掩膜是各個目標實例的掩膜結果，完成實例分割任務。

(4)損失函數計算：訓練時通過基于目標框標注的實例分割損失函數計算掩膜分支的損失函數，實現梯度的反向傳播，完成模型訓練，損失函數包括投影損失和成對損失兩部分，投影損失用于最小化預測掩膜和與其連接最近的目標框之間的差異，成對損失用于鼓勵預測掩膜和真實掩膜在相鄰像素點間具有相同的成對相似性。

作為優選，所述步驟(1)中的預處理是將不同尺寸的圖片按下列公式I∈R^H×W×3進行數據增強，其中H是圖片的高，W是圖片的寬。

作為優選，所述步驟(2)中的實例分割器是利用基于anchor-free的單階段實例分割器CondInst，其包含FPN，分別預測類別、目標框、掩膜分支權重的頭模塊以及掩膜分支。