[發明專利]一種增強圖像實例分割的方法、系統、設備及介質

有效

• 申請號: 202010846608.1
• 申請日: 2020-08-21
• 公開（公告）號: CN112132832B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 張潤澤;范寶余;趙雅倩
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

本發明公開了一種增強圖像實例分割的方法、系統、設備和存儲介質，方法包括：在主訓練網絡中設置與主訓練網絡架構相同的輔助訓練網絡，并對原始圖片進行數據增強以得到增強圖片；將原始圖片輸入主訓練網絡，將增強圖片輸入輔助訓練網絡；判斷輔助訓練網絡產生的第二預測框與目標框的交并比值是否大于主訓練網絡產生的第一預測框與目標框的交并比值；以及響應于第二預測框與目標框的交并比值大于第一預測框與目標框的交并比值，用第二預測框與目標框的交并比值替換第一預測框與目標框的交并比值進行圖像實例分割。本發明通過加入輔助分支，利用較大的預測框與目標框的交并比值來進行實例分割，極大地降低了樣本不平衡帶來的影響。

技術領域

本發明涉及目標檢測領域，更具體地，特別是指一種增強圖像實例分割的方法、系統、計算機設備及可讀介質。

背景技術

實例分割是基于目標檢測技術發展起來的一個領域，是比目標檢測更難的問題。要求在目標檢測的基礎上，還要求分割出物體的像素。同時它與語義分割也存在著很大的不同。語義分割只是區分圖像中像素點具體屬于哪一種類別，同一物體不同實例不需要分割出來。實例分割可看成目標檢測和語義分割的結合，因此研究難度也相應提升。

目前常用的實例分割算法是Mask RCNN(一種針對目標檢測和實例分割任務的網絡)算法。Mask RCNN是在Faster RCNN(一種目標檢測網絡)添加新分支進行像素級別預測。該分支輸出二進制掩碼，表示像素是否屬于目標對象。將這些掩碼同分類結果和檢測框結合起來，便形成了實例分割。Mask RCNN從網絡結構上來看只是在Faster RCNN基礎上加了一個分支，因此Faster RCNN存在的訓練樣本分布不平衡問題，在Mask RCNN中依然存在，因而如何解決訓練樣本分布不平衡的問題，成為急需解決的問題。

發明內容

有鑒于此，本發明實施例的目的在于提出一種增強圖像實例分割的方法、系統、計算機設備及計算機可讀存儲介質，通過加入輔助分支，利用較大的預測框與目標框的交并比值來進行實例分割，極大地降低了樣本不平衡帶來的影響；提出特征圖交換策略，增強網絡魯棒性；添加輔助分支損失及KL散度損失，進一步增強實例分割性能。

基于上述目的，本發明實施例的一方面提供了一種增強圖像實例分割的方法，包括如下步驟：在主訓練網絡中設置與所述主訓練網絡架構相同的輔助訓練網絡，并對原始圖片進行數據增強以得到增強圖片；將原始圖片輸入主訓練網絡，將增強圖片輸入輔助訓練網絡；判斷輔助訓練網絡產生的第二預測框與目標框的交并比值是否大于主訓練網絡產生的第一預測框與目標框的交并比值；以及響應于第二預測框與目標框的交并比值大于第一預測框與目標框的交并比值，用第二預測框與目標框的交并比值替換第一預測框與目標框的交并比值進行圖像實例分割。

在一些實施方式中，所述對原始圖片進行數據增強以得到增強圖片包括：對所述原始圖片的坐標框進行預設距離的位移。

在一些實施方式中，還包括：基于所述主訓練網絡產生多個尺度的第一語義特征圖，基于所述輔助訓練網絡產生多個尺度的第二語義特征圖，并將相同尺度的所述第一語義特征圖和所述語義第二特征圖以預定概率進行交換。

在一些實施方式中，還包括：在圖像實例分割中加入所述主訓練網絡的主分支損失和所述輔助訓練網絡的輔助分支損失。

在一些實施方式中，所述在圖像實例分割中加入所述主訓練網絡的主分支損失和所述輔助訓練網絡的輔助分支損失包括：將初始坐標框與所述第一語義特征圖結合得到第一分類特征圖，將所述初始坐標框與所述第二語義特征圖結合得到第二分類特征圖，根據所述第一分類特征圖和所述第二分類特征圖得到散度損失。

在一些實施方式中，所述根據所述第一分類特征圖和所述第二分類特征圖得到散度損失包括：計算相同尺度的第一分類特征圖和第二分類特征圖的子散度損失，并將所有尺度的子散度損失相加得到散度損失。