[發明專利]一種基于掩膜編碼的單階段實例分割方法

在審

• 申請號: 202010747003.7
• 申請日: 2020-07-29
• 公開（公告）號: CN111881981A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 徐楓;章如鋒
• 申請（專利權）人: 蘇州科本信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 連圍

本發明涉及圖像處理領域，特別涉及一種基于掩膜編碼的單階段實例分割方法，包括訓練階段模型和預測階段模型，其特征在于，按照以下步驟進行：步驟A，雙線性插值：將不同尺寸給定的原始掩膜標簽去掉類別信息，得到尺寸相同且類別無關的二維掩膜；步驟B，主成分分析編碼：根據給定信息冗余的二維掩碼，通過正交變換將二維掩膜M編碼壓縮為向量u^N；步驟C，單階段實例分割器構建：單階段實例分割器基于單階段目標檢測器FCOS，并進行相應修改；步驟D，非極大值抑制后處理；步驟E，掩膜編碼解碼。本發明將高度冗余的二維掩膜壓縮至特征緊湊的掩膜向量，實現快速而穩定的預測，解決了現階段實例分割任務隨目標數量增加而預測速度減慢的難題。

技術領域

本發明涉及圖像處理領域，特別涉及一種基于掩膜編碼的單階段實例分割方法。

背景技術

實例分割是指，給定當前圖像，同時進行像素級別的語義分類任務和區域級別的實例分類任務，即既判定當前位置像素屬于什么類別，同時又歸于哪例目標物體。這一任務在無人駕駛、機器人導航等領域具有十分重要的現實意義。

近年來，隨著深度學習的快速發展，許多基于目標檢測的雙階段實例分割工作取得了突飛猛進的進展，即首先對潛在的目標進行定位，隨后對局部區域進行像素級別的分類任務。然而，由于這類方法需要依次對候選區域進行像素級別的分類，當圖像中出現大量目標時，推理速度將大幅下降，無法在現實中進行穩定而高效的預測。

相比于雙階段模型推理速度受限于目標數量，單階段方法可以同時預測當前圖像中的所有目標而不會損失速度，因此出現了許多基于全卷積網絡的單階段實例分割器。第一類方法基于語義分割，即首先對當前圖像進行像素級別的分類任務，其次在后處理階段進行實例聚類。這類方法往往具有精細的邊緣描述，然而由于聚類誤差等問題，很難準確找到大量目標；除此以外，后處理較慢，無法滿足實際任務實時的需求。

第二類方法啟發于單階段目標檢測，通過對物體輪廓編碼來描述目標。然而，利用外接輪廓線描述目標會造成極大的性能下降，其主要原因表現在：1)當目標輪廓變得復雜時，單一的外接輪廓線相比于二維掩膜，難以精細地描述目標；2)當目標內部存在背景區域時，外接輪廓線無法將其表現出來，而這在交互式的機器人導航中十分重要。

發明內容

本發明針對現有存在技術的不足，提出一種基于掩膜編碼的單階段實例分割方法，同時兼顧了雙階段模型掩膜描述的高精度和單階段模型不受物體數量限制的穩定推理速度的優勢。

本發明通過以下技術方案實現：

一種基于掩膜編碼的單階段實例分割方法，包括訓練階段模型和預測階段模型，按照以下步驟進行：

步驟A，雙線性插值：將不同尺寸給定的原始掩膜標簽去掉類別信息，得到尺寸相同且類別無關的二維掩膜M∈{0，1}^H×W，其中H，W分別是二維掩膜的高和寬；

步驟B，主成分分析編碼：根據給定信息冗余的二維掩碼M∈{0，1}^H×W，利用主成分分析方法，通過正交變換將二維掩膜M編碼壓縮為向量u^N，其中N為掩膜向量的維度；

步驟C，單階段實例分割器構建：單階段實例分割器基于單階段目標檢測器FCOS，并進行相應修改，所述步驟C中單階段目標檢測器FCOS是利用基于anchor-free的單階段目標檢測器FCOS，其優點在于相比于anchor-based目標檢測器，參數量更少，且檢測精度高。

步驟D，非極大值抑制后處理：預測階段模型將輸出一定數量潛在目標，對目標按照分類得分進行降序排列，并根據目標框間的交并比進行非極大值抑制；從剩下的候選中選取得分排名前K個目標進行后續操作，得到K個目標向量；

步驟E，掩膜編碼解碼：對步驟D中得到的K個目標向量進行掩膜編碼解碼，最終實現圖像實例分割。

進一步地，雙線性插值的公式為：