[發明專利]實例分割方法及裝置

有效

• 申請號: 201611186619.1
• 申請日: 2016-12-20
• 公開（公告）號: CN106651877B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 蘭石懿;胡鶴翔;姜宇寧
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

本發明提供了一種實例分割方法及裝置，所述實例分割方法包括：接收待處理圖像；通過第一神經網絡對所述待處理圖像進行處理以生成第一特征張量；通過第二神經網絡對所述第一特征張量進行處理以生成不同尺度的多個第二特征張量，其中每個所述第二特征張量表示相應尺度的所述待處理圖像；以及通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割。根據本發明實施例的實例分割方法及裝置基于包括新的網絡組件的新的網絡架構同時進行物體檢測與圖像分割，使得不需要使用圖片金字塔就能夠一次生成所有的物體分割，解決了多尺度問題，同時提高了算法的速度。

技術領域

本發明涉及圖像處理技術領域，更具體地涉及一種實例分割方法及裝置。

背景技術

物體檢測和圖像分割是兩種不同的計算機視覺基礎任務。物體檢測要求算法把各種物體從圖像中識別并定位出來，圖像分割要求算法把圖像的每一個像素加上類別標注。將物體檢測和圖像分割兩者結合起來稱為實例分割，實例分割要求算法找到每一個待檢測的物體并把物體所在的像素標注出來。

現有的物體分割方法(例如DeepMask、SharpMask、Instance FCN等)在對圖片中的實例(指圖片中的待分割對象，例如人、車等)進行分割時通常包括如下步驟：首先，對待處理圖像的尺度(scale)進行調整以形成包括多張不同尺度圖片的圖片金字塔；然后，利用神經網絡(例如DeepMask網絡)的身體網絡(body module)從每個調整后的圖片中提取全特征張量(full feature map)，從而得到多個尺度不同的特征張量；最后，利用固定尺度的滑動窗口(fixed-size sliding window)對該多個尺度不同的特征圖進行操作得到對應數目的窗口特征張量，利用神經網絡的頭網絡(head module)確定每個窗口特征張量的置信度并基于置信度完成分割操作。

現有的上述方法在解決實例分割時存在著兩個問題：其一，在不依靠圖片金字塔的情況下，無法解決多尺度問題，即，不能對同一輸入圖片中的不同尺度的物體同時進行分割而只能分割出圖片中給定大小的物體；其二，由于待檢測物體之間和背景對于待檢測物體存在噪聲的原因，在待分割物體十分擁擠的圖片上分割效果表現不佳。

發明內容

為了解決上述問題中的至少一個而提出了本發明。根據本發明一方面，提供了一種實例分割方法，所述實例分割方法包括：接收待處理圖像；通過第一神經網絡對所述待處理圖像進行處理以生成第一特征張量；通過第二神經網絡對所述第一特征張量進行處理以生成不同尺度的多個第二特征張量，其中每個所述第二特征張量表示相應尺度的所述待處理圖像；以及通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割。

在本發明的一個實施例中，所述第二神經網絡包括至少兩個子網絡，每個子網絡用于生成一種預定尺度的所述第二特征張量。

在本發明的一個實施例中，所述子網絡之間是殘余連接并共享參數的，后一個子網絡基于前一個子網絡的輸出生成另一種預定尺度的所述第二特征張量。

在本發明的一個實施例中，基于所述后一個子網絡生成的第二特征張量的尺度小于基于所述前一個子網絡生成的第二特征張量的尺度。

在本發明的一個實施例中，所述子網絡包括卷積層和池化層。

在本發明的一個實施例中，所述通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割包括：通過所述第三神經網絡的滑動窗口分別從所述多個第二特征張量中提取相應的窗口特征張量；基于所述窗口特征張量生成所述滑動窗口中存在物體的置信度；以及基于所述置信度和所述窗口特征張量生成所述待處理圖像的實例分割。