[發明專利]用于圖像的語義分割的系統和方法

有效

• 申請號: 201810685965.7
• 申請日: 2018-06-28
• 公開（公告）號: CN109409371B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 穆斯塔法·坎依;李之仲;李正元
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V20/10;G06V10/26;G06V10/82;G06V30/19;G06T7/11;G06N3/045;G06N3/084;G06N3/044
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 趙南;張帆

1.一種用于檢測輸入圖像中的對象的實例的方法，所述方法包括：

從所述輸入圖像提取多個核心實例特征；

根據所述核心實例特征計算多尺度分辨率下的多個特征圖；

根據所述核心實例特征計算多個檢測框，所述檢測框中的每一個對應于在所述圖像中檢測到的對象；

針對所述檢測框的每個檢測框計算所述特征圖的多尺度分辨率下的多個分割掩膜；

合并所述多尺度分辨率下的所述多個分割掩膜，以針對在所述輸入圖像中檢測到的每個對象生成實例掩膜，所述實例掩膜與置信度得分相關聯；

通過由輔助網絡計算像素級度量來細化所述實例掩膜的置信度得分；以及

輸出所述實例掩膜作為所述輸入圖像中的對象的檢測到的實例。

2.根據權利要求1所述的方法，其中，通過將所述輸入圖像提供至完全卷積實例語義分割網絡來提取所述多個核心實例特征。

3.根據權利要求2所述的方法，其中，通過將所述核心實例特征提供至特征金字塔網絡來計算多尺度分辨率下的特征圖。

4.根據權利要求3所述的方法，其中，所述特征金字塔網絡通過以下步驟來產生所述多個特征圖中的特征圖：

對來自所述完全卷積實例語義分割網絡的所述核心實例特征進行上采樣；

將卷積核應用于先前特征圖以產生卷積的先前特征圖；以及

將上采樣的核心實例特征和卷積的先前特征圖進行組合來生成該特征圖。

5.根據權利要求4所述的方法，其中，所述特征金字塔網絡通過使用最近鄰技術來對所述核心實例特征進行上采樣。

6.根據權利要求4所述的方法，其中，所述特征金字塔網絡通過使用去卷積層和插值卷積核來對所述核心實例特征進行上采樣。

7.根據權利要求1所述的方法，其中，合并所述多尺度分辨率下的所述多個分割掩膜以生成所述實例掩膜包括：計算交集與自身之比度量并移除其中所述交集與自身之比度量超過閾值的實例。

8.根據權利要求1所述的方法，其中，通過將所述核心實例特征提供至區域建議網絡來計算所述檢測框。

9.根據權利要求1所述的方法，還包括：

針對所述輸入圖像的每個像素計算所屬邊界框，所述所屬邊界框中的每一個指定該像素所屬的實例的邊界框位置；

針對所述輸入圖像中的每個像素計算多個密度度量；以及

根據所述密度度量對所述實例掩膜進行過濾，以最小化根據所述實例掩膜和所述密度度量計算出的差分掩膜差異。

10.根據權利要求9所述的方法，其中，針對所述輸入圖像的每個像素計算所屬邊界框包括：計算表示該像素的所屬邊界框的四個特征矢量，所述四個特征矢量包括最頂像素、最底像素、最左像素和最右像素。

11.根據權利要求9所述的方法，其中，細化所述實例掩膜的置信度得分包括：

根據所述圖像中檢測到的對象的所屬邊界框來計算平均邊界框；

計算所述實例掩膜和所述平均邊界框之間的交并比度量；以及

基于所述交并比度量來縮放所述實例掩膜的置信度得分。

12.根據權利要求9所述的方法，其中，根據所述密度度量對所述實例掩膜進行過濾包括：

針對所述圖像中的每個像素計算像素密度差異；

針對每個實例掩膜計算差分掩膜差異；以及

最小化生存掩膜集合的差分掩膜差異。

13.根據權利要求12所述的方法，其中，通過以下操作來最小化所述生存掩膜集合的差分掩膜差異：使用貪婪搜索通過迭代地切換具有更大差分掩膜差異的實例掩膜的生存狀態來更新所述生存掩膜集合，直到所述差分掩膜差異被最小化為止。