[發明專利]實例分割方法及裝置

有效

• 申請號: 201611186619.1
• 申請日: 2016-12-20
• 公開（公告）號: CN106651877B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 蘭石懿;胡鶴翔;姜宇寧
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

1.一種實例分割方法，其特征在于，所述實例分割方法包括：

接收待處理圖像；

通過第一神經網絡對所述待處理圖像進行處理以生成第一特征張量；

通過第二神經網絡對所述第一特征張量進行處理以生成不同尺度的多個第二特征張量，其中每個所述第二特征張量表示相應尺度的所述待處理圖像；以及

通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割；

其中，所述通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割包括：通過所述第三神經網絡的滑動窗口分別從所述多個第二特征張量中提取相應的窗口特征張量；基于所述窗口特征張量生成所述滑動窗口中存在物體的置信度，選擇存在物體的置信度大于預定閾值的窗口特征張量作為有效窗口特征張量；基于每個所述有效窗口特征張量生成相應的注意力矩陣，其中所述注意力矩陣包括相應的所述有效窗口特征張量上的每一點位于待檢測物體所在區域內的置信度值；將每個所述注意力矩陣廣播乘相應的所述有效窗口特征張量以生成第三特征張量；以及基于所述第三特征張量生成所述待處理圖像的實例分割；

或者其中，所述通過第三神經網絡對所述多個第二特征張量進行處理以實現對所述待處理圖像的實例分割包括：通過所述第三神經網絡的滑動窗口分別從所述多個第二特征張量中提取相應的窗口特征張量；基于每個所述窗口特征張量生成相應的注意力矩陣和所述滑動窗口中存在物體的置信度，其中所述注意力矩陣包括相應的所述窗口特征張量上的每一點位于待檢測物體所在區域內的置信度值；將每個所述注意力矩陣廣播乘相應的所述窗口特征張量以生成第三特征張量；以及基于所述第三特征張量以及所述滑動窗口中存在物體的置信度生成所述待處理圖像的實例分割。

2.根據權利要求1所述的實例分割方法，其特征在于，所述第二神經網絡包括至少兩個子網絡，每個子網絡用于生成一種預定尺度的所述第二特征張量。

3.根據權利要求2所述的實例分割方法，其特征在于，所述子網絡之間是殘余連接并共享參數的，后一個子網絡基于前一個子網絡的輸出生成另一種預定尺度的所述第二特征張量。

4.根據權利要求3所述的實例分割方法，其特征在于，基于所述后一個子網絡生成的第二特征張量的尺度小于基于所述前一個子網絡生成的第二特征張量的尺度。

5.根據權利要求2所述的實例分割方法，其特征在于，所述子網絡包括卷積層和池化層。

6.根據權利要求1所述的實例分割方法，其特征在于，所述注意力矩陣通過由全連接層組成的注意力生成器而生成。

7.根據權利要求1所述的實例分割方法，其特征在于，所述第三神經網絡中還包括上采樣層，所述上采樣層用于提高所生成的實例分割結果的分辨率。