[發明專利]一種實例分割方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202211639495.3
• 申請日: 2022-12-20
• 公開（公告）號: CN115880493A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 胡堅明;石運達;李力;姚丹亞
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

1.一種實例分割方法，其特征在于，所述方法包括：

將圖像輸入到深度學習模型中，所述深度學習模型包括遞進傳遞增強金字塔網絡、RPN網絡、邊界框檢測分支以及掩膜預測分支；

基于所述遞進傳遞增強金字塔網絡提取輸入圖像的多層第一特征圖，并對提取的多層第一特征圖進行信息融合處理，得到信息融合后的多層第二特征圖；

利用所述RPN網絡對所述多層第二特征圖進行處理，得到多個候選區域；

利用所述邊界框檢測分支和所述掩膜預測分支對每一所述候選區域進行邊界框檢測和掩膜預測，得到實例分割的結果。

2.根據權利要求1所述的實例分割方法，其特征在于，所述方法還包括：對輸入的圖像進行預處理，再輸入所述遞進傳遞增強金字塔網絡。

3.根據權利要求2所述的實例分割方法，其特征在于，所述遞進傳遞增強金字塔網絡包括深度骨干網絡，所述遞進傳遞增強金字塔網絡通過所述深度骨干網絡提取輸入圖像的多層第一特征圖。

4.根據權利要求3所述的實例分割方法，其特征在于，所述遞進傳遞增強金字塔網絡還包括信息融合鏈路，所述信息融合鏈路用于所述對提取的多層第一特征圖進行信息融合處理，包括：

對提取的多層第一特征圖進行自下而上的信息融合處理，并將每一層第一特征圖與其之上的一層第一特征圖進行信息融合，得到每一層第一層特征圖信息融合后對應的第二特征圖，并將融合后的第二特征圖作為下一層信息融合的輸入。

5.根據權利要求4所述的實例分割方法，其特征在于，所述信息融合處理的具體步驟包括：

從第一層第一特征圖開始執行信息融合；

將當前層的第一特征圖的尺寸變換到下一層第一特征圖的尺寸，得到第三特征圖；

將第三特征圖與所述下一層第一特征圖進行拼接，并進行卷積融合，得到第四特征圖；

對所述第四特征圖提取特征后的特征圖與所述第四特征圖進行疊加，得到疊加后的第五特征圖；

將所述第五特征圖用激活函數激活，得到下一層第一特征圖進行信息融合的輸入。

6.根據權利要求5所述的實例分割方法，其特征在于，所述第一層第一特征圖信息融合后的輸出為第一層自身的第一特征圖；

所述激活函數為RELU激活函數。

7.根據權利要求1所述的實例分割方法，其特征在于，所述方法還包括：預先對所述深度學習模型進行循環訓練，直至所述深度學習模型收斂。

8.根據權利要求7所述的實例分割方法，其特征在于，所述對所述深度學習模型進行循環訓練，包括：

采用隨機梯度下降優化算法對所述深度學習網絡的權重進行學習和更新，直至所述深度學習模型收斂。

9.一種實例分割裝置，其特征在于，所述實例分割裝置，包括遞進傳遞增強金字塔網絡模塊、RPN網絡模塊、邊界框檢測分支模塊以及掩膜預測分支模塊；

所述遞進傳遞增強金字塔網絡模塊，用于提取輸入圖像的多層第一特征圖，并對提取的多層第一特征圖進行信息融合處理，得到信息融合后的多層第二特征圖；

所述RPN網絡模塊，用于對所述多層第二特征圖進行處理，得到多個候選區域；

所述邊界框檢測分支模塊和所述掩膜預測分支模塊，用于對每一所述候選區域進行邊界框檢測和掩膜預測，得到實例分割的結果。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行權利要求1至8任一項所述的實例分割方法。