[發明專利]一種實例分割方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202211639495.3
• 申請日: 2022-12-20
• 公開（公告）號: CN115880493A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 胡堅明;石運達;李力;姚丹亞
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

本發明涉及一種實例分割方法、裝置及存儲介質，所述方法包括：將圖像輸入到深度學習模型中，所述深度學習模型包括遞進傳遞增強金字塔網絡、RPN網絡、邊界框檢測分支以及掩膜預測分支；基于遞進傳遞增強金字塔網絡提取輸入圖像的多層第一特征圖，并對提取的多層第一特征圖進行信息融合處理，得到信息融合后的多層第二特征圖；利用RPN網絡對所述多層第二特征圖進行處理，得到多個候選區域；利用邊界框檢測分支和掩膜預測分支對每一候選區域進行邊界框檢測和掩膜預測，得到實例分割的結果。本申請技術方案，能夠基于遞進傳遞增強金字塔網絡提取圖像的多層特征圖，并對提取的多層特征圖進行深度的信息融合處理，便于實現更高準確率的實例分割結果。

技術領域

本發明涉及圖像處理技術領域，特別是關于一種基于遞進傳遞增強金字塔的實例分割方法、裝置及存儲介質。

背景技術

實例分割是計算機視覺領域的一項重要任務。與語義分割相比，實例分割是一種更具體化的分割類型，實例分割更加注重對每個實例的單獨分割。如今，隨著越來越多的研究投入，實例分割已經廣泛應用于目標識別、人臉檢測、醫學圖像處理與疾病輔助診斷、視頻監控等多個領域。

實例分割的技術路線可以分為單階段法和雙階段法。對于雙階段法，在第一階段，基于輸入的圖像提取多層特征圖，再基于這些特征圖像生成候選框，第二階段對候選框的內容進行檢測和分割操作。通常，雙階段法的實例分割的準確性高于單階段法。

然而，本申請的發明人在研究中發現，現有技術的實例分割方法基于提取的多層特征圖進行候選框的生成，根據深度學習的特點，低層特征的定位精度較高，但語義信息較少，而高層特征的定位精度較低，因此生成的候選框的準確度還有待進一步的提高，實例分割的最終結果的準確性也有待進一步提高。

發明內容

針對上述問題，本發明的目的是提供一種實例分割方法、裝置及存儲介質，能夠基于遞進傳遞增強金字塔網絡提取圖像的多層特征圖，并對提取的多層特征圖進行深度的信息融合處理，從而便于實現更高準確率的實例分割結果。

為實現上述目的，本發明采取以下技術方案：

第一方面，本申請提供一種實例分割方法，所述方法包括：

將圖像輸入到深度學習模型中，所述深度學習模型包括遞進傳遞增強金字塔網絡、RPN網絡、邊界框檢測分支以及掩膜預測分支；

基于所述遞進傳遞增強金字塔網絡提取輸入圖像的多層第一特征圖，并對提取的多層第一特征圖進行信息融合處理，得到信息融合后的多層第二特征圖；

利用所述RPN網絡對所述多層第二特征圖進行處理，得到多個候選區域；

利用所述邊界框檢測分支和所述掩膜預測分支對每一所述候選區域進行邊界框檢測和掩膜預測，得到實例分割的結果。

在本申請的一種實現方式中，所述方法還包括：對輸入的圖像進行預處理，再輸入所述遞進傳遞增強金字塔網絡。

在本申請的一種實現方式中，所述遞進傳遞增強金字塔網絡包括深度骨干網絡，所述遞進傳遞增強金字塔網絡通過所述深度骨干網絡提取輸入圖像的多層第一特征圖。

在本申請的一種實現方式中，所述遞進傳遞增強金字塔網絡還包括信息融合鏈路，所述信息融合鏈路用于所述對提取的多層第一特征圖進行信息融合處理，包括：

對提取的多層第一特征圖進行自下而上的信息融合處理，并將每一層第一特征圖與其之上的一層第一特征圖進行信息融合，得到每一層第一層特征圖信息融合后對應的第二特征圖，并將融合后的第二特征圖作為下一層信息融合的輸入。

在本申請的一種實現方式中，所述信息融合處理的具體步驟包括：

從第一層第一特征圖開始執行信息融合；

將當前層的第一特征圖的尺寸變換到下一層第一特征圖的尺寸，得到第三特征圖；