[發明專利]一種基于實例查詢的端到端實例分割方法

有效

• 申請號: 202110388605.2
• 申請日: 2021-04-12
• 公開（公告）號: CN112927245B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 王興剛;方羽新;楊澍生;馮鑌;劉文予
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/08;G06N3/04
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

1.一種基于實例查詢的端到端實例分割方法，其特征在于，包括：

(1)訓練基于實例查詢和多層級并行掩碼監督的端到端實例分割算法模型，包括以下子步驟：

(1.1)對原始數據集中所有圖片的感興趣類別的物體進行實例級別的標注，標簽為實例級別的包圍框的左上及右下頂點和實例對應的前景掩碼，得到帶標注的標準訓練數據集；

(1.2)定義基于實例查詢向量以及多層級并行掩碼監督的端到端實例分割算法模型，所述基于實例查詢向量以及多層級并行掩碼監督的端到端實例分割算法模型由特征金字塔結構網絡、可學習的實例查詢向量及區域建議框、邊框回歸網絡、前景分割網絡、類別判別網絡組成，根據(1.1)中帶標注的標準訓練數據集，計算訓練標簽，并設計損失函數，利用反向傳播和梯度下降算法訓練該基于實例查詢向量以及多層級并行掩碼監督的端到端實例分割算法模型；

(2)利用上述訓練好的模型對待識別圖片進行實例分割：將待識別圖片通過ResNet-50骨干網絡以及特征金字塔網絡，得到多尺度特征，通過可學習的包圍建議框，感興趣區域池化操作提取出固定分辨率大小為7×7的包圍框感興趣區域，以及固定分辨率大小為14×14的掩碼感興趣區域，包圍框感興趣區域以及掩碼感興趣區域在可學習的實例查詢向量的動態卷積后，輸入檢測分割任務頭，通過類別判別網絡、邊框回歸網絡以及掩碼生成網絡中進行類別判別、邊框回歸以及掩碼生成，最終得到待識別圖片中感興趣實例的類別、預測包圍框以及前景掩碼預測。

2.如權利要求1所述的基于實例查詢的端到端實例分割方法，其特征在于，所述步驟(1.2)具體包括如下子步驟：

(1.2.1)構建基于實例查詢向量以及多層級并行掩碼監督的端到端實例分割算法模型；

(1.2.2)以標準訓練數據集I_tr作為識別網絡模型的輸入，利用特征金字塔網絡模塊提取特征；

(1.2.3)根據可學習區域建議框從特征金字塔模塊輸出的多極特征中提取感興趣區域；

(1.2.4)根據可學習實例查詢對感興趣區域進行動態卷積；

(1.2.5)根據動態卷積后的包圍框感興趣區域進行類別判別以及邊框回歸，并生成微調后的實例查詢向量；

(1.2.6)根據動態卷積后的掩碼感興趣區域進行前景掩碼預測；

(1.2.7)通過二分圖匹配算法，將網絡預測輸出與訓練集標簽集合進行一一匹配；

(1.2.8)以訓練標簽gt為網絡期望輸出，以預測標簽為網絡預測輸出，針對構建的網絡模型，設計期望輸出和預測輸出之間的目標損失函數；

(1.2.9)多級級聯預測：以當前層級輸出的微調后的實例查詢向量作為新的實例查詢向量，以當前層級的實例檢測結果為感興趣區域建議框，重復進行步驟(1.2.3)至步驟(1.2.8)，算法網絡的總層級數為六層，整體的算法模型預測損失由所有層級的檢測分割頭的預測損失共同組成；

(1.2.10)根據設計的整體目標損失函數，利用反向傳播以及梯度下降算法對模型進行迭代訓練，最小化整體目標損失函數，實現最優網絡模型及參數。