[發明專利]一種基于圖像修復技術的弱監督語義分割方法和裝置

有效

• 申請號: 202010129164.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111369572B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 李秀;宋愷祥
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/187;G06T5/00;G06T5/50;G06V10/764;G06N3/0464;G06F3/048;G06V10/82;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

1.一種基于圖像修復技術的弱監督語義分割方法，其特征在于，包括如下步驟：

S1、將原始圖像輸入到分割網絡中，通過所述分割網絡產生并輸出所述原始圖像中的物體的分割掩碼；

S2、對所述分割網絡產生的所述分割掩碼分別進行腐蝕和膨脹操作；

S3、分別用經腐蝕和膨脹操作后的分割掩碼對所述原始圖像進行擦除；

S4、使用孿生的圖像修復網絡對經擦除的兩張原始圖像分別進行修復，輸出修復后的兩張圖像；

S5、使用經過預訓練的孿生的分類網絡將修復后的兩張圖像分別進行分類，獲得兩張圖像屬于各個類別的可能性向量，使用不同的損失函數約束訓練；其中，分類網絡與圖像修復網絡經過預訓練且模型參數在訓練過程中固定，僅分割網絡參數更新，訓練完成后，使用分割網絡接收原始圖像并輸出預測結果。

2.如權利要求1所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，步驟S5中，對于經腐蝕操作后擦除和修復的圖像，送入分類網絡后得到的可能性向量與真實標簽的one-hot編碼使用交叉熵損失函數進行約束；對于經膨脹操作后擦除和修復的圖像，送入分類網絡后得到的可能性向量與真實標簽的one-hot編碼使用交叉熵損失的相反數進行約束。

3.如權利要求1或2所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，所述分割網絡、所述分類網絡、所述圖像修復網絡在PascalVOC2012掩碼數據集上訓練。

4.如權利要求1或2所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，分割網絡的訓練具體包括：在數據集上用經過預訓練的分類網絡生成CAM，其中，通過使用PascalVOC2012訓練分類網絡并生成每張圖片上每一類的CAM，通過設定閾值將顯著性區域轉換為分割種子掩碼，每張圖像與該圖像中每個類別的種子掩碼形成圖像-種子掩碼樣本對，所形成的一系列圖像-種子掩碼樣本對稱之為掩碼數據集，用于分割網絡的預訓練。

5.如權利要求1或2所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，分類網絡的訓練具體包括：采用擦除-填充策略對圖像進行預處理，使用每一張圖片對應的種子掩碼擦除該圖像，然后使用圖像修復網絡進行填充，將填充后的圖像輸入到分類網絡中進行訓練。

6.如權利要求1或2所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，圖像修復網絡的訓練具體包括：預訓練所使用的擦除塊為隨機多邊形，且尺度范圍隨機產生并且有變化。

7.如權利要求1至2任一項所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，步驟S1中，所述分割網絡通過softargmax的方式在通道維度上處理分割模型的輸出特征圖，使得獲取掩碼過程可導，便于梯度回傳。

8.如權利要求1至2任一項所述的基于圖像修復技術的弱監督語義分割方法，其特征在于，步驟S2中，所述腐蝕和膨脹操作通過可以傳遞梯度的卷積層實現。

9.一種基于圖像修復技術的弱監督語義分割裝置，其特征在于，包括：

分割模塊，其將原始圖像輸入到分割網絡中，通過所述分割網絡產生并輸出所述原始圖像中的物體的分割掩碼；

形態學變換模塊，其對所述分割網絡產生的所述分割掩碼分別進行腐蝕和膨脹操作；

擦除模塊，其分別用經腐蝕和膨脹操作后的分割掩碼對所述原始圖像進行擦除；

圖像修復模塊，其使用孿生的圖像修復網絡對經擦除的兩張原始圖像分別進行修復，輸出修復后的兩張圖像；

分類模塊，其使用經過預訓練的孿生的分類網絡將修復后的兩張圖像分別進行分類，獲得兩張圖像屬于各個類別的可能性向量，使用不同的損失函數約束訓練，其中，分類網絡與圖像修復網絡經過預訓練且模型參數在訓練過程中固定，僅分割網絡參數更新，訓練完成后，使用分割網絡接收原始圖像并輸出預測結果。

10.一種基于圖像修復技術的弱監督語義分割裝置，其特征在于，其特征在于，包括至少一個存儲器以及至少一個處理器；

所述存儲器，包括存儲于其中的至少一個可執行程序；

所述可執行程序在由所述處理器執行時，實現如權利要求1至8中任一項所述的圖像修復技術的弱監督語義分割方法。