[發明專利]語義分割網絡的訓練方法、圖像處理方法及其設備

在審

• 申請號: 202110309167.6
• 申請日: 2021-03-23
• 公開（公告）號: CN113113119A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 賈富倉;陳宏宇
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G16H30/40
• 分類號: G16H30/40;G06K9/34;G06K9/62;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種語義分割網絡的訓練方法，其特征在于，所述語義分割網絡包括編碼網絡和解碼網絡，所述解碼網絡包括主解碼網絡和輔解碼網絡，其中，所述輔解碼網絡包括擾動設置和解碼器，所述訓練方法包括：

將訓練圖像集輸入所述編碼網絡，所述訓練圖像集包括多張訓練圖像，得到所述訓練圖像的中間表示；

將所述中間表示輸入所述主解碼網絡，得到所述訓練圖像的第一標簽數據；

將所述中間表示輸入所述擾動設置和所述解碼器，得到所述訓練圖像的第二標簽數據；

利用所述訓練圖像的所述第一標簽數據和所述第二標簽數據獲取第一損失函數，并基于所述第一損失函數對所述語義分割網絡進行訓練。

2.根據權利要求1所述的訓練方法，其特征在于，所述擾動設置連接所述編碼網絡以及所述輔解碼網絡中的解碼器；

所述將所述中間表示輸入所述擾動設置和所述解碼器，得到所述訓練圖像的第二標簽數據，包括：

將所述中間表示輸入所述擾動設置，生成所述中間表示的擾動版本，

將所述擾動版本輸入所述解碼器，得到所述訓練圖像的第二標簽數據。

3.根據權利要求1所述的訓練方法，其特征在于，所述利用所述訓練圖像的所述第一標簽數據和所述第二標簽數據獲取第一損失函數，包括：

利用均方差損失函數計算所述訓練圖像的所述第一標簽數據和所述第二標簽數據之間的誤差；

計算所有所述訓練圖像的所述第一標簽數據和所述第二標簽數據之間的誤差的平均數，作為所述第一損失函數。

4.根據權利要求3所述的訓練方法，其特征在于，所述輔解碼網絡的數量為多個，每個所述輔解碼網絡包括一個對應的擾動設置；

所述利用均方差損失函數計算所述訓練圖像的所述第一標簽數據和所述第二標簽數據之間的誤差，包括：

獲取每個所述輔解碼網絡輸出的所述訓練圖像的第二標簽數據；

利用均方差損失函數計算所述訓練圖像的所述第一標簽數據與每個所述輔解碼網絡對應的第二標簽數據之間的誤差；

計算所述訓練圖像的所述第一標簽數據與所有所述輔解碼網絡對應的所述第二標簽數據之間的誤差的平均數，作為所述訓練圖像的所述第一標簽數據和所述第二標簽數據之間的誤差。

5.根據權利要求4所述的訓練方法，其特征在于，所述擾動設置包括F-Noise、F-Drop、Guided Masking、Intermediate VAT以及SpatialDropout中的任意一種或幾種。

6.根據權利要求1所述的訓練方法，其特征在于，所述訓練圖像集包括第一圖像和帶有第三標簽數據的第二圖像；

所述將訓練圖像集輸入所述編碼網絡之前，包括：

利用所述第二圖像訓練所述語義分割網絡；

所述基于所述第一損失函數對所述語義分割網絡進行訓練，包括：

利用所述第二圖像的所述第一標簽數據和所述第三標簽數據獲取第二損失函數；

利用所述第二損失函數和所述第一損失函數構成第三損失函數；

以減小所述第三損失函數為目的，對所述語義分割網絡進行訓練。

7.根據權利要求6所述的訓練方法，其特征在于，所述利用所述第二圖像的所述第一標簽數據和所述第三標簽數據獲取第二損失函數，包括：

利用交叉熵損失函數計算所述第二圖像的所述第一標簽數據和所述第三標簽數據之間的誤差；

計算所有所述第二圖像的所述第一標簽數據和所述第三標簽數據之間的誤差的平均數，作為所述第二損失函數。

8.根據權利要求1所述的訓練方法，其特征在于，所述將訓練圖像集輸入所述編碼網絡之前，包括：

利用泊松圖像編輯算法對所述訓練圖像集進行預處理。