[發明專利]圖像修復模型的訓練方法、圖像修復方法及裝置

有效

• 申請號: 201910219334.0
• 申請日: 2019-03-21
• 公開（公告）號: CN111724310B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 付華;趙立軍
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V40/16;G06Q20/40
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種圖像修復模型的訓練方法，其特征在于，包括：

通過雙向映射的生成式對抗網絡模型對具有第一圖像質量的第一圖像集進行映射，得到具有第二圖像質量的第二圖像集；其中，所述雙向映射的生成式對抗網絡模型是基于第一訓練圖像集的圖像特征信息及其預測結果、第二訓練圖像集的圖像特征信息及其預測結果對應的損失函數，對初始雙向映射的生成式對抗網絡模型訓練得到的，所述第一訓練圖像集具有第一圖像質量，所述第二訓練圖像集具有第二圖像質量，所述第一訓練圖像集的圖像特征信息和所述第二訓練圖像集的圖像特征信息是通過所述雙向映射的生成式對抗網絡模型分別對所述第一訓練圖像集和所述第二訓練圖像集進行預測得到的；

對所述第二圖像集進行檢查，判斷所述第二圖像集是否覆蓋或復現設定的多種復雜場景中的光照和拍攝效果；

如果所述第二圖像集不能覆蓋或不能復現設定的多種復雜場景中的光照和拍攝效果，則獲取具有第一圖像質量的第四圖像集以及與其對應的具有第二圖像質量的第五圖像集；其中，所述第五圖像集是按照所述第二圖像集未覆蓋或者不能復現的復雜場景中光照和拍攝效果對第四圖像集進行人工處理得到的；

將所述第一圖像集、所述第二圖像集、所述第四圖像集和所述第五圖像集輸入到深度生成模型中以對所述深度生成模型進行訓練，通過所述深度生成模型對設定比例的所述第二圖像集以及所第五圖像集修復，得到修復后的第三圖像集；

根據所述深度生成模型的損失函數確定是否對所述深度生成模型進行再訓練，并將訓練完成的所述深度生成模型確定為所述圖像修復模型；

所述深度生成模型的損失函數根據所述第一圖像集的圖像特征信息、所述第三圖像集的圖像特征信息和所述第五圖像集的圖像特征信息以及判別器的判別結果確定。

2.根據權利要求1所述的訓練方法，其特征在于，所述通過雙向映射的生成式對抗網絡模型對具有第一圖像質量的第一圖像集進行映射之前，包括：

將所述具有第一圖像質量的第一訓練圖像集和具有第二圖像質量的第二訓練圖像集輸入到初始雙向映射的生成式對抗網絡模型中，通過所述初始雙向映射的生成式對抗網絡模型分別對所述第一訓練圖像集以及所述第二訓練圖像集進行預測；

根據所述第一訓練圖像集的圖像特征信息及其預測結果、所述第二訓練圖像集的圖像特征信息及其預測結果對應損失函數確定是否對所述初始雙向映射的生成式對抗網絡模型進行再訓練，并將訓練完成后的模型確定為所述雙向映射的生成式對抗網絡模型；

其中，所述第一訓練圖像集與所述第二訓練圖像集具有相同類型的圖像特征信息。

3.根據權利要求1所述的訓練方法，其特征在于，所述將所述第一圖像集和所述第二圖像集輸入到深度生成模型中，通過所述深度生成模型對所述第二圖像集進行圖像修復，得到修復后的第三圖像集的步驟具體包括：

通過所述深度生成模型的生成器對所述第二圖像集進行修復，得到所述第三圖像集；

所述通過損失函數確定是否對所述深度生成模型進行再訓練，并將訓練完成的所述深度生成模型確定為所述圖像修復模型的步驟包括：

通過所述深度生成模型的判別器判斷所述第三圖像集的圖像特征信息是否滿足所述第一圖像集的圖像特征信息分布；

根據所述損失函數確定是否對所述深度生成模型進行再訓練，并將訓練完成的所述深度生成模型確定為所述圖像修復模型；

其中，所述損失函數根據所述第一圖像集的圖像特征信息、所述第三圖像集的圖像特征信息以及所述判別器的判別結果確定。

4.根據權利要求1-3任一項所述的訓練方法，其特征在于，所述雙向映射的生成式對抗網絡包括CycleGAN、DualGAN以及DiscoGAN中的任一種；所述深度生成模型包括單向映射生成對抗網絡模型或超分辨率模型中的任一種。

5.根據權利要求1-3任一項所述的訓練方法，其特征在于，所述第一圖像質量高于所述第二圖像質量。