[發明專利]基于循環生成對抗網絡的圖像著色處理方法及裝置

在審

• 申請號: 202010325399.6
• 申請日: 2020-04-23
• 公開（公告）號: CN111524205A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 杜康寧;曹林;劉昌通
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06N3/04;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王天堯;湯在彥

1.一種基于循環生成對抗網絡的圖像著色處理方法，其特征在于，包括：

獲取第一訓練圖像樣本和第二訓練圖像樣本，其中，所述第一訓練圖像樣本中包含：多個真實的灰度圖像，所述第二訓練圖像樣本中包含：多個真實的彩色圖像；

根據所述第一訓練圖像樣本和所述第二訓練圖像樣本，通過機器學習訓練一個雙層循環生成對抗網絡模型，使得所述雙層循環生成對抗網絡模型的生成對抗損失和一致性損失滿足預設收斂條件，其中，所述雙層循環生成對抗網絡模型中包含：用于將灰度圖像映射為彩色圖像的第一生成器、用于將彩色圖像映射為灰度圖像的第二生成器、用于區分第一生成器輸出彩色圖像與真實彩色圖像的第一判別器、用于區分第二生成器輸出灰度圖像與真實灰度圖像的第二判別器；

在所述雙層循環生成對抗網絡模型的生成對抗損失和一致性損失滿足預設收斂條件的情況下，采用所述雙層循環生成對抗網絡模型中包含的用于將灰度圖像映射為彩色圖像的第一生成器，對待著色的灰度圖像進行著色處理。

2.如權利要求1所述的方法，其特征在于，根據所述第一訓練圖像樣本和所述第二訓練圖像樣本，通過機器學習訓練一個雙層循環生成對抗網絡模型，使得所述雙層循環生成對抗網絡模型的生成對抗損失和一致性損失滿足預設收斂條件，包括：

將所述第一訓練圖像樣本中真實的灰度圖像輸入至第一生成器，輸出映射后的彩色圖像，將映射后的彩色圖像輸入至第二生成器，輸出重構后的灰度圖像，并通過第一判別器區分第一生成器輸出的彩色圖像和所述第二訓練圖像樣本中真實的彩色圖像，計算重構后的灰度圖像與真實的灰度圖像之間的第一距離，以及映射后的彩色圖像和真實的彩色圖像之間的第二距離；

將所述第二訓練圖像樣本中真實的彩色圖像輸入至第二生成器，輸出映射后的灰度圖像，將映射后的灰度圖像輸入至第一生成器，輸出重構后的彩色圖像，并通過第二判別器區分第二生成器輸出的灰度圖像和所述第一訓練圖像樣本中真實的灰度圖像，計算重構后的彩色圖像與真實的彩色圖像之間的第三距離，以及映射后的灰度圖像和真實的灰度圖像之間的第四距離；

通過機器學習訓練所述雙層循環生成對抗網絡模型包含的第一生成器、第二生成器、第一判別器和第二判別器，使得第一距離、第二距離、第三距離和第四距離滿足預設收斂條件，其中，第一距離和第三距離用于表征所述雙層循環生成對抗網絡模型的一致性損失，第二距離和第四距離用于表征所述雙層循環生成對抗網絡模型的生成對抗損失。

3.如權利要求2所述的方法，其特征在于，所述預設收斂條件為：

其中，

L(G,F,D_X,D_Y)＝L_GAN(G,D_Y,X,Y)+L_GAN(F,D_X,Y,X)+λL_Cycle(G,F) (2)

其中，x表示真實的圖像；表示重構后的圖像；L_Cycle表示重構后的圖像與真實的圖像之間的距離；表示的L1范數；L_GAN(G,D_Y,X,Y)表示將X域圖像映射為Y域圖像的生成對抗損失；L_GAN(F,D_X,Y,X)表示將Y域圖像映射為X域圖像的生成對抗損失；表示X域圖像樣本分布的期望值；表示Y域圖像樣本分布的期望值；G(x)表示Y域圖像映射后的X域圖像；G(y)表示X域圖像映射后的Y域圖像；D_X表示用于區分真實的X域圖像與映射后的X域圖像的判別器；D_Y表示用于區分真實的Y域圖像與映射后的Y域圖像的判別器；L(G,F,D_X,D_Y)表示模型訓練的目標函數；λ表示調整生成對抗損失和一致性損失間權重所設置的超參。