[發明專利]一種基于雙尺度循環生成對抗的人臉灰度圖像著色方法

在審

• 申請號: 202211412711.0
• 申請日: 2022-11-11
• 公開（公告）號: CN116188652A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 王奔;陳亮锜
• 申請（專利權）人: 杭州師范大學
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/90;G06V10/56;G06V10/80;G06V10/82;G06N3/044;G06N3/0475;G06N3/0464;G06N3/048
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 鄔趙丹

1.一種基于雙尺度循環生成對抗的人臉灰度圖像著色方法，其特征在于：具體包括如下步驟：

步驟1、數據收集與預處理：獲取大量的人臉彩色圖像，統一圖像尺寸大小；將數據集劃分為訓練集和驗證集；對訓練集數據進行數據增強；使用cv庫函數將圖像轉換為CIE?Lab顏色空間，并提取L通道作為模型的輸入；

步驟2、構建人臉灰度圖像著色模型：該模型選用循環生成網絡的結構，包括兩對生成器-判別器；使用改進過的U-Net作為生成器，采用雙尺度卷積模塊進行特征的提取，增加模型對不同尺度信息的適應性，提取多維度的特征信息；在跳躍連接中，通過CBAM注意力模塊提取帶有注意力權重的信息，將之與上采樣階段進行融合，關注待著色圖像的顯著區域，抑制不必要區域；在判別器上，沿用PatchGAN，采用全卷積的形式，最終輸出一個特征圖，表示輸入圖像的多區域的真假概率值，考慮了更多區域的著色效果；

步驟3、訓練人臉灰度圖像著色模型：將步驟1提取的L通道灰度圖像作為模型的輸入，余下的ab通道作為模型的標簽；結合對抗性損失、循環一致性損失、身份認證損失和灰度損失，通過加權計算得出最終的損失函數對模型進行優化訓練，按照先訓練判別器，后訓練生成器的策略進行模型訓練；

步驟4、對人臉灰度圖像進行上色：將待著色的人臉灰度圖像輸入到訓練好的模型中，即可輸出著色后的彩色人臉圖像。

2.如權利要求1所述的基于雙尺度循環生成對抗的人臉灰度圖像著色方法，其特征在于：所述循環生成網絡包括兩對生成器-判別器，即四個子網絡，G網絡是生成器，負責將圖像A轉換為圖像B，D_B是判別器，負責判別通過G網絡生成的圖像的真假概率；F網絡也是生成器，負責將圖像B轉換為圖像A，D_A是判別器，負責判別通過F網絡生成的圖像的真假概率。

3.如權利要求1所述的基于雙尺度循環生成對抗的人臉灰度圖像著色方法，其特征在于：所述的雙尺度卷積模塊采用3×3和7×7大小的卷積核相融合的形式；將輸入特征圖分別經過兩個大小的卷積操作之后，在通道維度進行融合，之后使用一個1×1的卷積核進行降維，減少因大卷積核帶來的額外模型參數而導致的效率降低。

4.如權利要求1所述的基于雙尺度循環生成對抗的人臉灰度圖像著色方法，其特征在于：在所述的跳躍連接中，結合融合通道注意力和空間注意力的CBAM注意力模塊，兩者并行，關注特征圖的“什么”和“哪里”是有意義的，將下采樣階段的有用的信息與上采樣階段進行共享，減少因采樣導致的信息損失，抑制不必要的信息，提升著色效果。