[發明專利]一種基于深度學習的戲曲臉譜生成方法及系統

有效

• 申請號: 202110980096.2
• 申請日: 2021-08-25
• 公開（公告）號: CN113781372B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 張鳳全;曹鐸
• 申請（專利權）人: 北方工業大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T7/49;G06T5/50;G06V40/16;G06T3/00;G06N3/0475;G06N3/08;G06V10/72;G06V10/774
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

1.一種基于深度學習的戲曲臉譜生成方法，其特征在于，包括：

步驟S1：對人臉圖片進行數據清洗與預處理，構建戲曲臉譜圖像數據集；

步驟S2：根據素顏人臉圖像和戲曲臉譜圖像的人臉關鍵點，建立二者的映射關系；將對應所述人臉關鍵點進行融合，得到具有素顏人臉結構的偽戲曲臉譜圖像；

步驟S3：將所述素顏人臉圖像和所述戲曲臉譜圖像輸入深度學習生成網絡，生成結果圖像；

步驟S4：根據所述戲曲臉譜圖像、所述偽戲曲臉譜圖像以及所述結果圖像，并根據人臉特征關鍵點映射關系計算生成指定大小的K個局部戲曲妝容特征區域，輸入所述深度學習生成網絡，構建K個重疊人臉局部鑒別器，同時采用邊緣感知處理實現面部色彩紋理高頻細節增強，與所述深度學習生成網絡生成的所述結果圖像同步進行對抗，實現對戲曲臉譜高頻細節的提取和鑒別，最終輸出目標戲曲臉譜圖像。

2.根據權利要求1所述的基于深度學習的戲曲臉譜生成方法，其特征在于，所述步驟S1：對人臉圖片進行數據清洗與預處理，構建戲曲臉譜圖像數據集，具體包括：

步驟S11：去除低質量的人臉圖像，所述低質量的人臉圖像包括：分辨率過低、圖像尺寸過小的人臉圖像；

步驟S12：刪除非法格式和不符合要求的人臉圖像，所述不符合要求的人臉圖像包括：大角度、有遮擋、人臉區域模糊和夸張人臉表情的人臉圖像；

步驟S13：將所剩的合格人臉圖像進行預處理，根據級聯分類器自動定位人臉中心位置，并指定大小對所述人臉圖像進行切割，將其變換為預設尺寸的人臉圖像。

3.根據權利要求1所述的基于深度學習的戲曲臉譜生成方法，其特征在于，所述步驟S2：根據素顏人臉圖像和戲曲臉譜圖像的人臉關鍵點，建立二者的映射關系；將對應所述人臉關鍵點進行融合，得到具有素顏人臉結構的偽戲曲臉譜圖像，具體包括：

步驟S21：分別提取所述素顏人臉圖像和所述戲曲臉譜圖像的人臉特征關鍵點，并建立二者的映射關系；

步驟S22：根據所述素顏人臉圖像和所述戲曲臉譜圖像的人臉特征關鍵點的映射關系，將所述素顏人臉圖像的人臉結構信息和所述戲曲臉譜圖像的戲曲臉譜色彩紋理特征利用泊松融合方法進行融合，得到具有素顏人臉結構的偽戲曲臉譜圖像。

4.根據權利要求1所述的基于深度學習的戲曲臉譜生成方法，其特征在于，所述步驟S4：根據所述戲曲臉譜圖像、所述偽戲曲臉譜圖像以及所述結果圖像，并根據人臉特征關鍵點映射關系計算生成指定大小的K個局部戲曲妝容特征區域，輸入所述深度學習生成網絡，構建K個重疊人臉局部鑒別器，同時采用邊緣感知處理實現面部色彩紋理高頻細節增強，與所述深度學習生成網絡生成的所述結果圖像同步進行對抗，實現對戲曲臉譜高頻細節的提取和鑒別，最終輸出目標戲曲臉譜圖像，具體包括：

步驟S41：根據所述戲曲臉譜圖像、所述偽戲曲臉譜圖像以及所述結果圖像，并根據所述人臉特征關鍵點映射關系，計算生成指定大小的K個局部戲曲妝容特征區域，得到K個局部戲曲臉譜特征矩陣向量；

步驟S42：將K個所述局部戲曲臉譜特征矩陣向量輸入所述深度學習生成網絡，對每個戲曲臉譜人臉子區域單獨控制，為每個指定區域創建空間上不同的歸一化參數，通過歸一化方式保證所述戲曲臉譜圖像、所述偽戲曲臉譜圖像和所述結果圖像對應相同子區域的色彩、紋理具有相似性；

步驟S43：通過對所述K個局部戲曲臉譜特征矩陣進行計算平均值并輸出相同戲曲臉譜風格的圖像對應的概率值，采用邊緣感知處理實現增強面部色彩紋理高頻細節，輸出最終目標戲曲臉譜圖像。

5.一種基于深度學習的戲曲臉譜生成系統，其特征在于，包括下述模塊：

獲取數據集模塊，用于對人臉圖片進行數據清洗與預處理，構建戲曲臉譜圖像數據集；

獲取偽戲曲臉譜圖像模塊，用于根據素顏人臉圖像和戲曲臉譜圖像的人臉關鍵點，建立二者的映射關系；將對應所述人臉關鍵點進行融合，得到具有素顏人臉結構的偽戲曲臉譜圖像；

生成結果圖像模塊，用于將所述素顏人臉圖像和所述戲曲臉譜圖像輸入深度學習生成網絡，生成結果圖像；

獲取目標戲曲臉譜圖像模塊，根據所述戲曲臉譜圖像、所述偽戲曲臉譜圖像以及所述結果圖像，并根據人臉特征關鍵點映射關系計算生成指定大小的K個局部戲曲妝容特征區域，輸入所述深度學習生成網絡，構建K個重疊人臉局部鑒別器，同時采用邊緣感知處理實現面部色彩紋理高頻細節增強，與所述深度學習生成網絡生成的所述結果圖像同步進行對抗，實現對戲曲臉譜高頻細節的提取和鑒別，最終輸出目標戲曲臉譜圖像。