[發明專利]一種基于繪畫筆觸指導的人臉素描生成方法

在審

• 申請號: 202011593350.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112633288A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 俞俊;祝一帆;高飛
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/42;G06K9/62;G06N3/04;G06K9/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于繪畫筆觸指導的人臉素描生成方法。本發明步驟如下：步驟(1)數據預處理，將所有數據集的圖片經過調整尺寸和裁剪的操作縮放到統一大小；步驟(2)筆觸分類器模型的構建及預訓練，自定義筆觸標簽，構建筆觸分類器網絡模型，完成模型的預訓練，保留訓練好的模型參數；步驟(3)生成對抗網絡模型的構建，分別構建生成器和判別器兩個網絡模型；步驟(4)生成對抗網絡模型的訓練，定義損失函數，訓練生成對抗網絡模型；步驟(5)人臉素描的生成及質量評價。本發明提出了利用筆觸分類器輔助指導人臉素描生成的方法，并完成了人臉素描的高質量生成。

技術領域

本發明提到了一種基于繪畫筆觸指導的人臉素描生成(Face2Sketch GenerationBased on Brushstroke Instruction)的新方法，主要涉及一種利用卷積神經網絡進行分類訓練得到的深層特征即繪畫筆觸構圖信息和全局信息，以構建一個與人工繪畫效果更加一致的人臉素描生成模型。

背景技術

圖像處理的很多問題都是將一張輸入的圖片轉變為一張對應的輸出圖片，比如灰度圖、梯度圖、彩色圖之間的轉換等。人臉素描生成的本質就是圖像間的轉換問題，最終目的是希望完成一張人臉照片到對應的素描圖像的高質量轉換。

目前比較流行的算法是pix2pix，他能夠較好地實現人臉素描的生成，但是其生成的素描圖像質量不高，特別是生成素描的線條筆觸非常的模糊，此外，其在人臉局部細節的生成效果依然有很大的提升空間。

發明內容

本發明的目的是針對人臉素描生成精度的問題，提供一種基于繪畫筆觸指導的人臉素描生成方法。

本發明解決其技術問題所采用的技術方案包括如下步驟：

步驟(1)數據預處理

將所有數據集的圖像經過調整尺寸和裁剪的操作縮放到統一大小；

步驟(2)筆觸分類器網絡模型的構建及預訓練

自定義筆觸標簽，構建筆觸分類器網絡模型，完成模型的預訓練，保留訓練好的模型參數；

步驟(3)生成對抗網絡模型的構建

分別構建生成器和判別器兩個網絡模型；

步驟(4)生成對抗網絡模型的訓練

定義損失函數，訓練生成對抗網絡模型；

步驟(5)人臉素描的生成及質量評價

依次將待處理的人臉圖像輸入到訓練后的生成對抗網絡模型中，得到對應的人臉素描畫圖像，并根據指標完成質量評價；

進一步的，步驟(1)所述的數據預處理：

1-1選擇CUFS數據集，按照標準數據集劃分方法，隨機取168張人臉圖像和對應的素描畫圖像作為訓練集，其余143張的人臉圖像和對應的素描畫圖像作為測試集；

1-2對圖像(包括人臉圖像和素描畫圖像)進行預處理，先將圖像填充到286*286大小，然后對圖像進行隨機裁剪并做數據標準化處理，最終得到的圖像大小變為256*256，其中圖像中的人臉圖像的通道數為3，素描畫圖像的通道數為1；

進一步的，步驟(2)所述的筆觸分類器網絡模型的構建及預訓練具體實現如下：

2-1使用人臉分割網絡BiseNet生成Mask數據集

通過人臉分割網絡BiseNet對預處理后數據集中的人臉圖像做語義解析，為每個語義成分分配一個像素級標簽并進行標注。

所述的語義成分包括頭發、面部皮膚、眼睛、鼻子、嘴巴等。

最后獲得的20個人臉語義標簽如下：