[發明專利]基于肖像照片的簡筆畫生成方法、系統及存儲介質

有效

• 申請號: 202010016615.9
• 申請日: 2020-01-08
• 公開（公告）號: CN111243051B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 朱靜潔;高飛;李鵬;俞澤遠;王韜
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T11/60;G06N3/0475;G06N3/0455;G06N3/094;G06V40/16;G06V10/82
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

1.一種基于肖像照片的簡筆畫生成方法，其特征在于，包括以下步驟：

根據肖像照片進行圖像預處理得到預處理肖像圖像；

根據所述預處理肖像圖像進行光照屬性檢測及處理得到光照處理圖像；

根據所述光照處理圖像以及簡筆畫風格照片進行簡筆畫融合得到簡筆畫圖像；

其中，所述根據所述預處理肖像圖像進行光照屬性檢測及處理得到光照處理圖像，包括：

根據所述預處理肖像圖像通過光照屬性類別分類器得到肖像照片的光照屬性，所述光照屬性包括過曝光、欠曝光、陰影以及正常；

根據所述肖像照片的光照屬性通過光照歸一化模型得到消除光照影響的光照處理圖像。

2.根據權利要求1所述的基于肖像照片的簡筆畫生成方法，其特征在于，在所述根據所述光照處理圖像進行簡筆畫融合得到簡筆畫圖像后，還包括：

根據所述簡筆畫圖像以及專家繪制簡筆畫圖像采用精煉圖像模型進行圖像精煉得到精煉簡筆畫圖像；

其中，采用生成對抗網絡作為精煉圖像模型；所述根據所述簡筆畫圖像以及專家繪制簡筆畫圖像采用精煉圖像模型進行圖像精煉得到精煉簡筆畫圖像，包括：

獲取基于肖像照片繪制的專家繪制簡筆畫圖像；

將簡筆畫圖像以及所述專家繪制簡筆畫圖像構成二元組，作為精煉圖像模型的訓練集進行模型訓練；

通過生成判別損失函數、判別損失函數、重建損失函數以及強精煉損失函數優化精煉圖像模型，得到最終的精煉圖像模型。

3.根據權利要求1或2任一項所述的基于肖像照片的簡筆畫生成方法，其特征在于，在所述根據所述光照處理圖像進行簡筆畫融合得到簡筆畫圖像后，還包括：

根據所述簡筆畫圖像或精煉簡筆畫圖像進行簡筆畫后處理得到最終簡筆畫圖像，所述后處理包括高斯模糊處理以及自適應二值化處理。

4.根據權利要求1所述的基于肖像照片的簡筆畫生成方法，其特征在于，所述根據肖像照片進行圖像預處理得到預處理肖像圖像，所述圖像預處理具體包括：

根據肖像照片進行面部框圖以及面部五官關鍵點檢測，得到面部邊界框信息以及面部五官關鍵點的位置坐標；

根據所述面部邊界框信息以及面部五官關鍵點的位置坐標得到人臉對齊肖像圖像；

根據所述人臉對齊肖像圖像得到肖像照片解析掩碼圖；

根據所述肖像照片解析掩碼圖得到去背景的肖像圖像。

5.根據權利要求1所述的基于肖像照片的簡筆畫生成方法，其特征在于，所述根據所述光照處理圖像進行簡筆畫融合得到簡筆畫圖像，所述簡筆畫融合具體包括：

根據所述光照處理圖像通過姿態屬性類別分類器得到帶有姿態屬性的圖像，所述姿態屬性包括正臉及側臉；

根據所述側臉圖像以及簡筆畫風格照片通過全局生成器得到側臉肖像的簡筆畫圖像；

根據所述正臉圖像以及簡筆畫風格照片通過局部生成器以及全局生成器得到正臉肖像的簡筆畫圖像。

6.根據權利要求5所述的基于肖像照片的簡筆畫生成方法，其特征在于，所述全局生成器具體包括：

采用AdaIN網絡結構作為全局生成器模型；

將Celeba數據、Celeba-HQ數據以及簡筆畫風格照片作為所述AdaIN網絡結構的訓練集；

加入內容損失函數、風格損失函數以及一致性損失函數優化所述AdaIN網絡結構，所述一致性損失函數為：

L_con(q)＝G(q)-q₁

其中，G(·)表示AdaIN網絡結構，·₁表示計算兩者之間的歐式距離，所述歐式距離使全局生成器生成圖和簡筆畫風格照片像素相一致。