[發明專利]一種基于無監督學習的人臉輪廓特征風格化生成方法

有效

• 申請號: 202010480494.3
• 申請日: 2020-05-30
• 公開（公告）號: CN111667400B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 范林龍;李毅;張笑欽;陳舒
• 申請（專利權）人: 溫州大學大數據與信息技術研究院
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/13;G06T7/136;G06T7/90;G06K9/00;G06K9/62
• 代理公司: 溫州名創知識產權代理有限公司 33258
• 代理人: 陳加利

本發明提供一種基于無監督學習的人臉輪廓特征風格化生成方法，包括獲取人臉圖片，并在人臉圖片中，利用人臉輪廓及關鍵特征點進行特征提取，以及結合顏色特征信息限定關鍵人臉風格化區域后，通過局部區域二值化處理生成特征區域人臉處理后的采樣圖像；基于CycleGAN生成對抗網絡，構建風格化圖像生成模型，并將采樣圖像導入風格化圖像生成模型中，得到人臉輪廓特征區域卡通風格化的圖像。實施本發明，解決了現有技術所存在的問題，提高了圖像風格化結果及魯棒性。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于無監督學習的人臉輪廓特征風格化生成方法。

背景技術

近年來，基于特征提取的人臉關鍵區域風格化技術受到了極大的市場關注。涌現了一大批基于人臉區域特征提取的應用技術，如人臉圖像的編輯美化、視頻人臉風格貼圖、“變臉”等，在影視娛樂、動漫游戲、廣告宣傳領域得到了廣泛的應用。

采用傳統的圖像處理技術，能夠實現人臉關鍵特征的風格改變和遷移，從而達到美化人臉圖像的目的。然而隨著計算機視覺領域的發展，通過采用深度學習技術，能夠實現更加智能快速的人臉特征風格化及特征融合。傳統的人臉風格化方法利用圖像處理的技術，能夠通過提取人臉面部特征位置，根據所需的表情從素材庫中調取相應的五官貼圖，從而進行匹配或替換而生成卡通圖像；進一步的，在視頻圖像處理領域，利用非真實感渲染，通過學習特定風格的筆觸特征，模擬表現人臉區域的藝術化特質；進一步的，在圖像濾波研究領域，研究人員提出了一種更為一般化的Kuwahara濾波器，通過利用平滑權重函數代替矩形區域，考慮各向異性的權重函數形成聚類的方法，能夠在平滑圖像的同時保留圖像有意義的邊緣信息，從而提高圖像風格化的結果。

但是，現有的人臉風格化方法存在不足之處，其不足之處在于圖像邊緣信息粗糙、過度不夠平滑，局部特征區域輪廓圖像融合不夠自然，缺少有效的濾波算法對圖像的邊緣融合進行處理等。

發明內容

本發明實施例所要解決的技術問題在于，提供一種基于無監督學習的人臉輪廓特征風格化生成方法，能解決現有技術中圖像邊緣信息粗糙、過度不夠平滑，局部特征區域輪廓圖像融合不夠自然，缺少有效的濾波算法對圖像的邊緣融合進行處理等問題，提高了圖像風格化結果及魯棒性。

為了解決上述技術問題，本發明實施例提供了一種基于無監督學習的人臉輪廓特征風格化生成方法，包括以下步驟：

獲取人臉圖片，并在所述人臉圖片中，利用人臉輪廓及關鍵特征點進行特征提取，以及結合顏色特征信息限定關鍵人臉風格化區域后，通過局部區域二值化處理生成特征區域人臉處理后的采樣圖像；

基于CycleGAN生成對抗網絡，構建風格化圖像生成模型，并將所述采樣圖像導入所述風格化圖像生成模型中，得到人臉輪廓特征區域卡通風格化的圖像。

其中，所述在所述人臉圖片中，利用人臉輪廓及關鍵特征點進行特征提取，以及結合顏色特征信息限定關鍵人臉風格化區域后，通過局部區域二值化處理生成特征區域人臉處理后的采樣圖像的步驟，具體包括：

在所述人臉圖片中，利用預設人臉檢測算法中的梯度方向直方圖檢測人臉區域，得到包圍人臉區域的頂點坐標，并根據所述包圍人臉區域的頂點坐標，確定人臉矩形框；

在所述人臉矩形框中，計算獲得一個最小化人臉橢圓特征區域并記為第一標記區；

在所述人臉矩形框中，通過預設的關鍵點算法采用人臉關鍵點，得到人臉特征關鍵點區域并記為第二標記區；

在所述人臉矩形框中，通過采集計算臉部區域膚色，獲得人臉學習的感興趣區域并記為第三標記區，并對所述第三標記區進行局部區域二值化處理；

將局部區域二值化處理后的第三標記區與所述第一標記區及所述第二標記區進行合并，得到所述采樣圖像。