[發明專利]肖像簡筆畫生成方法、系統及繪畫機器人

在審

• 申請號: 202010016519.4
• 申請日: 2020-01-08
• 公開（公告）號: CN111243050A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 朱靜潔;高飛;李鵬;俞澤遠;王韜
• 申請（專利權）人: 浙江省北大信息技術高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06K9/00;G06N3/04
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本申請實施例中提供了一種肖像簡筆畫生成方法、系統及繪畫機器人。采用本申請實施例中的肖像簡筆畫生成方法，通過根據肖像照片進行圖像預處理得到預處理肖像圖像；然后根據預處理肖像圖像以及簡筆畫風格照片通過卷積神經網絡模型得到簡筆畫圖像，實現了能夠快速將肖像照片生成高質量的簡筆畫，并適用于繪畫機器人，可在短的時間內繪制出肖像簡筆畫。解決了現有技術的簡筆畫生成方法不能很好地應用于繪畫機器人繪畫出生動形象的肖像簡筆畫的問題。

技術領域

本申請屬于圖像處理技術領域，具體地，涉及一種肖像簡筆畫生成方法、系統及繪畫機器人。

背景技術

隨著人工智能的發展，越來越多人開始研究人工智能與藝術的結合，即計算藝術。另一方面，人工智能技術與生活越來越息息相關，家庭陪伴機器人領域也正蓬勃發展，家庭陪伴機器人不僅走進了我們的生活，也照亮了我們的精神世界。目前，家庭陪伴機器人可以進行漫畫、素描等藝術創作，簡筆畫利用點、線等簡單元素足夠將人的特點表現得淋漓盡致，也更符合機器人在短時間內繪制出生動形象的人物肖像畫的要求。

目前，對簡筆畫的制作研究以及將其應用在機器人上的研究還比較少，在現有的基于卷積神經網絡的算法中，大多是根據現有的風格照片，把目標照片轉化為帶有風格的照片，同時保留照片內容。現有算法均以一種塊到塊(patch-to-patch)的方式替換了風格特性的內容特性，且每次基于數據的訓練只能得到適應一種風格畫的模型。

由于實際人臉肖像內容復雜，人臉部件所需要呈現的細節也存在差異，且目前的繪畫機器人還具有一定局限性，使得基于繪畫機器人的人臉肖像簡筆畫算法面臨巨大挑戰。

具體而言，主要存在如下以下難點：(1)很多算法能夠生成很好的風格畫，但生成具有同風格的人物肖像效果并不盡如人意，人臉的輪廓雜亂有重影且五官細節部分無法準確表達，完全不適用繪畫機器人提取軌跡來繪畫人物肖像。因此，在基于繪畫機器人的人物肖像簡筆畫生成的過程中，保留人物身份信息及符合繪畫機器人繪制是一個必須解決的問題。(2)目前的風格照片轉換基本上都是基于網站式交互，且生成一張風格化圖像要等待一段時間。對于老人小孩來說，操作網站對他們來說非常困難，并且無法作為紀念品收藏留念。在娛樂生活方面，基于機器人交互的繪畫機器人且提升畫像生成及繪畫速度也是一個重要的方面。

因此，亟需一種可以轉換得到高質量、生動形象的肖像簡筆畫的生成方法，并適用于繪畫機器人進行繪制。

發明內容

本發明提出了一種肖像簡筆畫生成方法、系統及繪畫機器人，旨在解決現有技術的簡筆畫生成方法不能很好地應用于繪畫機器人繪畫出生動形象的肖像簡筆畫的問題。

根據本申請實施例的第一個方面，提供了一種肖像簡筆畫生成方法，包括以下步驟：

根據肖像照片進行圖像預處理得到預處理肖像圖像；

根據預處理肖像圖像以及簡筆畫風格照片通過卷積神經網絡模型得到簡筆畫圖像，卷積神經網絡模型具體為：

根據預處理肖像圖像以及簡筆畫風格照片通過VGG編碼器得到預處理肖像圖像以及簡筆畫風格照片的高層語義特征；

輸入高層語義特征至自適應實例化AdaIN模塊得到統計特征；

輸入統計特征至解碼器得到具有簡筆畫風格的圖像。

可選地，根據肖像照片進行圖像預處理得到預處理肖像圖像，圖像預處理具體包括：

根據肖像照片進行面部框圖以及面部五官關鍵點檢測，得到面部邊界框信息以及面部五官關鍵點的位置坐標；

根據面部邊界框信息以及面部五官關鍵點的位置坐標得到人臉對齊肖像圖像；

根據人臉對齊肖像圖像得到肖像照片解析掩碼圖；

根據肖像照片解析掩碼圖得到去背景的肖像圖像。