[發明專利]基于草圖的人臉圖像生成方法及系統

有效

• 申請號: 202010439641.2
• 申請日: 2020-05-22
• 公開（公告）號: CN111915693B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 高林;傅紅波;蘇萬超
• 申請（專利權）人: 中國科學院計算技術研究所;香港城市大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/0464;G06N3/08;G06T7/11
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

本發明提出一種基于草圖的人臉圖像生成方法及系統，包括：通過特征提取網絡提取手繪草圖中人臉的多個部分，得到多個特征向量，將每個該特征向量在流形空間中的合理表達作為優化向量；利用特征映射網絡，將優化向量解碼并映射為特征張量，拼合所有特征張量得到完整的人臉特征張量，并利用圖像合成網絡，將該人臉特征張量，合成為高真實感的人臉圖像。本發明的目的是解決上述現有技術的輸入圖像質量要求高，生成結果真實感較差的問題，提出了一種基于草圖交互的高質量人臉圖像生成方法及系統，該方法可以從用戶手繪草圖圖像對應完整高真實感的人臉圖像。

技術領域

本發明涉及計算機圖形學和計算機視覺，尤其涉及對人臉面部圖像合成和草圖編輯的方法。

背景技術

隨著深度學習的發展，視覺領域中圖像編輯和翻譯的工作越來越多，從手繪草圖圖像到真實人臉的遷移工作逐漸出現。然而，現有的解決方法大多基于專業的草稿圖像或者從真實圖像中提取到的輪廓圖作為輸入，在普通用戶手繪出的草稿圖像上表現不佳，目前尚無一面部圖像合成的交互式系統出現。從草圖圖像生成真實人臉圖像的技術在實際生活中有著廣泛的應用，可用于犯罪調查，人物設計等各個方面。在上述應用中上，現有研究往往采用圖像到圖像的遷移方法，然而這種方法約束要盡可能的刻畫人物形象的細節，當刻畫的細節不夠細致時往往很難產生真實的人臉圖像，因此限制了使用用戶的范圍。

鑒于草圖簡單和易使用性，草圖圖像常被用來描繪物體或面孔圖像，現有技術可以實現草圖圖像對人臉圖像編輯的操作，但當只輸入草圖圖像時卻很難生成高質量人臉圖像。經典的網絡模型可以實現草圖圖像到真實圖像的翻譯，然而當輸入為粗糙的或不完整的手繪草圖時，往往難以生成真實結果。現有技術可以對草圖補全并生成真實圖像，對簡單的物體如菠蘿，草莓，等簡單的物體表現良好，但是遷移至人臉圖像生成上表現欠佳。

發明內容

為了解決手繪草圖圖像到真實人臉圖像的生成和交互工作，本發明設計一基于草圖的交互式系統。利用深度神經網絡、數據先驗，以及局部-全局處理的優化思路，將人臉圖像進行剖分，對子區域進行優化處理后整合生成高質量的人臉圖像。本發明的目的是解決上述現有技術的輸入圖像質量要求高，生成結果真實感較差的問題，提出了一種基于草圖交互的高質量人臉圖像生成方法及系統，該方法可以從用戶手繪草圖圖像對應完整高真實感的人臉圖像。并為該方法設計一使用軟件，以陰影圖的形式引導/幫助用戶進行繪畫創作，進而生成對應的真實圖像。

針對現有技術的不足，本發明提出一種基于草圖的人臉圖像生成方法，其中包括：

步驟1、通過特征提取網絡提取手繪草圖中人臉的多個部分，得到多個特征向量，將每個該特征向量在流形空間中的合理表達作為優化向量；

步驟2、利用特征映射網絡，將優化向量解碼并映射為特征張量，拼合所有特征張量得到完整的人臉特征張量，并利用圖像合成網絡將該人臉特征張量合成為人臉特征圖像。

所述的基于草圖的人臉圖像生成方法，其中該步驟1包括：

步驟11、對該手繪草圖中人臉圖像采用重疊窗口設置左眼區域、右眼區域、鼻子區域和嘴巴區域的分割區域，并通過反選左眼區域、右眼區域、鼻子區域和嘴巴區域的分割區域得到其他區域，對每個區域c單獨提取特征

步驟12、以每個區域的特征作為訓練數據，訓練自動編碼網絡，得到編碼器模型E^c，該自動編碼網絡包括多層解碼器和多層編碼器，并在編碼器和解碼器中間設有全連接層，且在編碼器和解碼器的每個卷積或反卷積操作之后添加一個殘差塊來構建隱含層描述子。

所述的基于草圖的人臉圖像生成方法，其中該步驟1包括：