[發(fā)明專利]一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法在審
| 申請?zhí)枺?/td> | 202011623820.8 | 申請日： | 2020-12-30 |
| 公開（公告）號： | CN112634392A | 公開（公告）日： | 2021-04-09 |
| 發(fā)明（設計）人： | 侯巒軒;馬鑫;赫然;孫哲南 | 申請（專利權(quán)）人： | 天津中科智能識別產(chǎn)業(yè)技術(shù)研究院有限公司 |
| 主分類號： | G06T11/00 | 分類號： | G06T11/00;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 天津市三利專利商標代理有限公司 12107 | 代理人： | 韓新城 |
| 地址： | 300457 天津市濱海新區(qū)天津經(jīng)濟技*** | 國省代碼： | 天津;12 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 幾何 先驗 對抗 生成 網(wǎng)絡 表情 合成 方法 | ||
本發(fā)明公開一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，包括步驟：將表情數(shù)據(jù)庫圖像數(shù)據(jù)預處理，提取人臉圖像的表情關(guān)鍵點，制作人臉關(guān)鍵點熱力圖；將人臉圖像和人臉關(guān)鍵點熱力圖作為網(wǎng)絡模型的輸入，訓練對抗生成網(wǎng)絡中的兩對生成器和判別器同時完成表情生成和去除的任務，訓練得到能同時進行表情生成和表情去除的幾何先驗對抗生成網(wǎng)絡模型使用訓練好的幾何先驗對抗生成網(wǎng)絡模型，對測試數(shù)據(jù)進行表情生成和去除處理，并對經(jīng)過去除處理操作的圖像進行表情不變?nèi)四樧R別。本發(fā)明同時優(yōu)化人臉表情合成和人臉表情去除兩個任務，有利于提升網(wǎng)絡訓練的收斂速度，有效提高了模型泛化能力。
技術(shù)領(lǐng)域
本發(fā)明涉及圖形處理技術(shù)領(lǐng)域，特別是涉及一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法。
背景技術(shù)
人臉表情合成是一種典型的圖形處理問題，目的在于合成特定人物的特定表情，已經(jīng)引起計算機圖形學、計算機視覺、模式識別和機器學習等領(lǐng)域的廣泛關(guān)注。合成像照片一樣真實的臉部表情圖像對學術(shù)界和工業(yè)級都具有重要的價值，并且表情合成在面部動畫制作、臉部編輯、臉部數(shù)據(jù)庫擴增和人臉識別方面也都有諸多應用。
但由于人臉極端復雜的幾何形式、不可計數(shù)的臉部皺紋和細微的顏色及紋理的變化，使得合成“真實的”人臉表情圖像仍然具有一定的難度。
近年來，深度學習在機器視覺的眾多領(lǐng)域都取得了令人矚目的效果，尤其是對抗生成網(wǎng)絡在圖像生成方面引起了巨大反響。對抗生成網(wǎng)絡啟發(fā)自博弈論中二人零和博弈的思想，具有生成式網(wǎng)絡和判別式網(wǎng)絡兩個網(wǎng)絡，利用它們之間的相互競爭從而不斷提升網(wǎng)絡性能，最終達到平衡。基于對抗生成網(wǎng)絡的思想，衍生出許多變種網(wǎng)絡，并且這些網(wǎng)絡在圖像合成、圖像超分、圖像風格轉(zhuǎn)換和人臉合成等方面都取得了顯著的進步。對于人臉合成相關(guān)的研究，包括側(cè)臉轉(zhuǎn)正、人臉補全、去遮擋、多視角人臉生成和人臉表情合成等都得到了研究者們的廣泛關(guān)注。基于對抗生成的人臉合成方法通常分為兩個循環(huán)迭代的過程：首先使用生成式網(wǎng)絡模型對輸入進行非線性處理(一般為卷積操作)得到生成圖像；然后利用判別式網(wǎng)絡來對生成圖像作真假判別并進行參數(shù)反向傳播以改善網(wǎng)絡性能。
隨著科技的不斷發(fā)展，人們在不同領(lǐng)域的需求也在相應提高，包括電影廣告動畫制作、網(wǎng)絡游戲、遠程視頻通話、用戶交互式代理和面部手術(shù)規(guī)劃等，逼真的人臉圖像生成對用戶的良好體驗和臉部信息理解都具有重要意義。
因此，在這樣的背景下，開發(fā)一種基于幾何先驗對抗生成網(wǎng)絡的高性能人臉表情合成方法是很有必要的。
發(fā)明內(nèi)容
本發(fā)明的目的是為了提高人臉合成的可視化真實性，并保持原本的身份特征，而提供一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法(Geometry-Guided GenerativeAdversarial Network，簡稱G2-GAN)。
為實現(xiàn)本發(fā)明的目的所采用的技術(shù)方案是：
一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，包括步驟：
S1.將表情數(shù)據(jù)庫圖像數(shù)據(jù)預處理，提取人臉圖像的表情關(guān)鍵點，制作人臉關(guān)鍵點熱力圖；
S2.將人臉圖像和人臉關(guān)鍵點熱力圖作為網(wǎng)絡模型的輸入，訓練對抗生成網(wǎng)絡中的兩對生成器和判別器同時完成表情生成和去除的任務，訓練得到能同時進行表情生成和表情去除的幾何先驗對抗生成網(wǎng)絡模型；其中，
對于表情生成任務，通過生成器對輸入進行處理得到生成的有表情人臉，與真實的有表情人臉在判別器中進行對抗損失的計算；對于表情去除任務，通過生成器對輸入進行處理得到生成的無表情人臉，與真實的無表情人臉在判別器中進行對抗損失的計算；迭代多次達到穩(wěn)定后完成模型的訓練；
S3.使用訓練好的幾何先驗對抗生成網(wǎng)絡模型，對測試數(shù)據(jù)進行表情生成和去除處理，并對經(jīng)過去除處理操作的圖像進行表情不變?nèi)四樧R別。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于天津中科智能識別產(chǎn)業(yè)技術(shù)研究院有限公司，未經(jīng)天津中科智能識別產(chǎn)業(yè)技術(shù)研究院有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011623820.8/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
