[發明專利]一種聯合流形約束和FB-GAN的人臉變形方法和系統

在審

• 申請號: 202111055117.6
• 申請日: 2021-09-09
• 公開（公告）號: CN114219742A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 周華兵;徐志超;王燕燕;張彥鐸;盧濤;陳燈;魯統偉;李曉林;李迅;朱銳
• 申請（專利權）人: 武漢工程大學;武漢逸錦科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 唐萬榮

本發明提供了一種聯合流形約束和FB?GAN的人臉變形方法和系統，通過使用生成對抗神經網絡設計出端到端的人臉圖像拼接對抗網絡FB?GAN，實現了在人臉變形過程中生成高分辨率的人臉圖像的功能。本發明通過人臉變形算法生成高分辨率的人臉圖像，解決了傳統變形中人臉嘴巴從閉合到張開所導致的嘴巴“扭曲”或“空洞”問題。本發明解決了人臉拼接問題中的顏色差異較大而導致的拼接效果較差的問題，提高了人臉生成圖像的真實性。

技術領域

本發明屬于人臉圖像變形技術領域，具體涉及一種聯合流形約束和FB-GAN的人臉變形方法和系統。

背景技術

圖像變形的目標是將目標變形成為所需要的形狀和姿態，通常是基于一組用戶控制的不同手柄來實現，其中控制手柄一般包括點、線或者是多邊形網格。Scheafer等人提出了一種基于特征點構建的移動最小二乘(Moving Least Squares，MLS)的剛性圖像變形算法，該算法通過線性函數(如剛性變換)構建變形函數，基于MLS的剛性變形算法使得變形“盡可能地剛性”，能較好的保持目標的全局形態和局部細節。該算法能較好的適用于剛性物體變形(如改變人體運動姿態)，但是針對連貫運動地非剛性目標(如舞動的燭火、呼吸的肺部等)，“盡可能地剛性”地變形原則表現出局限性。由于徑向基函數構造的空間具有較強的逼近能力，它不僅可以近似由各向異性問題產生的函數，而且表示形式和計算也相對簡單。其中高斯函數和薄板樣條函數是圖像變形算法中估計空間變形函數的常用選擇。Ma等人提出了一種基于移動正則最小二乘的數學模型，利用高斯核函數構建再生核希爾伯特空間并在其中定義變形函數，實現矢量場插值，從而得到真實、平滑的圖像變形模型。Zhou等人利用薄板樣條核函數在移動正則化最小二乘估計模型下估算變形向量場，該算法是目前較為先進的非剛性圖像變形算法之一。本發明提出基于特征點引導的移動流形正則最小二乘模型(M²RLS-TPS-FG)，同時考慮圖像中的特征控制點和變形控制點，通過流行正則項確保變形過程總能更好的保持源圖像中的細節。

以上的變形算法適用于對圖像中現存的部分進行所需的變形，但是不適用于無中生有變形。例如，在人臉變形過程中，正常情況下的人臉中嘴巴閉合，當嘴部張開時應生成牙齒，但是現有的圖像變形算法無法實現牙齒的從無到有。

圖像拼接是指裁剪源圖像(通常是對象)的某個區域，并將其放置在目標圖像的指定位置，目標是將拼接合成圖像轉換為與目標圖像具備空間一致性和顏色一致性的圖像，使其盡可能的自然。

Alpha blending是根據給定的Alpha融合向量值來融合源圖像和目標圖像的像素值。該方法首先將源圖像像素和目標圖像根據RGB顏色通道分解為三個分量，之后將源圖像和目標圖像的三個顏色分量分別與Alpha值和負Alpha值相乘，將該結果按對應顏色分量相加再除以Alpha的最大值，便可得到一張融合圖像。雖然，Alpha融合比直接復制粘貼的效果要好很多，但是源圖像和目標圖像的內容都存在于同一區域而導致產生重影效果。

人類的視覺系統對圖像的邊緣等梯度突變的區域非常敏感，基于此，大量工作在梯度域中實現圖像融合，使得融合圖像中產生平滑過渡的邊界。最早的工作Possion imageediting提出通過約束源圖像和目標圖像的梯度一致性來重建目標圖像中融合區域的像素，該方法是傳統拼接融合中最流行的圖像拼接融合方法，首先根據合成圖像的梯度生成梯度矢量場，然后通過泊松方程從梯度矢量場中的信息計算重建拼接區域中的各個像素，使得拼接區域的邊界處有較小的梯度差。但是這種方法生成的圖像往往會包含各種偽影而顯得不真實，而且傳統的基于梯度的算法通常是基于人的先驗知識。

發明內容

本發明要解決的技術問題是：提供一種聯合流形約束和FB-GAN的人臉變形方法和系統，用于在人臉變形過程中生成高分辨率的人臉圖像。

本發明為解決上述技術問題所采取的技術方案為：一種聯合流形約束和FB-GAN的人臉變形方法，包括以下步驟：