[發(fā)明專利]一種基于人臉圖像生成動畫的方法及計算設備

有效

• 申請?zhí)枺?/td>: 201710617374.1
• 申請日: 2017-07-26
• 公開（公告）號: CN107392984B
• 公開（公告）日: 2020-09-15
• 發(fā)明（設計）人: 戴吟臻;李志陽;呂仰銘;張偉;李啟東;洪煒冬
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T17/20
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發(fā)明公開了一種基于人臉圖像生成動畫的方法，包括：提取人臉圖像的人臉特征點；利用人臉特征點生成人臉三維模型及該人臉三維模型對應的第一投影矩陣；通過人臉三維模型計算得到人臉圖像的全圖三維網(wǎng)格模型；根據(jù)全圖三維網(wǎng)格模型和第一投影矩陣計算全圖紋理坐標；通過修改第一投影矩陣的參數(shù)生成第二投影矩陣；通過第一投影矩陣和第二投影矩陣對全圖三維網(wǎng)格模型和人臉三維模型進行投影，生成三維重建后的圖像；通過全圖紋理坐標對三維重建后的圖像進行紋理貼圖生成處理后圖像；依次重復上述修改參數(shù)、投影和紋理貼圖的步驟，得到多個處理后圖像；以及根據(jù)多個處理后圖像生成動畫。本發(fā)明一并提供了執(zhí)行上述方法的計算設備。

技術領域

本發(fā)明涉及圖像處理技術領域，尤其是一種基于人臉圖像生成動畫的方法及計算設備。

背景技術

用戶在日常拍攝、社交等過程中，希望能夠對一張圖像中的人臉進行一些動態(tài)調整，以增加趣味性。

目前對人臉圖像進行動態(tài)調整的技術主要是基于二維圖像的處理變換和基于三維人臉模型重建的方法。僅僅二維圖像上的處理往往會存在面部扭曲變形、平面感較強等問題，故越來越多的技術采用基于三維人臉模型重建的方法。而現(xiàn)有的基于三維人臉模型重建技術主要是基于三維人臉模型數(shù)據(jù)的線性組合，通過人臉2D和對應3D關鍵點的投影匹配求得組合參數(shù)，最終得到能較好表征二維圖像中人臉部分的三維人臉模型，繼而對三維人臉模型進行相應的動態(tài)處理以得到不同的動態(tài)調整圖像，可以用來實現(xiàn)不同的應用，如，日常生活中，人們常希望對一張圖像進行動態(tài)處理后，得到一段姿態(tài)變換的動畫(短視頻)。但已有的三維人臉模型重建技術更多地是只考慮人臉區(qū)域，忽略了其他非人臉的區(qū)域，如頭發(fā)，脖頸，肩膀等其它身體部分，往往只扣出人臉區(qū)域進行處理、對非人臉的背景區(qū)域采取保持不變的處理方案，這樣在合成動態(tài)處理后圖像的時候，非人臉部分的背景區(qū)域和人臉區(qū)域無法得以很好地融合。尤其當利用多張這樣的動態(tài)處理后圖像形成視頻時，難以實現(xiàn)整體的自然流暢的動畫效果。

因此，需要一種基于三維人臉模型重建的優(yōu)化方案，能夠實現(xiàn)對單張人臉圖像進行三維建模后動態(tài)調整得到相應的動畫，在富有趣味性的同時，保證姿態(tài)變化的效果自然。

發(fā)明內容

為此，本發(fā)明提供了一種基于人臉圖像生成動畫的方法及計算設備，以力圖解決或者至少緩解上面存在的至少一個問題。

根據(jù)本發(fā)明的一個方面，提供了一種基于人臉圖像生成動畫的方法，該方法包括步驟：提取人臉圖像的人臉特征點，其中人臉圖像包括人臉區(qū)域和背景區(qū)域；利用人臉特征點生成人臉三維模型及該人臉三維模型對應的第一投影矩陣；通過人臉三維模型計算得到所述人臉圖像的全圖三維網(wǎng)格模型；根據(jù)全圖三維網(wǎng)格模型和第一投影矩陣計算全圖紋理坐標；通過修改第一投影矩陣的參數(shù)生成第二投影矩陣；通過第一投影矩陣和第二投影矩陣對全圖三維網(wǎng)格模型和人臉三維模型進行投影，生成三維重建后的圖像；通過全圖紋理坐標對三維重建后的圖像進行紋理貼圖生成處理后圖像；依次重復上述修改參數(shù)、投影和紋理貼圖的步驟，得到多個處理后圖像；以及根據(jù)多個處理后圖像生成動畫。

可選地，在根據(jù)本發(fā)明的方法中，利用人臉特征點生成人臉三維模型及該人臉三維模型對應的第一投影矩陣的步驟包括：利用三維形變模型3DMM根據(jù)人臉特征點生成該人臉圖像的人臉三維模型和該人臉三維模型對應的第一投影矩陣。

可選地，在根據(jù)本發(fā)明的方法中，利用三維形變模型3DMM生成人臉三維模型和第一投影矩陣的步驟包括：預先建立人臉空間基底和投影矩陣的初始參數(shù)；利用人臉特征點、通過人臉空間基底和初始參數(shù)擬合出該人臉圖像的人臉三維模型；以及根據(jù)該人臉三維模型所對應的投影矩陣的參數(shù)得到第一投影矩陣。

可選地，在根據(jù)本發(fā)明的方法中，通過人臉三維模型計算得到人臉圖像的全圖三維網(wǎng)格模型的步驟包括：根據(jù)人臉三維模型的深度差計算該人臉圖像中背景區(qū)域的深度，得到該人臉圖像的全圖三維網(wǎng)格模型。