[發明專利]一種基于單幅照片的三維人臉建模方法及系統

在審

• 申請號: 201610994793.2
• 申請日: 2016-11-11
• 公開（公告）號: CN106780713A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 吳懷宇;吳挺
• 申請（專利權）人: 吳懷宇;吳挺
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 龔潔

技術領域

本發明涉及計算機圖形學和計算機視覺領域，具體涉及一種基于單幅照片的三維人臉建模方法及系統。

背景技術

在計算機圖形學和計算機視覺領域，三維人臉建模是最困難和最具挑戰性的問題之一，同時，它也是包括在物理學、生理學以及心理學等不同領域的跨學科問題。

隨著硬件計算能力和計算機圖像學的飛速發展，人們已經可以用計算機和移動設備產生各種各樣高質量的圖像以及3D模型，計算機構造的虛擬人物對大家來說早已不陌生，當下移動設備也具有較強的三維圖像處理能力，人們對三維建模的真實感、實時性和便利性的等要求也越來越高。自上世紀七十年代起，三維人臉建模就成為了計算機圖形學和視覺領域的一個研究熱點。在人類視覺系統中，人臉是最為復雜的對象之一，富含重要的心理與生理信息。三維人臉建模的發展可以為更為復雜的建模提供借鑒，同時對于類似的科學問題有著非常重要的促進意義。

除了科學研究意義外，三維人臉建模在虛擬現實、人臉識別、公共安全、電腦游戲、影視制作、表情動畫、情感分析以及3D打印等領域具有巨大作用。它不僅可以用來制作虛擬現實環境中的各種虛擬人物及動畫，還可以應用于可視電話、遠程網絡會議等多媒體的制作和傳輸；另外，它在人機交互等日益增長的信息通信技術領域也有著很好的發展前景。三維人臉模型還可以促進人臉識別和檢索技術的進步，在安全領域有著重要作用。

由于計算機人臉建模有著上述非常廣泛的應用價值，自從Parke在1972年開創這個領域以來，人臉建模和人臉動畫成為了一個新的研究熱點，越來越多的研究者努力嘗試創造具有真實感的人臉模型和表情動畫。但是由于人臉的生理結構非常復雜，而且人們對人臉的細節變化非常敏感，其中對頭發進行模擬、對表情動作進行仿真、還有如何添加逼真紋理信息和進行光照處理等仍是一個難題。人類視覺系統非常精妙，天生具備識別人臉模型的能力，人眼可以準確快速地從一張照片中恢復出人臉三維形狀信息，從而進行身份識別。如果計算機能夠模擬人類的認知機制，從而實現基于單幅二維人臉照片的三維人臉建模，不但能夠在一定程度上提高計算機對人臉數據信息的處理能力和理解能力，促進虛擬現實和人機交互技術的發展，而且能夠進一步促進其他交叉學科的發展。

現有技術中，公開了以下幾種三維建模技術：

(1)基于三維掃描儀等的三維人臉建模：主要指利用三維數字掃描儀對人臉進行掃描來獲取人臉的三維信息，根據獲取的三維數據在計算機中進行人臉模型的三維重建，該方法能夠獲得精確的人臉模型。

(2)基于多幅人臉照片的建模：指通過多幅多角度的人臉圖像，如正面、左側面、右側面等圖像來獲取更多人臉的三維數據來進行人臉的三維建模。基于多幅人臉圖像的建模能夠更直觀、完整地獲得人臉的正面紋理信息、深度信息等，從而有利于建立起更加精確的三維人臉模型。

(3)基于單幅人臉照片的建模：基于單幅人臉圖像的建模：一般是指通過采集單張人臉的圖像進行數據的分析以及人臉的擬合與三維重建，其都是通過光流算法或網格重采樣的算法進行形變模型的建立，再對其進行重建獲得精確的人臉模型，具有真實感強，建模方便等特點。

現有技術的不足之處在于，(1)采用三維掃描儀等硬件設備通用性和靈活性較差，操作較為復雜，且其硬件設備的成本也較高，一般只適用于某些特殊的場合；(2)采用多幅人臉照片進行建模的方法在一定程度上增加了人工操作的步驟，降低了操作的靈活性；(3)基于單幅人臉照片進行建模需要的手動初始化繁瑣，運算量特別大，人臉建模的速度慢，并且獲得的人臉模型的真實感差。

發明內容

本發明的目的是提供一種基于單幅照片的三維人臉建模方法及系統，以解決靈活性差，操作復雜，以及需要繁瑣的手動初始化、運算量大、建模的速度慢、獲得的人臉模型的真實感差的問題。

為了實現上述目的，本發明提供如下技術方案：

一種基于單幅照片的三維人臉建模方法，包括以下步驟：

獲取人臉圖像以及單幅人臉照片；

將所述人臉圖像二維展開，并通過薄板樣條變換對展開得到的紋理圖像進行稠密點對應，獲得中間圖像；

通過對所述中間圖像的主成分分析得到形變模型；

將所述形變模型的特征點與所述人臉照片的特征點對齊，并在對齊后的形變模型上垂直投影所述人臉照片的紋理，生成人臉模型。

上述三維人臉建模方法，通過薄板樣條變換對展開得到的紋理圖像進行稠密點對應包括以下步驟：

從所述紋理圖像中確定一圖像作為參考圖像；

根據cpselect函數對所述紋理圖像進行特征點標記；