[發明專利]一種基于移動平臺的三維虛擬試發型人臉重建方法

有效

• 申請號: 201710506496.3
• 申請日: 2017-06-28
• 公開（公告）號: CN107274493B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 童晶;鄒曉;朱紅強
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T19/20;G06K9/00
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于移動平臺的三維虛擬試發型人臉重建方法，通過相機或者相冊獲得用戶臉部正面照一張，傳送給服務器，服務器通過算法程序計算，完成后返回人臉相關參數和重建后的人臉紋理貼圖，根據人臉相關參數和貼圖實例化新的人臉三維模型并予以顯示。根據用戶選擇加載不同的三維虛擬發型、配飾和展示背景等，實例化顯示在屏幕上，從而實現顯示虛擬試發型效果。本發明為用戶提供較為真實的虛擬試發型體驗，在功能創新上實現用戶的三維人臉仿真、發型和配飾更換以及個人信息存儲等功能，系統將服務器中的發型及配飾等加載并供選擇，最后實例化顯示，為用戶試發型提供基礎，更真實體現不同發型的實際效果。

技術領域

本發明涉及虛擬現實圖像處理技術領域，尤其涉及一種基于移動平臺的三維虛擬試發型人臉重建方法。

背景技術

隨著經濟的發展，人們更加關注自身形象，更愿意為提升自身形象氣質消費，發型和服裝造型對一個人形象氣質的塑造起到關鍵性作用。與服裝不同，發型一旦做出改變短時間內很難恢復。針對發型不能提前預覽的問題，目前有兩種主流的解決方案：一是發型圖冊和發色樣板，二是基于二維圖像的試發型應用。然而這兩種方案都存在較為明顯的缺陷。

發型圖冊和染發色彩樣板不能提供特定用戶的試發效果。基于二維圖像的試發型應用，一般要求用戶拍照角度對應發型角度，否則臉部輪廓不貼切、臉型不符合用戶本人。對于不同用戶來說，即使是相同發型也存在效果差異，已有方法無法較好滿足消費者換發型之前預覽的需求。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是提供一種基于移動平臺的三維虛擬試發型人臉重建方法，基于移動平臺搭建并結合服務器進行系統優化，試發型效果以三維方式呈現，可進行多角度的旋轉觀察，滿足用戶更換發型、發色和配飾的需求。運用人臉檢測、圖像變形、圖像融合和三維模型變形技術，發明了一種以單張照片為依據的用戶人臉三維重建方法，將重建的三維用戶人臉用于試發型，能夠真實還原用戶試發效果，體驗和實用性更佳。

為實現上述目的，本發明提供了一種基于移動平臺的三維虛擬試發型人臉重建方法，包括以下步驟：

建立臉型網格和基本人臉紋理貼圖的三維人臉庫，用于人臉圖像網格重建和紋理貼圖重建，網格重建目標為得到臉型擬合參數，紋理貼圖重建得到基于用戶照片的人臉紋理貼圖；

采集人臉圖像，識別出圖像中臉部輪廓位置和眉毛、眼睛、鼻子以及嘴巴輪廓位置的相應特征點，根據臉部輪廓特征點確定用戶臉型，根據五官輪廓位置特征點確定提取的圖像元素范圍；

確定臉型數據后，根據臉型擬合公式(現有技術，此處不再贅述)計算出臉型擬合參數，實現網格重建；確定五官位置后，提取出圖像元素，通過圖像變形算法(現有技術，此處不再贅述)和泊松融合處理后得到新的人臉紋理貼圖；

將重建后的網格和紋理貼圖合并，實例化顯示即可得到完整的用戶三維人臉。

上述建立臉型網格和基本人臉紋理貼圖的三維人臉庫具體為：

借助FaceShift Studio結合Kinect攝像頭實現三維人臉的初步獲取，運用3dsMax、Zbrush軟件對基本網格的臉部特征位置進行調整和修正，使用Photoshop依據已有UV展開圖重新繪制用于融合的基本貼圖素材，將修整后的網格模型與貼圖結合，完成基本臉型三維人臉庫的建立。

上述三維人臉庫包括長臉、鵝蛋臉、方臉、梨形臉、菱形臉、心形臉和圓臉這七種基本臉型網格模型和一張基本人臉紋理貼圖，其中七種臉型網格模型預先標記好臉部輪廓對應位置特征點，將這些特征點投影到平面XOY上，歸一化后得到基準特征點T₁,T₂,T₃,...,T₇。