[發明專利]三維人臉重建方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201810621836.1
• 申請日: 2018-06-15
• 公開（公告）號: CN108898665A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 皮慧婷;洪學海;李小暢;陳鑫
• 申請（專利權）人: 上饒市中科院云計算中心大數據研究院
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 張勛

本發明公開一種三維人臉重建方法、裝置、設備及計算機可讀存儲介質，對人臉參考圖像集中人臉參考圖像進行特征點標定，基于特征點像素坐標對參考模型進行全局輪廓變形，對變形后的初級人臉模型采用基于法線的光度立體技術進行光度法線重建，基于重建后的目標人臉模型的表面法向量，使用網格變形技術利用優化后的法線迭代生成目標人臉模型。本發明提出基于光度法線的魯棒性三維人臉重建技術，借助無約束圖像集和參考模型，結合使用光度立體技術和網格變形技術，降低了對人臉參考圖像的限制，利用了兩種技術的優點，同時也避免了單獨使用一種技術重建人臉時的缺陷，提高了維人臉重建質量，實現了魯棒性的高精度三維人臉重建。

技術領域

本發明涉及電子技術領域，更具體地說，涉及一種三維人臉重建方法、裝置、設備及計算機可讀存儲介質。

背景技術

基于圖像的三維人臉重建被廣泛應用于人臉識別、公安、醫療、游戲動畫、影視娛樂等領域，它旨在實現人臉的三維幾何模型重構，是計算機視覺和計算機圖形學中一個有趣而富挑戰性的研究熱點。目前，三維人臉重建技術主要分為兩大類：主動重建技術和被動重建技術。主動重建技術使用三維深度掃描儀來捕獲人臉的三維位置信息，經擬合處理構造人臉三維模型。基于深度掃描儀的方法可以得到精確的結果，但需要特殊的硬件設備和高昂的費用，故不適用于復雜對象。被動重建技術是利用計算機視覺的相關算法，通過單張或多張二維人臉圖像來重建三維人臉。與主動重建技術相比，被動重建技術不受硬件限制，且是一種相對經濟的方法。

光度立體技術是一種被廣泛應用的被動重建技術，最初是由明暗恢復形狀(Shape from Shading，SFS)算法發展而來，由Woodham于1980年正式提出，是一種利用同一物體在同一位置而不同光源下的多幅圖像來恢復物體表面形狀的三維重建方法。它能成功利用三張及以上圖像實現三維建模，且具有低硬件成本、較快速度、適中的重建質量等優點，故在工業檢測、虛擬現實等領域得到了廣泛的研究與應用。然而，光度立體技術的算法通常需使用奇異值(SVD) 分解來解決低秩球諧函數問題，該問題需要嚴格的約束限制，解的存在性和唯一性在實際中很難從理論上得到保證，這容易使求得的解與真實解間可能存在較大偏差。

另一方面，基于模型的網格變形技術由于具有較好特性，且變形過程相對簡單，也成為三維重建、虛擬現實等領域中一種常用的方法。網格變形技術是通過在原有模型網格上進行逐頂點的變形操作得到需要的新形狀三維網格模型，可以生成掃描儀和一些傳統造型構建方法無法獲取的三維模型。目前，流行的網格變形技術大體可分為：基于空間變形的變形技術、基于骨架驅動的變形技術、基于網格曲面的變形技術。其中，基于網格曲面的變形技術是應用時間和范圍最廣的網格變形技術，該變形技術又可分為基于多分辨率表示的變形技術和基于微分坐標的變形技術。基于微分坐標的變形技術中的Laplacian變形技術是中最受關注的方法之一，它基于Laplacian框架，采用微分坐標表示實現三維表面網格重建，具有線性性質和平移不變性，能夠保持變形前后的網格的局部幾何細節，即能成功保持頂點之間的拓撲信息。然而，該變形技術運算復雜，且對圖像質量限制較高。

發明內容

本發明要解決的技術問題在于提供一種更為完善的三維人臉重建方法、裝置、設備及計算機可讀存儲介質。

本發明提供的三維人臉重建方法包括：

步驟101、獲取目標人臉的人臉參考圖像集，所述人臉參考圖像集包括至少兩幅人臉參考圖像；

步驟102、對所述人臉參考圖像集中各幅所述人臉參考圖像進行人臉特征點標定，各幅所述人臉參考圖像標定出q個特征點，q為大于或等于1的正整數；

步驟103、基于標定的特征點像素坐標對參考模型進行全局輪廓變形，得到全局輪廓形變后的初始人臉模型，所述參考模型為一個已知的三維人臉模型；

步驟104、對所述初級人臉模型采用基于法線的光度立體技術進行光度法線重建，估算得到所述目標人臉的目標人臉模型的表面法向量。