[發明專利]一種用于拍照手機的高分辨率三維人臉掃描方法

有效

• 申請號: 201110404815.2
• 申請日: 2011-12-08
• 公開（公告）號: CN102521586A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 高巍;沈曄湖;朱怡;魏磊;貊睿;彭振云
• 申請（專利權）人: 中國科學院蘇州納米技術與納米仿生研究所
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06T17/00
• 代理公司: 蘇州慧通知識產權代理事務所(普通合伙) 32239
• 代理人: 安紀平

技術領域

本發明涉及計算機視覺和計算機圖形學領域，尤其涉及一種使用普通拍照手機完成高分辨率三維人臉掃描的方法。

背景技術

三維人臉掃描在諸如人機交互、影視制作、游戲娛樂、視頻通信等領域具有廣泛的應用。但目前，該任務的完成需要借助于大型、昂貴的設備或高復雜度、高交互操作要求的重建算法。普通消費者在日常生活中還不能便捷地實現三維人臉掃描。

當前的三維人臉掃描方法主要有兩大類，第一類是借助激光掃描儀或深度相機等設備，直接采集掃描對象的三維信息，第二類是從一幅或多幅二維人臉圖像中重建出三維信息。通過激光掃描儀采集的三維人臉具有圖像精確的特征，但實際使用上也存在不少問題，問題之一是設備龐大且昂貴，很難進入日常生活。此外，掃描需要用戶全程做長時間配合，并且頭部必須保持不動。

在公開號為CN101996416A，名稱為“3D人臉捕獲方法和設備”的中國專利中公開了一種使用CCD相機和深度相機完成三維人臉掃描的方法，同激光掃描儀相比，深度相機的體積和費用都減少很多。但其功能單一，且價格仍比較高，普通消費者也難以接受的。另外，TOF(Time-of-Flight，光照時間)相機在室外環境或玻璃背景等情況下很難采集到非常準確的數據。同時，TOF相機的分辨率也比較低。

在專利公開號為US2009052748的美國專利中公開了一種從2D表示構建人臉的3D表示的方法和系統，其揭示了從單幅中性表情正面人臉圖像中重建三維人臉。但由單幅圖重建三維信息是不適定問題，其結果導致重建的三維人臉往往不穩健。同時，單幅正面圖像也不能較好的解決被遮擋區域的紋理映射問題。

在公開號為CN102222363A的中國專利中，公開了一種從人臉圖像快速構建高精度個性化人臉模型的方法，其揭示了使用從固定角度拍攝的5張圖像實現三維人臉的重建。固定角度拍攝對用戶提出了較高的交互要求。同時，重建過程中還需要用戶手工標定41個特征點位置和特征點對應關系。此外，該方法僅僅依賴于41個特征點實現重建，而忽略了光照信息和反射率信息。這導致前期手工標定的誤差會對重建結果產生非常大的影響，進而導致高精度的三維掃描在實際使用中很難被實現。

發明內容

本發明的目的是為克服現有技術的不足，提供一種新的用于手機的高分辨率三維人臉掃描方法，其通過日常拍照手機實現三維人臉的高分辨率的掃描，且具有成本低、分辨率高、速度快的優點。

為實現上述目的，本發明提出如下技術方案：一種用于拍照手機的高分辨率三維人臉掃描方法，包括以下步驟：

第一步，依據三維人臉數據庫構建三維人臉參考模板；

第二步，通過拍照手機完成掃描對象的數據采集；

第三步，對輸入的圖像進行預處理，包括特征點定位和伽馬校正；

第四步，粗重建三維人臉，以完成姿態歸一化和光照、形狀、反射率的初始值估計；

第五步，以粗重建結果為初始值，細重建三維人臉，對光照、形狀、反射率進行更為精細的優化；

第六步，細重建完成后，以頂點法向量的形式存儲形狀信息。

其中，所述第一步中三維人臉參考模板的構建包括：

1)從三維人臉數據庫中篩選出用于計算參考模板的數據集；

2)將將笛卡爾坐標系下的三維人臉數據集展開到柱面坐標系下，得到每個三維人臉三通道的紋理圖像和單通道的形狀圖像；

3)將三維描述的人臉數據集轉換成二維描述，在二維數據集上使用光流技術，完成各人臉的像素級稠密對齊；

4)在對齊后的二維人臉數據集上，計算平均人臉圖像并標定出特征點。

所述三維描述的人臉數據集轉換成二維描述是通過三通道紋理圖像和單通道形狀圖像合并得到一幅四通道圖像而完成的。

所述平均人臉圖像的計算是在對齊后的二維人臉數據集上，計算平均圖像，然后，將四通道平均圖像重新分解為三通道紋理圖像和單通道形狀圖像，最后，將柱面坐標系下的紋理圖像和形狀圖像投影回笛卡爾坐標系，從而得到平均人臉的三維描述。

所述第四步中的姿態歸一化是姿態參數通過仿射攝像機模型描述為：

其中·x，y，z·為參考模板上的特征點，·u，v·為輸入圖像上的特征點，·t₁，t₂·為平移向量，M_2·3是包含旋轉、縮放和投影的2×3線性映射矩陣。