[發明專利]一種自動多視角人臉自拍圖像的三維人臉重建方法及系統

有效

• 申請號: 201510080860.5
• 申請日: 2015-02-15
• 公開（公告）號: CN104574432B
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 李靚
• 申請（專利權）人: 四川川大智勝軟件股份有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 四川力久律師事務所51221
• 代理人: 熊曉果,林輝輪

技術領域

本發明涉及計算機視覺領域，特別涉及一種自動多視角人臉自拍圖像的三維人臉重建方法及系統。

背景技術

人臉重建是三維重建的重要研究方向之一，在影視、游戲、三維人臉識別等領域有著廣泛的應用前景，受到計算機圖形學、計算機視覺、機器視覺、計算機輔助設計等領域研究者的重視。從數據采集的角度出發，三維人臉重建主要分為主動測距設備和被動成像設備。主動測距設備如激光掃描儀，能夠掃描得到靜態物體精確的三維信息，然而其價格昂貴、掃描時間長、掃描范圍有限，很難用于實時性要求較高的應用；相對的，深度攝像機能夠實時采集動態物體，然而其對應生成的深度圖分辨率低、精度低、噪聲大。被動成像設備使用最普遍的是攝像機，由于設備簡單價格低廉，且目前已存在大量二維人臉圖像，因此從多視角二維人臉圖像中恢復三維人臉結構的方法得到廣泛關注。由于人臉圖像紋理稀疏，因此需要解決特征點匹配過程中存在的二義性問題。

文獻【Y.Lin,G.Medioni,and J.Choi.Accurate 3d face reconstruction from weakly calibrated wide baseline images with profile contours.In Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on,pages 1490–1497.IEEE,2010.】提出一種弱標定條件下，基于寬基線的多視角人臉重建方法。該方法輸入五個不同姿態(0度正臉、正負45度、正負90度側臉)下的人臉圖像，。通過尋找任意三個相鄰視角下穩定的匹配點估計攝像機相對位置關系，再結合多視角顏色一致性、平滑性以及側面人臉輪廓信息分別在圓柱坐標系下水平、垂直方向建立基于體素的目標函數并求解。但是，實際應用中，自動獲取的側面輪廓往往無法滿足重建精度的要求；另一方面，從實驗結果看到，該方法重建的人臉模型在某些視角下存在較大形變。由于人臉圖像紋理特征稀疏，該類基于特征點匹配的方法在找不到對應點時便會失效。

文獻【H.Han and A.K.Jain.3d face texture modeling from uncalibrated frontal and profile images.In Biometrics:Theory,Applications and Systems (BTAS),2012 IEEE Fifth International Conference on,pages 223–230.IEEE,2012.】提出了一種基于兩幅圖像(如0度正臉和90度側臉)的三維人臉重建方法。該算法主要基于三維形變模型(3DMM)，并結合人臉標記點：首先利用正面人臉標記點估算形變和紋理參數；再進一步利用側面標記點進行模型修正。該算法同樣依賴于手動標記的側面人臉標記點；同時，重建出來的人臉模型在某些視角(如45度)下存在一定程度的形變。另外，該類基于3DMM的人臉重建方法需要結合一個對齊好的三維人臉數據庫，重建結果由人臉數據庫線性疊加得到，因此該類方法依賴于對齊好的先驗數據庫，且缺乏描述三維人臉細節的能力。

現有的基于多視角圖像的人臉重建方法的不足主要為：1)由于人臉圖像紋理特征稀疏的特殊性，基于傳統特征點匹配的方法在實際應用中不適用，很難用傳統的基于特征點匹配的方法來獲得稠密的三維數據；2)需要繁瑣的人工交互；3)依賴于外部三維人臉數據庫，且重建結果的精確度依賴于數據庫的豐富程度。

發明內容

本發明的目的在于克服現有技術中所存在的上述不足，提供一種自動多視角人臉自拍圖像的三維人臉重建方法及系統，其可重建出稠密、精細的三維人臉模型，同時該重建方法不依賴于外部數據庫，可實現全自動人臉重建，不要求用戶進行人工交互。

為了實現上述發明目的，本發明采用的技術方案是：一種自動多視角人臉自拍圖像的三維人臉重建方法，包括如下步驟：

步驟一、對同一個人的多個視角的人臉圖像自動定位標記點；

步驟二、根據定位出的標記點與參考人臉模型上的標記點建立目標函數求解攝像機參數Pi；其中所述目標函數為xi為第i個人臉圖像Ii上定位的標記點mi＝{x1,x2,…,xn}，Xi為參考人臉模型上的標記點Mi＝{X1,X2,…,Xn}，mi與Mi一一對應，參數Pi表示三維點到對應圖像的投影變換矩陣，n為標記點個數；

步驟三，建立重建目標函數并優化，使用多標簽圖像分割算法求解該目標函數得到三維人臉模型。