[發明專利]一種基于兩張照片的真實感三維人臉重建方法

有效

• 申請號: 201810379827.6
• 申請日: 2018-04-25
• 公開（公告）號: CN108564619B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 姚俊峰;黃萍;趙恒恒
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T15/00;G06T19/20
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種基于兩張照片的真實感三維人臉重建方法，其特征在于包括如下步驟：

步驟1、3D建模師根據真實的人臉參數創建不同臉型的3D人頭模型，并展好各人頭模型的uv，創建標準人臉貼圖，構建人頭數據庫；

隨機選取預置數量的男性人臉正面照片和女性人臉正面照片，手動標記每張照片中人臉的N個特征點，并將上述人臉正面照片及對應的標記信息作為訓練集用于模型訓練，得到用于正面人臉特征點檢測的主動形狀模型ASM檢測器，用于自動檢測人臉正面照片上的特征點；

步驟2、用戶輸入兩張人臉照片，一張正面，一張側面，以證件照標準為輸入照片的要求，調整人臉照片使得用戶界面中的標尺位于人臉照片的合適位置以完成歸一化的處理；

步驟3、特征點檢測：

利用步驟1訓練好的ASM檢測器檢測出當前輸入的人臉正面照片上的N個特征點；對于當前輸入的人臉側面照片，根據從人臉正面照片得到的N個特征點的分布比例關系進行人臉側面照片的特征點的初步生成；

步驟4、特征點調整：

用戶對人臉正面照片上檢測后自動生成的特征點的位置進行判斷，調整位置有誤的特征點，以獲得與照片相符的有效特征點集F；

步驟5、根據人臉正面照片的有效特征點集F，與人頭數據庫中的3D人頭模型進行臉型匹配，選取出最相似臉型的3D人頭模型：

步驟6、根據人臉正面照片的有效特征點集F，對步驟5選取的3D人頭模型進一步完成臉部五官的局部變形，得到3D人頭：

變形前的3D人頭投影上的每個特征點都能通過一個變換矩陣變換到輸入的人臉照片上對應的特征點的位置上，而2D空間中的變換矩陣也可以反投射到3D空間中，從而指導3D人頭模型完成變形；

步驟7、根據人臉側面照片的有效特征點集，對步驟6得到的3D人頭做細節調整；

步驟8、紋理創建：

將輸入的人臉正面照片和步驟5選取出最相似臉型的3D人頭模型對應的步驟1提前創建好的標準人臉貼圖都劃分成相同數量的若干個小塊，根據有效特征點集F找到輸入的人臉正面照片和該標準人臉貼圖上每一個小塊的對應關系，從輸入的人臉正面照片上抽取與有效特征點集F對應的小塊像素填充到該標準人臉貼圖上，完成標準人臉貼圖上與有效特征點集F對應的人臉區域的填充，剩余區域則保留該標準人臉貼圖的內容；

步驟9、紋理映射關系創建：

步驟7中經過細節調整后的3D人頭上的第i個頂點v_i坐標[x_i,y_i,z_i]與其紋理坐標[u_i,v_i]滿足[x_i,y_i,z_i]·T＝[u_i,v_i]，將N個特征點分別代入，即可通過最小二乘法求解出T,再對剩余的頂點分別進行T變換即可得到每個頂點坐標對應的紋理坐標；

步驟10、渲染與展示：

利用OpenGL繪制渲染最終3D人頭模型，用戶通過鼠標操作實現對最終3D人頭模型的縮放、平移和旋轉操作，實現全方位查看。

2.根據權利要求1所述的一種基于兩張照片的真實感三維人臉重建方法，其特征在于：所述的ASM算法使用一種主動形狀模型來擬合照片中人臉的輪廓線，包括初始化操作和搜索過程，在初始化操作過程中，先粗略確定模型的尺度和偏移，要求輸入的人臉正面照片需要滿足證件照標準，通過這個約束條件來減少后續搜索子空間的范圍，使其收斂于一個正確的形狀和位置，方便輸入照片和3D人臉特征點之間的比較，另外通過sobel邊緣檢測獲得眼角點的位置和其他邊緣可以提高估計的精度。