[發明專利]一種基于卷積神經網絡的三維人臉建模方法

在審

• 申請號: 202011195044.6
• 申請日: 2020-10-30
• 公開（公告）號: CN112288859A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 王曉華;盧迪;王文杰;張蕾;蘇澤斌
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/00;G06T7/33;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

本發明公開了一種基于卷積神經網絡的三維人臉建模方法，具體按照如下步驟實施：步驟1，使用Kinect相機分別從人臉的左側、右側和正前方采集人臉點云信息；步驟2，對步驟1采集到的人臉點云信息進行預處理，分割出目標物體點云，并對點云進行除噪和平滑；步驟3，采用基于卷積神經網絡的配準方法，得到三個方向的平移配準參數和三個方向的旋轉配準參數，實現點云的配準拼接；步驟4，利用泊松曲面重建法，對點云進行三維重建。本發明解決了現有技術中存在的點云數據采集受環境影響大、計算量大、配準效率低的問題。

技術領域

本發明屬于計算機視覺領域，涉及一種基于卷積神經網絡的三維人臉建模方法。

背景技術

隨著計算機視覺的飛速發展，和人臉三維數字化在醫療、影視動畫制作、人機交互等領域需求的不斷擴大，人臉三維建模越來越成為計算機視覺的研究熱點。一個快速、完整、精確的三維人臉重建的系統能夠廣泛的應用于各行各業，有效的推動產業智能化。

傳統雙目視覺的三維數字化通過雙目攝像機獲取圖像，提取圖像中被測物的表面紋理特征進行特征匹配，從而獲得點云圖，雖然成本低，但受環境光照和被測物體表面紋理復雜度的影響較大，點云密度低，三維建模粗糙。基于結構光的三維數字化雖然不受被測物體表面紋理復雜度的影響，但是受環境光影響較大。

發明內容

本發明的目的是提供一種基于卷積神經網絡的三維人臉建模方法，解決了現有三維重建技術中存在的受環境影響大，配準效率低的問題。

本發明所采用的技術方案是，一種基于卷積神經網絡的三維人臉建模方法，具體按照如下步驟實施：

步驟1，使用Kinect相機分別從人臉的左側、右側和正前方采集人臉點云信息；

步驟2，對步驟1采集到的人臉點云信息進行預處理，分割出目標物體點云，并對點云進行除噪和平滑；

步驟3，采用基于卷積神經網絡的配準方法，得到三個方向的平移配準參數和三個方向的旋轉配準參數，實現點云的配準拼接；

步驟4，利用泊松曲面重建法，對點云進行三維重建。

本發明的特點特點還在于，

步驟2具體為：

步驟2.1，對Z軸方向上的維度設置一定的深度距離閾值，將目標物點云與其他距離較遠的無用信息分割出來，表達式如下：

D(z)為分割后獲取的點云數據，若點在最大閾值Depth_Max和最小閾值Depth_Min之間，就分割出來，若在范圍之外就舍棄掉；

步驟2.2，將步驟2.1分割出來的點云通過快速雙邊濾波法，進行高斯線性卷積和雙線性插值，對點云數據進行除噪和平滑。

步驟2.2具體如下：

步驟2.2.1，對步驟2.1分割出來的每一個點云數據點p＝(x,y,z)，求出它的m個鄰域點q_i(x_i,y_i,z_i)及其深度值d_i(u,v)；

步驟2.2.2，計算光順濾波函數G_S和G_r以及三維高斯核函數G，計算公式如下：

G＝G_s*G_r (4)

其中，G_s為空間鄰近度因子，G_r為深度相似性因子，σ_s和σ_r分別為空間鄰域標準差和深度標準差；