[發(fā)明專利]一種基于卷積神經網絡的三維人臉建模方法

在審

• 申請?zhí)枺?/td>: 202011195044.6
• 申請日: 2020-10-30
• 公開（公告）號: CN112288859A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設計）人: 王曉華;盧迪;王文杰;張蕾;蘇澤斌
• 申請（專利權）人: 西安工程大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/00;G06T7/33;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

1.一種基于卷積神經網絡的三維人臉建模方法，其特征在于，具體按照如下步驟實施：

步驟1，使用Kinect相機分別從人臉的左側、右側和正前方采集人臉點云信息；

步驟2，對步驟1采集到的人臉點云信息進行預處理，分割出目標物體點云，并對點云進行除噪和平滑；

步驟3，采用基于卷積神經網絡的配準方法，得到三個方向的平移配準參數和三個方向的旋轉配準參數，實現點云的配準拼接；

步驟4，利用泊松曲面重建法，對點云進行三維重建。

2.根據權利要求1所述的一種基于卷積神經網絡的三維人臉建模方法，其特征在于，所述步驟2具體為：

步驟2.1，對Z軸方向上的維度設置一定的深度距離閾值，將目標物點云與其他距離較遠的無用信息分割出來，表達式如下：

D(z)為分割后獲取的點云數據，若點在最大閾值Depth_Max和最小閾值Depth_Min之間，就分割出來，若在范圍之外就舍棄掉；

步驟2.2，將步驟2.1分割出來的點云通過快速雙邊濾波法，進行高斯線性卷積和雙線性插值，對點云數據進行除噪和平滑。

3.根據權利要求2所述的一種基于卷積神經網絡的三維人臉建模方法，其特征在于，所述步驟2.2具體如下：

步驟2.2.1，對步驟2.1分割出來的每一個點云數據點p＝(x,y,z)，求出它的m個鄰域點q_i(x_i,y_i,z_i)及其深度值d_i(u,v)；

步驟2.2.2，計算光順濾波函數G_S和G_r以及三維高斯核函數G，計算公式如下：

G＝G_s*G_r (4)

其中，G_s為空間鄰近度因子，G_r為深度相似性因子，σ_s和σ_r分別為空間鄰域標準差和深度標準差；

步驟2.2.3，計算每個單位區(qū)域像素深度值之和WD和W,計算公式如下：

其中，d_i(u,v)為點p＝(x,y,z)鄰域的深度值，鄰域三維空間合集為R；

步驟2.2.4，將WD和W分別與三維高斯核函數G進行高斯線性卷積，并進行雙線性插值，具體公式如下：

其中，interpolate為插值函數，求出濾波后的點云數據D_b(x,y)，實現三維點云數據的平滑。

4.根據權利要求1所述的一種基于卷積神經網絡的三維人臉建模方法，其特征在于，所述步驟3具體為：

步驟3.1，構造卷積神經網絡的點云配準模型；

步驟3.2，用訓練數據訓練卷積神經網絡的點云配準模型；

步驟3.3，將步驟2得到的點云數據轉化為深度圖像數據，運用訓練好的卷積神經網絡的點云配準模型進行配準拼接。