[發明專利]三維人臉重建方法、裝置、介質以及設備

在審

• 申請號: 201910335714.0
• 申請日: 2019-04-24
• 公開（公告）號: CN110060336A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 王行;徐康;李驪;周曉軍;盛贊;李朔;楊淼
• 申請（專利權）人: 北京華捷艾米科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種三維人臉重建方法，其特征在于，包括：

獲取視頻流，所述視頻流包括多幀；

針對所述多幀，按照幀順序依次對相鄰兩幀進行點云配準融合迭代處理得到多幀對應的點云融合數據，針對所述多幀對應的點云融合數據構建三維人臉模型；

其中，一次迭代過程中相鄰兩幀的點云配置融合過程為：

獲取待配準的兩幀各自對應的點云，作為第一組點云和第二組點云；

確定第一組點云中特征點的屬性向量，以及確定第二組點云中特征點的屬性向量，所述特征點是指點云所形成的曲面中的凹點或者凸點，所述特征點的屬性向量包括特征點對應的平均曲率和高斯曲率；

根據所述第一組點云中特征點的屬性向量和所述第二組點云中特征點的屬性向量，對所述第一組點云和所述第二組點云進行粗配準得到粗配準初始值；

在粗配準之后，通過點云精準配準算法基于粗配準初始值對所述第一組點云和所述第二組點云進行精配準；

在精配準之后，對所述第一組點云和所述第二組點云進行點云融合得到點云融合數據。

2.根據權利要求1所述的方法，其特征在于，所述獲取待配準的兩幀各自對應的點云，包括：

獲取視頻流中第i幀和第i+1幀各自對應的深度圖像以及彩色圖像；所述i取值為大于或者等于1的正整數；

對視頻流中第i幀和第i+1幀各自對應的彩色圖像分別進行人臉檢測，獲得第i幀的人臉區域和第i+1幀的人臉區域；

基于第i幀的人臉區域和第i+1幀的人臉區域，根據RGB-D傳感器的內外參數將第i幀的深度圖像和第i+1幀的深度圖像分別轉換成人臉的點云數據，得到第i幀的點云和第i+1幀的點云，作為待配準的兩幀各自對應的點云。

3.根據權利要求2所述的方法，其特征在于，針對一幀的彩色圖像，通過以下方式進行人臉檢測，得到人臉區域：

通過人臉檢測模型從彩色圖像中提取初始人臉區域；

通過高斯膚色模型確定彩色圖像中的膚色像素，基于膚色像素從所述初始人臉區域中剔除非人臉的部分，得到人臉區域。

4.根據權利要求1所述的方法，其特征在于，在所述確定第一組點云中特征點的屬性向量，以及確定第二組點云中特征點的屬性向量之前，所述方法還包括：

采用自適應雙邊濾波算法對所述第一組點云和所述第二組點云分別進行去噪處理。

5.根據權利要求1所述的方法，其特征在于，所述根據所述第一組點云中特征點的屬性向量和所述第二組點云中特征點的屬性向量，對所述第一組點云和所述第二組點云進行粗配準得到粗配準初始值，包括：

通過相似度度量函數確定所述第一組點云與所述第二組點云中特征點的屬性向量的相似度；

基于所述相似度，通過單位四元數算法求解得到使得所述第一組點云和所述第二組點云配準的旋轉矩陣和平移矩陣，將所述旋轉矩陣和所述平移矩陣，作為粗配準初始值。

6.根據權利要求1所述的方法，其特征在于，通過以下方式進行所述精配準：

基于粗配準初始值，通過迭代最近點算法基于最小二乘法對誤差函數進行最小化處理，迭代直到誤差小于預設閾值。

7.根據權利要求1所述的方法，其特征在于，所述基于所述多幀對應的點云融合數據構建三維人臉模型，包括：

將所述多幀對應的點云融合數據作為一個數據場，將所述數據場中八個位置相鄰的點云融合數據分別存放在一個體元的八個頂點處；

計算該體元中十二條邊和等值面的交點，并構造體元中的三角面片，連接所述數據場中所有體元的三角面片，構成等值面；

合并所有立方體的等值面生成三維人臉模型。