[發明專利]三維人臉重建方法、裝置、介質以及設備

在審

• 申請號: 201910335714.0
• 申請日: 2019-04-24
• 公開（公告）號: CN110060336A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 王行;徐康;李驪;周曉軍;盛贊;李朔;楊淼
• 申請（專利權）人: 北京華捷艾米科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本申請公開了一種三維人臉重建方法，包括：獲取待配準的兩幀各自對應的點云，作為第一組點云和第二組點云；確定第一組點云和第二組點云中特征點的屬性向量，特征點是指點云所形成的曲面中的凹點或者凸點，特征點的屬性向量包括特征點對應的平均曲率和高斯曲率；根據第一組點云和第二組點云中特征點的屬性向量，對第一組點云和第二組點云進行粗配準得到粗配準初始值；通過點云精準配準算法基于粗配準初始值對第一組點云和第二組點云進行精配準，由于粗配準初始提供值為精配準提供了較好的迭代初始位置，避免了配準陷入局部最優的問題，提高了配準精度，進而提高了最終構建的三維人臉模型的精度。本申請還公開了對應的裝置、設備及介質。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種三維人臉重建方法、裝置、計算機可讀存儲介質以及設備。

背景技術

三維人臉重建技術是計算機視覺領域的一大研究熱點，其在人臉識別、人臉替換、人臉驅動以及人臉編輯等各個方面都有著廣泛的應用。

目前比較常用的三維人臉重建技術是主動式三維重建技術，發明人發現現有技術中的主動式三維重建技術在應用過程中，點云配準容易陷入局部最優的問題，導致最終的重建的三維人臉的精度不高。

發明內容

本申請提供了一種三維人臉重建方法，其通過包括特征點對應的平均曲率和高斯曲率在內的屬性向量對待配準的兩幀各自對應的點云進行粗配準，為后續點云精配準提供了較好的迭代初始位置，降低了陷入局部最優解的概率，更加利于函數趨于最優解，提高了算法的精度和效率。本申請還提供了對應的裝置、設備、存儲介質以及計算機程序等相關產品。

本申請第一方面提供了一種三維人臉重建方法，包括：

獲取視頻流，所述視頻流包括多幀；

針對所述多幀，按照幀順序依次對相鄰兩幀進行點云配準融合迭代處理得到多幀對應的點云融合數據，針對所述多幀對應的點云融合數據構建三維人臉模型；

其中，一次迭代過程中相鄰兩幀的點云配置融合過程為：

獲取待配準的兩幀各自對應的點云，作為第一組點云和第二組點云；

確定第一組點云中特征點的屬性向量，以及確定第二組點云中特征點的屬性向量，所述特征點是指點云所形成的曲面中的凹點或者凸點，所述特征點的屬性向量包括特征點對應的平均曲率和高斯曲率；

根據所述第一組點云中特征點的屬性向量和所述第二組點云中特征點的屬性向量，對所述第一組點云和所述第二組點云進行粗配準得到粗配準初始值；

在粗配準之后，通過點云精準配準算法基于粗配準初始值對所述第一組點云和所述第二組點云進行精配準；

在精配準之后，對所述第一組點云和所述第二組點云進行點云融合得到點云融合數據。

可選的，所述獲取待配準的兩幀各自對應的點云，包括：

獲取視頻流中第i幀和第i+1幀各自對應的深度圖像以及彩色圖像；所述i取值為大于或者等于1的正整數；

對視頻流中第i幀和第i+1幀各自對應的彩色圖像分別進行人臉檢測，獲得第i幀的人臉區域和第i+1幀的人臉區域；

基于第i+1幀的人臉區域和第i+1幀的人臉區域，根據RGB-D傳感器的內外參數將第i幀的深度圖像和第i+1幀的深度圖像分別轉換成人臉的點云數據，得到第i幀的點云和第i+1幀的點云，作為待配準的兩幀各自對應的點云。

可選的，針對一幀的彩色圖像，通過以下方式進行人臉檢測，得到人臉區域：

通過人臉檢測模型從彩色圖像中提取初始人臉區域；

通過高斯膚色模型確定出彩色圖像中的膚色像素，基于膚色像素從所述初始人臉區域中剔除非人臉的部分，得到人臉區域。