[發明專利]人臉點云模型生成方法及裝置、存儲介質、電子設備

在審

• 申請號: 202010734492.2
• 申請日: 2020-07-27
• 公開（公告）號: CN112749611A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 林祥凱;王盛;暴林超
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T17/20
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 葉虹

1.一種人臉點云模型生成方法，其特征在于，包括：

獲取目標對象對應的臉部特征圖像；其中，所述臉部特征圖像包括人臉特征圖像和所述人臉特征圖像對應的深度圖像；

對所述人臉特征圖像進行關鍵幀篩選處理，確定所述人臉特征圖像中的關鍵姿態圖像；

通過所述關鍵姿態圖像對所述關鍵姿態圖像對應的所述深度圖像進行裁剪處理，生成目標深度圖像；

根據所述關鍵姿態圖像以及所述目標深度圖像進行點云融合，生成所述目標對象對應的人臉點云模型。

2.根據權利要求1所述的人臉點云模型生成方法，其特征在于，獲取目標對象對應的臉部特征圖像，包括：

通過固定采集角度的方式，獲取轉動臉部區域的所述目標對象對應的臉部特征圖像；或者

通過轉動采集角度的方式，獲取固定臉部區域的所述目標對象對應的臉部特征圖像。

3.根據權利要求1所述的人臉點云模型生成方法，其特征在于，在獲取目標對象對應的臉部特征圖像之后，所述方法還包括：

對所述臉部特征圖像進行預處理；

所述對所述臉部特征圖像進行預處理，包括：

對所述深度圖像進行保邊濾波處理，以去除所述深度圖像中的噪聲信息；以及

對所述人臉特征圖像進行非關鍵幀過濾處理，以過濾所述人臉特征圖像中的眨眼圖像。

4.根據權利要求3所述的人臉點云模型生成方法，其特征在于，對所述人臉特征圖像進行非關鍵幀過濾處理，包括：

對所述人臉特征圖像進行人臉標志點檢測，確定所述人臉特征圖像對應的二維標志點坐標；其中，所述二維標志點坐標包括眼部標志點坐標；

根據所述眼部標志點坐標確定眼睛睜開程度值；

將所述眼睛睜開程度值小于預設睜眼閾值的所述人臉特征圖像確定為眨眼圖像，并對所述眨眼圖像進行過濾處理。

5.根據權利要求1所述的人臉點云模型生成方法，其特征在于，在對所述人臉特征圖像進行關鍵幀篩選處理，確定所述人臉特征圖像中的關鍵姿態圖像之前，所述方法還包括：

確定所述人臉特征圖像對應的正向臉部圖像，并確定所述正向臉部圖像對應的三維關鍵點坐標；

根據所述人臉特征圖像對應的二維標志點坐標與所述三維關鍵點坐標進行姿態角計算，得到所述人臉特征圖像對應的姿態角；其中，所述姿態角包括左右偏航角和俯仰角；

通過所述左右偏航角和所述俯仰角將所述人臉特征圖像分為左轉臉部圖像序列、右轉臉部圖像序列和抬頭圖像序列。

6.根據權利要求5所述的人臉點云模型生成方法，其特征在于，對所述人臉特征圖像進行關鍵幀篩選處理，確定所述人臉特征圖像中的關鍵姿態圖像，包括：

對所述左轉臉部圖像序列、所述右轉臉部圖像序列和所述抬頭圖像序列進行關鍵幀篩選處理，確定所述人臉特征圖像中的關鍵姿態圖像；其中，所述關鍵姿態圖像包括左轉臉部圖像、右轉臉部圖像和抬頭圖像。

7.根據權利要求6所述的人臉點云模型生成方法，其特征在于，對所述左轉臉部圖像序列、所述右轉臉部圖像序列和所述抬頭圖像序列進行關鍵幀篩選處理，包括：

對所述左轉臉部圖像序列中右側臉部區域對應的三維關鍵點坐標與所述正向臉部圖像中右側臉部區域對應的三維關鍵點坐標進行隨機抽樣一致性計算，得到所述左轉臉部圖像序列對應的第一歐拉角；

根據所述第一歐拉角選取所述左轉臉部圖像序列中的左轉臉部圖像。

8.根據權利要求6所述的人臉點云模型生成方法，其特征在于，對所述所述右轉臉部圖像序列進行關鍵幀篩選處理，包括：

對所述右轉臉部圖像序列中左側臉部區域對應的三維關鍵點坐標與所述正向臉部圖像中左側臉部區域對應的三維關鍵點坐標進行隨機抽樣一致性計算，得到所述右轉臉部圖像序列對應的第二歐拉角；

根據所述第二歐拉角選取所述右轉臉部圖像序列中的右轉臉部圖像。