[發明專利]3D人臉識別方法、裝置及系統

有效

• 申請號: 202011127210.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112364711B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 郭沛;夏爐系;張滸;聶蕓蕓;苗應亮
• 申請（專利權）人: 盛視科技股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/64;G06T17/20
• 代理公司: 深圳市深軟翰琪知識產權代理有限公司 44380
• 代理人: 吳雅麗

1.一種3D人臉識別方法，其特征在于，所述方法包括：

識別人臉圖像中的鼻尖空間位置以作為預設半徑的球形區域的球心；

確定所述球形區域內人臉圖像點云的三維人臉姿態坐標軸，對所述球形區域內人臉圖像進行旋轉處理使得以雙眼空間位置的連線與所述三維人臉姿態坐標軸的X軸平行；以雙眼空間位置及嘴部中心位置三點確定一作用平面，對所述球形區域內人臉圖像點云進行旋轉處理以使所述作用平面與所述三維人臉姿態坐標軸的XY平面平行，獲取當前Pitch、Yaw、Roll旋轉角度值；

利用Pitch、Yaw、Roll旋轉角度值計算出旋轉后的人臉曲面點云，所述利用Pitch、Yaw、Roll旋轉角度值計算出旋轉后的人臉曲面點云包括：

其中，P₀表示旋轉后在三維人臉姿態坐標軸中的新位置；P表示旋轉前在三維人臉姿態坐標軸中的原位置；R_X表示Pitch旋轉角度值、R_y表示Yaw旋轉角度值、R_Z表示Roll旋轉角度值；

求取所述人臉曲面點云中的每個像素點與所述像素點的周圍點構成的面的法向量；

以所述法向量與水平面的余弦值作為第一通道值、所述法向量與豎直平面的余弦值作為第二通道值、深度信息作為第三通道值，將所述第一通道值、所述第二通道值、所述第三通道值同時投影至成像平面；

將所述第一通道值、所述第二通道值、所述第三通道值的像素值映射至預設顏色范圍內以得到待識別人臉圖像；

利用卷積神經網絡對所述待識別人臉圖像在多個深度下進行特征提取，并對在多個深度下進行特征提取得到的特征圖形進行堆疊處理以得到人臉特征圖像；

將所述人臉特征圖像與預設人臉特征圖像庫進行匹配。

2.根據權利要求1所述的3D人臉識別方法，其特征在于，所述利用卷積神經網絡對所述待識別人臉圖像在多個深度下進行特征提取，并對在多個深度下進行特征提取得到的特征圖形進行堆疊處理以得到人臉特征圖像包括：

利用卷積神經網絡對所述待識別人臉圖像在多個深度下進行空間特征信息提取、紋理信息提取得到的特征圖像，并對所述特征圖像分別進行堆疊及融合處理以得到人臉特征圖像。

3.根據權利要求1所述的3D人臉識別方法，其特征在于，所述預設半徑為八厘米。

4.根據權利要求1所述的3D人臉識別方法，其特征在于，在所述識別人臉圖像中的鼻尖空間位置以作為預設半徑的球形區域的球心之后，所述方法還包括：

對所述球形區域內進行離群點剔除處理無效人臉圖像點云以得到待處理人臉圖像點云；

確定所述待處理人臉圖像點云的三維人臉姿態坐標軸，以雙眼空間位置及嘴部中心位置三點確定一作用平面，對所述待處理人臉圖像點云進行旋轉處理以使所述作用平面與所述三維人臉姿態坐標軸的XY平面平行，獲取當前Pitch、Yaw、Roll旋轉角度值。

5.根據權利要求1所述的3D人臉識別方法，其特征在于，在所述利用Pitch、Yaw、Roll旋轉角度值計算出旋轉后的人臉曲面點云之后，所述方法還包括：

以人臉中心為對稱軸進行填充對所述人臉曲面點云中的點云裂縫進行處理以得到填充后的所述人臉曲面點云；

對填充后的所述人臉曲面點云進行中值濾波處理以得到滿足預設平滑度的所述人臉曲面點云；

所述求取所述人臉曲面點云中的每個像素點與所述像素點的周圍點構成的面的法向量包括：

求取預設平滑度的所述人臉曲面點云中的每個像素點與所述像素點的周圍點構成的面的法向量。