[發明專利]一種人臉識別方法、裝置及電子設備

在審

• 申請號: 201910093662.0
• 申請日: 2019-01-30
• 公開（公告）號: CN109670487A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 彭菲;黃磊;王朋遠;張健
• 申請（專利權）人: 漢王科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06T17/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種人臉識別方法，其特征在于，包括：

獲取待識別人臉的人臉圖像對，所述人臉圖像對包括可見光圖像和深度圖像；

確定所述深度圖像中的人臉關鍵點；

根據所述深度圖像中的所述人臉關鍵點對所述深度圖像進行三維重建，構建人臉點云；

通過預設第一網絡模型基于所述人臉點云獲取所述待識別人臉的三維特征，以及，通過預設第二網絡模型基于所述可見光圖像獲取所述待識別人臉的二維特征；

根據所述三維特征和所述二維特征對所述待識別人臉進行人臉識別。

2.根據權利要求1所述的方法，其特征在于，所述人臉關鍵點包括鼻尖，所述根據所述深度圖像中的所述人臉關鍵點對所述深度圖像進行三維重建，構建人臉點云的步驟，包括：

根據所述深度圖像中人臉區域內與所述鼻尖的歐式距離小于預設距離閾值的像素點重建三維點云，確定人臉點云。

3.根據權利要求2所述的方法，其特征在于，所述人臉關鍵點還包括兩個瞳孔和兩個嘴角，所述根據所述深度圖像中人臉區域內與所述鼻尖的歐式距離小于預設距離閾值的像素點重建三維點云，確定人臉點云的步驟之前，還包括：

根據所述鼻尖、兩個瞳孔和兩個嘴角中的任意一個或多個人臉關鍵點，確定所述深度圖像中的人臉區域。

4.根據權利要求1所述的方法，其特征在于，所述根據所述三維特征和所述二維特征對所述待識別人臉進行人臉識別的步驟，包括：

通過將所述待識別人臉的所述三維特征和所述二維特征與預設人臉庫中的各人臉模版的三維特征和二維特征進行對應匹配，分別確定所述待識別人臉與各所述人臉模版的三維特征相似度得分和二維特征相似度得分；

對于每個所述人臉模版，將所述待識別人臉與所述人臉模版的三維特征相似度得分和二維特征相似度得分進行加權運算，確定所述待識別人臉與所述人臉模版的人臉匹配度得分。

5.根據權利要求1所述的方法，其特征在于，所述確定所述深度圖像中的人臉關鍵點的步驟，包括：

確定所述可見光圖像中的人臉關鍵點；

根據所述可見光圖像和所述深度圖像的像素點對應關系，將所述可見光圖像中的人臉關鍵點映射到所述深度圖像中，確定所述深度圖像中的所述人臉關鍵點。

6.根據權利要求1所述的方法，其特征在于，所述預設第一網絡模型為點云卷積神經網絡。

7.一種人臉識別裝置，其特征在于，包括：

可見光圖像和深度圖像獲取模塊，用于獲取待識別人臉的人臉圖像對，所述人臉圖像對包括可見光圖像和深度圖像；

人臉關鍵點確定模塊，用于確定所述深度圖像中的人臉關鍵點；

人臉點云構建模塊，用于根據所述深度圖像中的所述人臉關鍵點對所述深度圖像進行三維重建，構建人臉點云；

三維特征獲取模塊，用于通過預設第一網絡模型基于所述人臉點云獲取所述待識別人臉的三維特征；以及，

二維特征獲取模塊，用于通過預設第二網絡模型基于所述可見光圖像獲取所述待識別人臉的二維特征；

人臉識別模塊，用于根據所述三維特征和所述二維特征對所述待識別人臉進行人臉識別。

8.根據權利要求7所述的裝置，其特征在于，所述人臉點云構建模塊進一步用于：

根據所述深度圖像中人臉區域內與所述鼻尖的歐式距離小于預設距離閾值的像素點重建三維點云，確定人臉點云。

9.根據權利要求8所述的裝置，其特征在于，所述人臉關鍵點還包括兩個瞳孔和兩個嘴角，所述根據所述深度圖像中人臉區域內與所述鼻尖的歐式距離小于預設距離閾值的像素點重建三維點云，確定人臉點云之前，所述人臉點云構建模塊還用于：

根據所述鼻尖、兩個瞳孔和兩個嘴角中的任意一個或多個人臉關鍵點，確定所述深度圖像中的人臉區域。