[發明專利]人臉識別的方法和系統

在審

• 申請號: 202210183813.3
• 申請日: 2022-02-28
• 公開（公告）號: CN114581978A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 王澤榮;馬晨光
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/80;G06V10/82;G06V10/774;G06K9/62
• 代理公司: 北京市一法律師事務所 11654
• 代理人: 李琳娜;劉榮娟

本說明書提供的人臉識別的方法和系統，基于特征融合模型將人臉圖像的二維特征和三維特征進行融合，降低融合后的特征所占用的存儲空間，在不增加總的存儲空間的情況下增加數據庫中存儲的特征數量，提升用戶覆蓋率的同時降低設備成本。所述特征融合模型是基于深度圖像提取的采集三維特征以及基于二維特征估計的估計三維特征共同訓練得到的，從而提升模態缺失場景的特征融合性能，提升人臉識別效率和準確率。

技術領域

本說明書涉及人臉識別領域，尤其涉及一種人臉識別的方法和系統。

背景技術

隨著計算機和互聯網技術的發展，很多場景采用人臉識別的方式對用戶進行身份驗證，比如，刷臉支付、刷臉門禁等。人臉識別通常包括兩種形式，二維人臉識別和三維人臉識別。二維人臉識別系統的識別率往往因光照、背景、姿態、清晰度等條件的影響而有所下降。三維信息受光照、背景、清晰度等影響較小，但是在一些特殊場景中(比如，強光環境、用戶距離攝像頭較遠時)，三位采集設備所采集到的三維人臉圖像的成像效果往往較差。因此，二維人臉識別和三維人臉識別相結合的多模態人臉識別算法應運而生。

但是，現有技術中，多模態人臉識別算法通常是在數據庫中同時存儲人臉圖像的二維特征和三維特征，并在識別時對待識別人臉的二維特征和三維特征分別進行識別，并結合二維特征和三維特征的識別結果確定最終的識別結果。這種方法會導致數據庫中每個用戶人臉對應的特征數據所占用的存儲空間增加，從而導致數據庫的存儲數量下降。特別是在客戶端進行識別時，由于客戶端的存儲空間有限，單個人臉的特征數據增加會導致客戶端中存儲的人臉特征的數量降低，嚴重限制了本地數據庫中存儲的特征數量，從而導致用戶覆蓋率降低。同時，分別對二維特征和三維特征進行識別會增加計算量，使得人臉識別耗時增加，用戶體驗較差。而且，這種方法對于客戶端的采集設備要求較高，對于沒有配備三維采集設備的客戶端，無法采集用戶的三維特征，從而導致無法完成三維人臉識別。

因此，需要提供一種存儲空間更小、計算量更小以及精度更高的人臉識別的方法和系統。

發明內容

本說明書提供一種存儲空間更小、計算量更小以及精度更高的人臉識別的方法和系統。

第一方面，本說明書提供一種人臉識別的方法，包括：獲取目標人臉的目標圖像，所述目標圖像包括二維圖像或所述二維圖像以及深度圖像；基于所述目標圖像，確定所述目標人臉的二維特征和三維特征，所述三維特征包括采集三維特征和估計三維特征中的一種，所述采集三維特征包括基于所述深度圖像獲取的深度特征，所述估計三維特征包括基于所述二維特征估計得到的深度特征；基于預先訓練好的特征融合模型對所述二維特征與所述三維特征進行特征融合，確定目標融合特征，所述特征融合模型是基于樣本用戶人臉的所述二維特征、所述采集三維特征以及所述估計三維特征訓練得到的；以及基于所述目標融合特征識別所述目標人臉。

在一些實施例中，述獲取目標人臉的目標圖像，包括：從客戶端的圖像采集設備獲取所述目標圖像，其中，所述圖像采集設備包括二維圖像采集設備或二維圖像采集設備和深度圖像采集設備，所述二維圖像采集設備被配置為采集所述二維圖像，所述深度圖像采集設備被配置為采集所述深度圖像。

在一些實施例中，所述基于所述目標圖像，確定所述目標人臉的二維特征和三維特征，包括：對所述二維圖像進行特征提取，確定所述二維特征；以及基于所述目標圖像，確定所述三維特征，包括以下方式中的一種：確定所述目標圖像中包括所述深度圖像，對所述深度圖像進行特征提取，確定所述采集三維特征；以及確定所述目標圖像中不包括所述深度圖像，將所述二維特征輸入到預先訓練好的三維特征估計模型中，以對所述二維特征進行計算，確定所述估計三維特征。

在一些實施例中，所述對所述二維圖像進行特征提取，確定所述二維特征，包括：將所述二維圖像輸入到預先訓練的二維特征提取模型中，以對所述二維圖像進行特征提取，得到所述二維圖像對應的所述二維特征，所述二維特征提取模型是基于多個不同的歷史二維圖像進行模型訓練得到。