[發明專利]單模態人臉識別及模型訓練方法、電子設備及存儲介質

在審

• 申請號: 202210438792.5
• 申請日: 2022-04-25
• 公開（公告）號: CN114913576A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 魏夢;陳智超;朱海濤;戶磊
• 申請（專利權）人: 合肥的盧深視科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京智晨知識產權代理有限公司 11584
• 代理人: 張婧

本發明實施例涉及人臉識別領域，公開了一種單模態人臉識別及模型訓練方法、電子設備及存儲介質，其中模型訓練方法包括：將人臉的多模態數據樣本輸入至多模態識別模型得到多模態人臉特征；將多模態數據樣本中任一指定模態的單模態數據樣本輸入至單模態識別模型得到單模態人臉特征；以多模態識別模型為教師模型、單模態識別模型為學生模型，基于由每兩個多模態人臉特征的特征向量間的距離、以及由每兩個單模態人臉特征的特征向量間的距離構建損失，對單模態識別模型進行訓練。本方案能夠在多模態識別模型和單模態識別模型輸出的人臉特征向量維度不一致的情況下，實現多模態多維度特征到單模態單維度特征的壓縮，提升單模態小規模模型的識別性能。

技術領域

本發明涉及人臉識別領域，特別涉及一種單模態人臉識別及模型訓練方法、電子設備及存儲介質。

背景技術

當前，已經證實的多模態的人臉識別模型在一般情況下要優于單模態的人臉識別模型，參數較多的大規模模型的泛化能力要優于小規模模型。但有些產品由于數據采集設備以及芯片處理能力的限制，只能部署單模態的小規模模型，這就大大影響了模型的識別能力，怎樣促使單模態下小規模模型盡可能接近多模態下大規模模型的識別能力是一個難點。

單模態模型想實現多模態信息的融合，一般可以用以下方法實現：

一種方法是先用單模態信息估計其他模態信息，再融合原始的單模態信息和估計的其他模態信息實現多模態識別。例如在只有彩色圖的情況下，先用彩色圖估計深度圖（或紅外圖等），再用彩色圖聯合估計的深度圖實現單模態下的多模態人臉識別。這種方法依賴深度估計的準確性，而從彩色圖估計深度信息本來就是一個比較困難的問題；此外，此類方法為兩步式方法，即需要先做深度估計、再做人臉識別，算法較為復雜。

另一種方法是用多模態識別模型蒸餾單模態識別模型，知識蒸餾方法的目的是把大而復雜的模型（教師模型）的知識遷移給小而緊湊的模型（學生模型）。此類方法一般對教師模型和學生模型提取的人臉特征進行約束，促使他們的特征更接近。此類方法通常需要教師模型的特征維度與學生模型的特征維度相同，這限制了多模態識別模型的蒸餾，因為多模態識別模型可能是由多個不同網絡結構及輸出不同特征維度的模型組成。

發明內容

本發明實施方式的目的在于提供一種單模態人臉識別及模型訓練方法、電子設備及存儲介質，能夠在多模態識別模型和單模態識別模型輸出的人臉特征向量維度不一致的情況下，實現多模態多維度特征到單模態單維度特征的壓縮，提升單模態小規模模型的識別性能。

為解決上述技術問題，本發明的實施方式提供了一種單模態人臉識別的模型訓練方法，包括：

將人臉的多模態數據樣本輸入至多模態識別模型得到多模態人臉特征；

將所述多模態數據樣本中任一指定模態的單模態數據樣本輸入至單模態識別模型得到單模態人臉特征；

以所述多模態識別模型為教師模型、單模態識別模型為學生模型，基于由每兩個所述多模態人臉特征的特征向量間的距離、以及由每兩個所述單模態人臉特征的特征向量間的距離，采用基于度量學習的損失函數構建損失，并通過知識蒸餾對所述單模態識別模型進行訓練，得到訓練好的單模態識別模型。

本發明的實施方式還提供了一種單模態人臉識別方法，包括：

獲取待識別人臉在目標模態下的單模態數據；

采用如上所述的單模態人臉識別的模型訓練方法中，以所述目標模態為所述指定模態訓練的單模態識別模型，對所述單模態數據進行特征提取，得到第一單模態人臉特征；

對所述第一單模態人臉特征和注冊人臉在所述目標模態下的注冊人臉特征進行比對，實現對所述待識別人臉的身份識別。

本發明的實施方式還提供了一種電子設備，包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，