[發明專利]單模態人臉識別及模型訓練方法、電子設備及存儲介質

在審

• 申請號: 202210438792.5
• 申請日: 2022-04-25
• 公開（公告）號: CN114913576A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 魏夢;陳智超;朱海濤;戶磊
• 申請（專利權）人: 合肥的盧深視科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京智晨知識產權代理有限公司 11584
• 代理人: 張婧

1.一種單模態人臉識別的模型訓練方法，其特征在于，包括：

將人臉的多模態數據樣本輸入至多模態識別模型得到多模態人臉特征；

將所述多模態數據樣本中任一指定模態的單模態數據樣本輸入至單模態識別模型得到單模態人臉特征；

以所述多模態識別模型為教師模型、單模態識別模型為學生模型，基于由每兩個所述多模態人臉特征的特征向量間的距離、以及由每兩個所述單模態人臉特征的特征向量間的距離，采用基于度量學習的損失函數構建損失，并通過知識蒸餾對所述單模態識別模型進行訓練，得到訓練好的單模態識別模型。

2.根據權利要求1所述的方法，其特征在于，所述以所述多模態識別模型為教師模型、單模態識別模型為學生模型，基于由每兩個所述多模態人臉特征的特征向量間的距離、以及由每兩個所述單模態人臉特征的特征向量間的距離，采用基于度量學習的損失函數構建損失，包括：

采用如下損失函數構建對比損失L₁：

其中，(b1,b2)為由任意兩個多模態數據樣本b1和b2構建的樣本對；y為b1、b2是否所屬同一人的標簽，y=1代表所屬同一人，y=0代表所屬非同一人；f_s()為經所述單模態識別模型提取的所述單模態人臉特征；f_t()為經所述多模態識別模型提取的所述多模態人臉特征；d()為特征向量間的距離；N為樣本對個數。

3.根據權利要求1所述的方法，其特征在于，所述以所述多模態識別模型為教師模型、單模態識別模型為學生模型，基于由每兩個所述多模態人臉特征的特征向量間的距離、以及由每兩個所述單模態人臉特征的特征向量間的距離，采用基于度量學習的損失函數構建損失，包括：

采用如下損失函數構建三元組損失L₂：

其中，在基于所述多模態數據樣本構建的三元組中a為錨定樣本、p為正樣本、n為負樣本；f_s()為經所述單模態識別模型提取的所述單模態人臉特征；f_t()為經所述多模態識別模型提取的所述多模態人臉特征；d()為特征向量間的距離；margin為常量；N為三元組個數。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述多模態識別模型為單一模型，所述將多模態數據樣本輸入至多模態識別模型得到多模態人臉特征包括：

將所述多模態數據樣本中各模態數據樣本進行融合，得到混合模態數據樣本；

將所述混合模態數據樣本輸入到所述多模態識別模型，得到所述多模態人臉特征。

5.根據權利要求1-3任一項所述的方法，其特征在于，所述多模態識別模型包括與所述多模態數據樣本中各模態一一對應的多個子模型；所述將人臉的多模態數據樣本輸入至多模態識別模型得到多模態人臉特征包括：

將所述多模態數據樣本中各模態數據樣本輸入至該模態對應的所述子模型中，得到各模態數據樣本對應的分立模態人臉特征；

將所述各模態對應的分立模態人臉特征作為一個集合，得到所述多模態人臉特征。

6.根據權利要求5所述的方法，其特征在于，

采用如下公式計算所述每兩個所述多模態人臉特征的特征向量間的距離：

其中，(b1,b2)為由任意兩個多模態數據樣本b1和b2構建的樣本對；(b1_i,b2_i)為所述(b1,b2)中第i個模態的數據樣本對；f_t()為經所述多模態識別模型提取的所述多模態人臉特征；f_ti()為經所述多模態識別模型中第i個模態對應的所述子模型提取的所述分立模態人臉特征；d()為特征向量間的距離；C_i為第i個模態對應的權重系數，所有模態對應的所述權重系數和為1；m為所述多模態數據樣本所包含的模態數量。

7.根據權利要求1-3任一項所述的方法，其特征在于，所述多模態識別模型和所述單模態識別模型均采用卷積神經網絡構建。