[發明專利]一種基于共享骨干網絡的人臉識別與表情分析方法

有效

• 申請號: 202110456980.6
• 申請日: 2021-04-27
• 公開（公告）號: CN113076930B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 楊綠溪;惠鴻儒;胡欣毅;韓志偉;李春國;黃永明
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06T3/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于共享骨干網絡的人臉識別與表情分析方法，其特征在于：包括以下步驟，

步驟1，初始化深層骨干網絡的參數，針對人臉識別任務進行訓練，以人臉識別損失函數加法角度余量損失作為監督，采用隨機梯度下降法進行訓練，當損失函數下降收斂后，保存深層網絡模型，基于知識蒸餾算法對深層網絡模型進行壓縮，得到輕量級骨干網絡模型；

步驟2，初始化表情分析網絡的參數，針對表情分析任務進行訓練，以交叉熵損失函數作為監督，采用隨機梯度下降法進行訓練，并在訓練過程中保持骨干網絡的參數不變，當損失函數下降收斂后結束訓練并保存訓練后的表情分析網絡模型；

步驟3，將待測視頻幀輸入人臉檢測與對齊模塊進行預處理，檢測出人臉位置，并得到標準人臉；

步驟4，將標準人臉輸入到輕量級骨干網絡中，輸出人臉特征向量；

步驟5，將人臉特征向量與人臉底庫中的人臉特征向量進行比對，輸出人臉識別結果；

步驟6，將人臉特征向量輸入到表情分析網絡，輸出表情分析結果。

2.如權利要求1所述的基于共享骨干網絡的人臉識別與表情分析方法，其特征在于：所述步驟1還包括，

步驟1.1，對深層骨干網絡的參數進行初始化；

步驟1.2，針對人臉識別任務進行訓練，以人臉識別損失函數作為監督信號，監督深層網絡進行訓練；

步驟1.3，采用隨機梯度下降法對深層網絡進行訓練，訓練損失為加法角度余量損失函數，當損失函數下降收斂后，結束訓練并保存訓練后得到的深層網絡模型F；

步驟1.4，采用知識蒸餾算法對深層網絡進行壓縮，以深層網絡作為教師模型，以輕量級網絡作為學生模型，用深層網絡輸出的人臉特征向量作為標簽，監督輕量級網絡訓練，采用的損失函數L_KD為：

其中，N為訓練樣本總數，x_i表示第i個訓練樣本，F(x_i)表示樣本x_i輸入深層網絡模型F后得到的輸出，f(x_i)表示樣本x_i輸入輕量級網絡模型f后得到的輸出；

步驟1.5：采用隨機梯度下降法對輕量級網絡進行訓練，訓練損失為L_KD，當損失函數下降收斂后，保存輕量級網絡模型，結束訓練，得到輕量級骨干網絡模型。

3.如權利要求2所述的基于共享骨干網絡的人臉識別與表情分析方法，其特征在于：所述步驟2還包括，

步驟2.1，構建表情分析網絡，其包括3個全連接層，且前兩個全連接層各包含一個整流線性單元激活層；

步驟2.2，對表情分析網絡的參數進行初始化；

步驟2.3，針對表情分析任務進行訓練，該任務為分類任務，將表情分析結果分為生氣、厭惡、恐懼、開心、傷心、驚訝、中性七類。以交叉熵損失作為監督信號，監督表情分析網絡進行訓練；

步驟2.4，固定骨干網絡的參數，在訓練中保持不變；

步驟2.5，采用梯度下降法對表情分析網絡進行訓練，訓練損失為交叉熵損失，并在訓練中采用隨機失活策略，當損失函數下降收斂后，保存表情分析網絡模型，結束訓練。

4.如權利要求1、2或3任一所述的基于共享骨干網絡的人臉識別與表情分析方法，其特征在于：所述步驟3還包括，

步驟3.1，通過人臉檢測算法對視頻幀圖像進行人臉檢測，得到人臉的位置邊界框和人臉關鍵點坐標；

步驟3.2，根據人臉關鍵點坐標與預定義的模板關鍵點坐標，得到變換矩陣，并通過仿射變換得到標準人臉。

5.如權利要求4所述的基于共享骨干網絡的人臉識別與表情分析方法，其特征在于：所述步驟5還包括，

步驟5.1，將人臉底庫中的人臉{I₁，I₂，…，I_n}依次輸入到輕量級骨干網絡中，得到對應的人臉特征向量{f(I₁)，f(I₂)，…，f(I_n)}；

步驟5.2：依次計算待識別人臉I_p通過骨干網絡輸出的特征向量f(I_p)與{f(I₁)，f(I₂)，…，f(I_n)}的距離{d₁，d₂，…，d_n}，特征向量f(I_p)與人臉底庫中第i個人臉特征向量f(I_i)的距離d_i為：

d_i＝||f(I_p)-f(I_i)||₂

步驟5.3：求m＝argmin_m{d₁，d₂，…，d_n}，設定閾值ε，若d_mε，則將待識別人臉I_p識別為ID(I_m)，反之則判斷為陌生人。