[發明專利]一種基于共享骨干網絡的人臉識別與表情分析方法

有效

• 申請號: 202110456980.6
• 申請日: 2021-04-27
• 公開（公告）號: CN113076930B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 楊綠溪;惠鴻儒;胡欣毅;韓志偉;李春國;黃永明
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06T3/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

本發明公開了一種基于共享骨干網絡的人臉識別與表情分析方法，包括以下步驟，對深層骨干網絡進行訓練并保存訓練后的深層網絡模型，對深層網絡模型進行壓縮，得到輕量級骨干網絡模型；對表情分析網絡進行訓練并保存訓練后的表情分析網絡模型；將待測視頻幀輸入人臉檢測與對齊模塊進行預處理，檢測出人臉位置，并得到標準人臉；將標準人臉輸入到輕量級骨干網絡中，輸出人臉特征向量；將人臉特征向量與人臉底庫中的人臉特征向量進行比對，輸出人臉識別結果；將人臉特征向量輸入到表情分析網絡，輸出表情分析結果。通過本發明可以降低了網絡模型的計算量，提高了模型在實際應用中的人臉識別和表情分析的效率。

技術領域

本發明涉及人臉識別和表情分析的技術領域，尤其涉及一種基于共享骨干網絡的人臉識別與表情分析方法。

背景技術

目前，人臉識別已經成為十分重要的用于身份認證的生物識別技術，廣泛應用于金融、商業、安防等多個領域。尤其在安防領域，智能視頻監控是人臉識別最典型的應用之一。同時，一些相關的人臉屬性識別算法也得到了一定的應用，如年齡識別、表情識別等。其中，表情分析在智能視頻監控系統中也具有重要的應用價值，可以通過識別有無異常表情，從而提取避免暴力事件的發生。因此，一些智能視頻監控系統中，往往會同時嵌入人臉識別功能和表情分析功能。

隨著深度學習、卷積神經網絡的不斷發展，人臉識別和表情分析這兩項任務都取得了大幅度的性能提升。人臉識別模型基于深度卷積神經網絡結構，并通過Triplet Loss和ArcFace等針對“類內極小，類間極大”進行優化的損失函數監督訓練，可以提取出具有辨別力的人臉特征向量，從而高準確率地完成人臉識別。表情分析模型同樣基于深度卷積神經網絡結構，可以對不同表情進行準確的分類。將人臉識別模型和表情分析模型分別嵌入到智能視頻監控系統，可以取得準確的識別和分析結果，但由于二者使用兩個各自獨立的深度網絡，會導致模型參數量增加，運算速度降低，進而導致模型部署成本提高，監控系統功耗增加，無法部署到一些性能稍低的終端設備上。

發明內容

發明目的：為了克服現有技術中存在的不足，本發明提供一種基于共享骨干網絡的人臉識別與表情分析方法，該發明能夠將人臉識別和表情分析兩個任務共享一個骨干網絡進行特征提取，并構建輕量級骨干網絡從而提高運算速度和降低部署難度。

技術方案：為了實現上述發明目的，本發明提供了一種基于共享骨干網絡的人臉識別與表情分析方法，包括以下步驟，

步驟1，初始化深層骨干網絡的參數，針對人臉識別任務進行訓練，以人臉識別損失函數加法角度余量損失作為監督，采用隨機梯度下降法進行訓練，當損失函數下降收斂后，保存深層網絡模型，基于知識蒸餾算法對深層網絡模型進行壓縮，得到輕量級骨干網絡模型；

步驟2，初始化表情分析網絡的參數，針對表情分析任務進行訓練，以交叉熵損失函數作為監督，采用隨機梯度下降法進行訓練，并在訓練過程中保持骨干網絡的參數不變，當損失函數下降收斂后結束訓練并保存訓練后的表情分析網絡模型；

步驟3，將待測視頻幀輸入人臉檢測與對齊模塊進行預處理，檢測出人臉位置，并得到標準人臉；

步驟4，將標準人臉輸入到輕量級骨干網絡中，輸出人臉特征向量；

步驟5，將人臉特征向量與人臉底庫中的人臉特征向量進行比對，輸出人臉識別結果；

步驟6，將人臉特征向量輸入到表情分析網絡，輸出表情分析結果。

進一步的，在本發明中：所述步驟1還包括，

步驟1.1，對深層骨干網絡的參數進行初始化；

步驟1.2，針對人臉識別任務進行訓練，以人臉識別損失函數作為監督信號，監督深層網絡進行訓練；

步驟1.3，采用隨機梯度下降法對深層網絡進行訓練，訓練損失為加法角度余量損失函數，當損失函數下降收斂后，結束訓練并保存訓練后得到的深層網絡模型F；