[發明專利]一種無監督跨角度面部表情圖像識別方法

有效

• 申請號: 202010532746.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111860151B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 孫寧;盧情義;李曉飛
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種無監督跨角度面部表情圖像識別方法，其特征在于包括以下步驟：

步驟A，創建多角度的人臉表情庫，表情庫中包含的表情包括但不限于：生氣、輕蔑、厭惡、害怕、傷心、自然；攝像機拍攝角度包括但不限于為0°，45°，90°，135°，150°，180°；攝像機在不同的角度下采集對象的圖像，并將采集的90°的圖像作為正臉圖像，其他角度的圖像作為側臉圖像；之后對不同角度下采集到的人臉圖像進行校準，制作標簽，獲得多角度的人臉表情數據集；

步驟B，建立無監督跨角度面部表情自適應網絡UCFEAN，無監督跨角度面部表情自適應網絡UCFEAN包括兩個用于跨角度圖像生成的生成器G12、G21，兩個判別器，兩個用于在特征域進行半監督學習的分類器，學生網絡Cs和教師網絡Ct，以及一個合成圖像質量評估網絡Cq；

步驟C，對無監督跨角度面部表情自適應網絡UCFEAN進行訓練，訓練中的技巧包括乒乓逐級下降訓練策略和域平均臉以及合成圖像質量評估；

步驟D，測試時，將側臉表情圖像輸入到無監督跨角度面部表情自適應網絡UCFEAN中，便可以得到該圖像的表情分類結果；

步驟B中，生成器G12由源域到目標域上構建而成，生成器G21由目標域到源域上構建而成，把生成器G12分為卷積部分E12和反卷積部分O12，把生成器G21分為卷積部分E21和反卷積部分O21；步驟B中半監督網絡Cs,Ct的構建，Cs是有標簽分類器，將有標簽的圖像輸入分類器Cs中進行有標簽學習，Ct是無標簽分類器，不進行訓練，由Cs的參數經過移動指數平均得到，將無標簽的圖像經過不同程度的污染后，分別輸入Cs和Ct得到分類結果，由Ct的分類結果指導Cs的分類結果，最終將有標簽損失和Cs,Ct得到分類結果的差值經過加權后作為最終的半監督網絡損失；步驟B中從源域和目標域對應的提取高維特征，即源域的高維特征fea_src和目標域高維特征fea_tar；源域圖像經和目標域圖像分別經過E12，E21得到高維特征fea_src和fea_tar，源域圖像經過生成器G12得到的生成虛假的目標域圖像再經過G21的卷積部分E21得到高維特征fea_fake_tar，高維特征fea_src和fea_fake_tar擁有源域的標簽，fea_src和fea_fake_tar是有標簽圖像，fea_tar是目標域無標簽圖像，高維特征fea_src和經過質量評估后fea_fake_tar輸入分類網絡Cs進行有標簽訓練，無標簽高維特征fea_tar分別輸入分類網絡Cs，Ct進行無標簽訓練。

2.根據權利要求1所述的一種無監督跨角度面部表情圖像識別方法，其特征在于步驟B中源域和目標域的原始圖像訓練合成圖像質量評估網絡Cq，輸出結果范圍在0到1之間，質量越高越接近1，反之接近0。

3.根據權利要求1所述的一種無監督跨角度面部表情圖像識別方法，其特征在于步驟C中乒乓逐級下降訓練分為兩個節拍，當訓練生成器G12，G21時，分類網絡Cs，Ct的參數凍結；當訓練分類網絡Cs，Ct時，生成器G12，G21的參數凍結；訓練開始時，每20次迭代作為1個節拍，隨著訓練的開展，逐步減少每個節拍中迭代的次數，最終達到1次迭代作為1個節拍。

4.根據權利要求1所述的一種無監督跨角度面部表情圖像識別方法，其特征在于步驟C中從源域到目標域生成對抗網絡和從目標域到源域的生成對抗網絡都要求生成器所生成圖像要接近另一個域的數據分布，對源域和目標域的真實圖像分別求均值，得到域平均臉，將此作為生成器G12，G21訓練時目標函數之一，由此提高訓練性能。

5.根據權利要求1所述的一種無監督跨角度面部表情圖像識別方法，其特征在于步驟D中目標域側臉表情圖像通過G12的卷積部分E21獲得fea_tar，并分別輸入已經訓練好的半監督分類網絡Cs，Ct，得到的結果加權求和，作為最終的表情分類結果。