[發明專利]一種基于移動端的多視角人臉表情識別方法

有效

• 申請號: 201811102569.3
• 申請日: 2018-09-20
• 公開（公告）號: CN109409222B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉袁緣;王勛廣;蔣捷;方芳;謝忠;羅忠文;覃杰
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孫妮

1.一種基于移動端的多視角人臉表情識別方法，其特征在于，包括以下步驟：

S1.從每張圖像中裁剪出人臉部分的圖像，并進行數據增強，得到訓練AA-MDNet模型的數據集；

S2.利用GAN模型擴展步驟S1得到的數據集；

S3.對步驟S2得到數據集中的圖像利用ADN多尺度裁剪方法進行裁剪；ADN多尺度裁剪方法具體為：對于包括三個尺度輸入的ADN網絡模型，對于第一個尺度的網絡，輸入N×N大小的原始圖片；經第一個尺度下ADN網絡得到關鍵區域后，將原始圖片上關鍵區域的圖像裁剪出來并通過雙三次插值方法放大到N×N大小，作為第二個尺度網絡的輸入圖像；同理，第二個尺度的輸入圖像先經過ADN網絡得到關鍵區域，裁剪放大后作為第三個尺度的輸入圖像；

S4.將裁剪后的圖像輸入AA-MDNet模型，AA-MDNet模型包含多個尺度的網絡，每個尺度的網絡包含密集連接子網絡DenseNet和注意力自適應網絡ADN，輸入的圖像先通過密集連接子網絡DenseNet提取特征，然后基于提取到的特征，使用注意力自適應網絡ADN進行訓練，得到表情和姿態的注意力區域的位置參數，再根據位置參數從輸入圖像中裁剪出該區域的圖像進行縮放，學習得到表情高層特征；所述注意力自適應網絡ADN一共有兩個全連接層，其后分別接tanh激活函數和sigmoid激活函數，第一個全連接層的輸出維度設置為512，第二個全連接層的輸出維度設置為3；

S5.將上一尺度得到的圖像作為下一個尺度的輸入圖像，重復步驟S4直至所有尺度的網絡對圖像處理完成，進行多尺度的特征融合，得到具有全局和局部融合特征的表情高層特征。

2.根據權利要求1所述的基于移動端的多視角人臉表情識別方法，其特征在于，所述步驟S1中，數據增強包括隨機裁剪、平移、翻轉、色彩抖動、亮度變化、飽和度變化、對比度變化和銳度變化。

3.根據權利要求1所述的基于移動端的多視角人臉表情識別方法，其特征在于，所述步驟S2中，GAN模型包括四部分：生成模型G、圖像判別模型D_ep、身份判別模型D_id和表情分類器C_e，生成模型G包括編碼器G_e和解碼器G_d；編碼器G_e和解碼器G_d將輸入數據編碼分析、解碼重構，生成圖像，兩者都由卷積層和全連接層構成；圖像判別模型D_ep用于判斷輸入圖片的真實性，由卷積層和全連接層構成；身份判別模型D_id用于平滑姿態和表情變換，控制身份特征，由全連接層構成；表情分類器C_e用于表情分類，以優化表情生成，由卷積層和全連接層構成。

4.根據權利要求1所述的基于移動端的多視角人臉表情識別方法，其特征在于，所述步驟S4中，密集連接子網絡DenseNet包含初始卷積層、密集塊、過渡層和分類層，初始卷積層用于對輸入圖像進行初始的特征提取，該層操作依次為卷積操作，其中的卷積核大小為7×7、批標準化、ReLU激活和最大池化；密集塊的每一層輸出的特征圖都用于后面每一層的輸入，每一層的操作依次為批標準化、ReLU激活、1×1卷積、批標準化、ReLU激活和3×3卷積；密集塊之間的過渡層用于對特征圖進行降維，進一步壓縮參數數量，過渡層的操作依次為批標準化、ReLU激活、1×1卷積和平均池化；分類層根據提取的特征進行多任務分類，分別是姿態分類和表情分類，分類層包括全局平均池化、兩個全連接和兩個softmax，用于姿態分類的全連接輸出維度為5，用于表情分類的全連接輸出維度為6。