[發(fā)明專利]基于對抗學(xué)習(xí)的角度魯棒的個性化人臉表情識別方法

有效

• 申請?zhí)枺?/td>: 202010136966.3
• 申請日: 2020-03-02
• 公開（公告）號: CN111382684B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計）人: 王上飛;王燦
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉

1.一種基于對抗學(xué)習(xí)的角度魯棒的個性化人臉表情識別方法，其特征是按如下步驟進行：

步驟1、對包含具有N類人臉表情圖像的數(shù)據(jù)庫進行圖像預(yù)處理：

使用MTCNN神經(jīng)網(wǎng)絡(luò)算法對數(shù)據(jù)庫中所有人臉表情圖像進行人臉檢測與矯正，從而得到歸一化后的人臉圖像數(shù)據(jù)集，并作為樣本集；

以所述數(shù)據(jù)庫中的個體為劃分基準，將所述樣本集進行隨機劃分，得到源域數(shù)據(jù)集S和目標(biāo)域數(shù)據(jù)集T；令源域數(shù)據(jù)集S中的任意一個樣本為x_s，源域中任意一個樣本x_s的表情標(biāo)注為y_s，源域中任意一個樣本x_s的角度標(biāo)注為p_s；令目標(biāo)域數(shù)據(jù)集T中的任意一個樣本為x_t；

步驟2、構(gòu)建基于對抗學(xué)習(xí)的特征解耦與領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型，并包括：源域特征提取器E_s和目標(biāo)域特征提取器E_t，角度分類器D_p和表情分類器R，角度域判別器D_dp和表情域判別器D_de，源域圖像生成器G_s和目標(biāo)域圖像生成器G_t；

所述源域特征提取器E_s和目標(biāo)域特征提取器E_t具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，依次均由一個輸入卷積層、M個下采樣卷積層、Q個殘差卷積層、兩個含有W層卷積層的分支構(gòu)成；且每個卷積層后均接入一個實例正則化層和ReLU激活函數(shù)；

所述角度分類器D_p、表情分類器R、角度域判別器D_dp和表情域判別器D_de均是由H層的全連接網(wǎng)絡(luò)構(gòu)成；

所述源域圖像生成器G_s和目標(biāo)域圖像生成器G_t具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，依次均由一個輸入卷積層、J個上采樣反卷積層和一個輸出卷積層構(gòu)成，對于輸出卷積層前的每個卷積層，其后均接入一個實例正則化層和ReLU激活函數(shù)，對于輸出卷積層，其后接入一個Tanh激活函數(shù)；

令基于對抗學(xué)習(xí)的特征解耦與領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型中的所有卷積層、反卷積層、全連接層均使用高斯分布進行權(quán)值初始化；

步驟3、基于對抗學(xué)習(xí)的特征解耦與領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型的四個學(xué)習(xí)策略，包括有監(jiān)督學(xué)習(xí)策略、對抗領(lǐng)域自適應(yīng)學(xué)習(xí)策略、交叉對抗特征解耦學(xué)習(xí)策略以及圖像重構(gòu)學(xué)習(xí)策略；

步驟3.1、有監(jiān)督學(xué)習(xí)策略：

步驟3.3.1、所述源域中任意一個樣本x_s輸入所述源域特征提取器E_s中，得到兩種特征向量其中，表示源域中樣本x_s的表情相關(guān)特征，f_s^p表示源域中樣本x_s的角度相關(guān)特征；

步驟3.3.2、所述源域中樣本x_s的角度相關(guān)特征輸入所述角度分類器D_p中進行角度識別，得到源域中樣本x_s的角度類別；

利用式(1)建立角度識別的損失函數(shù)l_p(E_s,D_p)：

式(1)中，Sup(·)表示有監(jiān)督損失函數(shù)；

步驟3.3.3、所述源域中樣本x_s的表情相關(guān)特征輸入所述表情分類器R中進行表情識別，得到源域中樣本x_s的表情類別；

利用式(2)建立表情識別的損失函數(shù)l_e(E_s,R)：

步驟3.2、對抗領(lǐng)域自適應(yīng)學(xué)習(xí)策略：

步驟3.2.1、所述目標(biāo)域中任意一個樣本x_t輸入所述目標(biāo)域特征提取器E_t中，得到兩種特征向量其中，表示目標(biāo)域中樣本x_t的表情相關(guān)特征，f_t^p表示目標(biāo)域中樣本x_t的角度相關(guān)特征；

步驟3.2.2、所述源域中樣本x_s的角度相關(guān)特征或目標(biāo)域中樣本x_t的角度相關(guān)特征f_t^p輸入所述角度域判別器D_dp，得到角度相關(guān)特征為真或表情相關(guān)特征f_t^p為假的識別結(jié)果；

步驟3.2.3、所述源域中樣本x_s的表情相關(guān)特征或目標(biāo)域中樣本x_t的表情相關(guān)特征輸入所述表情域判別器D_de中，得到表情相關(guān)特征為真或表情相關(guān)特征f_t^e為假的識別結(jié)果；

步驟3.2.4、利用式(3)建立對抗學(xué)習(xí)損失函數(shù)l_adv(E_s,E_t,D_dp,D_de)：

步驟3.3、對抗特征解耦學(xué)習(xí)策略：

步驟3.3.1、所述源域中樣本x_s的角度相關(guān)特征輸入所述表情分類器R中，得到源域中樣本x_s的表情分類結(jié)果；

所述源域中樣本x_s的表情相關(guān)特征f_s^e輸入角度分類器D_p中，得到所述源域中樣本x_s的角度分類結(jié)果；

步驟3.3.2、利用式(4)建立表情分類器R對于角度相關(guān)特征的分類以及角度分類器D_p對于表情相關(guān)特征的分類的損失函數(shù)

步驟3.4、圖像重構(gòu)學(xué)習(xí)策略：

步驟3.4.1、所述源域中樣本x_s的角度相關(guān)特征和目標(biāo)域中樣本x_t的表情相關(guān)特征進行組合并輸入所述源域圖像生成器G_s中，生成所述源域中的重構(gòu)圖像

步驟3.4.2、目標(biāo)域中樣本x_t的角度相關(guān)特征f_t^p和源域中樣本x_s的表情相關(guān)特征進行組合并輸入所述目標(biāo)域圖像生成器G_t中，生成所述目標(biāo)域中的重構(gòu)圖像

步驟3.4.3、利用式(5)建立重構(gòu)圖像的約束l_clc(E_s,E_t,G_s,G_t)：

式(5)中，x′_s表示源域數(shù)據(jù)集S中的另一個樣本，且與樣本x_s擁有相同的角度標(biāo)注，與樣本x_t擁有相同的表情標(biāo)注；x′_t表示目標(biāo)域數(shù)據(jù)集T中的另一個樣本，且與樣本x_t擁有相同的角度標(biāo)注，與樣本x_s擁有相同的表情標(biāo)注；

步驟4、構(gòu)造總體損失函數(shù)，使用交替迭代優(yōu)化的方式進行對抗學(xué)習(xí)的特征解耦與領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型的學(xué)習(xí)，從而得到最優(yōu)人臉表情識別模型：

步驟4.1、利用式(6)構(gòu)建總的目標(biāo)函數(shù)：

式(6)中，α、β、η和λ均為權(quán)重因子；

步驟4.2、設(shè)置總的訓(xùn)練步數(shù)為K₁，當(dāng)前總的訓(xùn)練步數(shù)為k₁；

設(shè)置內(nèi)部三處優(yōu)化步數(shù)分別為K₂，K₃和K₄，對應(yīng)的當(dāng)前優(yōu)化步數(shù)分別為k₂，k₃和k₄；

設(shè)置訓(xùn)練中每次采樣的樣本數(shù)為B；

初始化k₁,k₂,k₃,k₄均為“0”；

步驟4.3、從源域數(shù)據(jù)集S和目標(biāo)域數(shù)據(jù)集T中分別進行外部第k₁次內(nèi)部第k₂次的隨機獲取B個樣本并作為外部第k₁次內(nèi)部第k₂次迭代的源域訓(xùn)練樣本和目標(biāo)域訓(xùn)練樣本；

步驟4.4、利用式(7)優(yōu)化所述源域特征提取器E_s和表情分類器R，得到外部第k₁次內(nèi)部第k₂次迭代的相應(yīng)的梯度

步驟4.5、利用式(8)優(yōu)化源域特征提取器E_s，得到外部第k₁次內(nèi)部第k₂次迭代的相應(yīng)的梯度

步驟4.6、利用式(9)優(yōu)化源域特征提取器E_s和目標(biāo)域域特征提取器E_t，得到外部第k₁次內(nèi)部第k₂次迭代的相應(yīng)的梯度

步驟4.7、將k₂+1賦值給k₂后，判斷k₂≥K₂是否成立，若成立，則執(zhí)行步驟4.8，否則返回步驟4.3順序執(zhí)行；

步驟4.8、從源域數(shù)據(jù)集S和目標(biāo)域數(shù)據(jù)集T中分別進行外部第k₁次內(nèi)部第k₃次的隨機獲取B個樣本并作為外部第k₁次內(nèi)部第k₃次迭代的源域訓(xùn)練樣本和目標(biāo)域訓(xùn)練樣本；

步驟4.9、利用式(10)優(yōu)化源域特征提取器E_s、目標(biāo)域域特征提取器E_t、源域圖像生成器G_s和目標(biāo)域圖像生成器G_t，得到外部第k₁次內(nèi)部第k₃次迭代的相應(yīng)的梯度

步驟4.10、將k₃+1賦值給k₃后，判斷k₃≥K₃是否成立，若成立，則執(zhí)行步驟4.11，否則返回步驟4.8順序執(zhí)行；

步驟4.11、從源域數(shù)據(jù)集S和目標(biāo)域數(shù)據(jù)集T中分別進行外部第k₁次內(nèi)部第k₄次的隨機獲取B個樣本并作為外部第k₁次內(nèi)部第k₄次迭代的源域訓(xùn)練樣本和目標(biāo)域訓(xùn)練樣本；

步驟4.12、利用式(11)優(yōu)化源域特征提取器E_s和角度分類器D_p，得到外部第k₁次內(nèi)部第k₄次迭代的相應(yīng)的梯度

步驟4.13、利用式(12)優(yōu)化表情域判別器D_de和角度域判別器D_dp，得到外部第k₁次內(nèi)部第k₄次迭代的相應(yīng)的梯度

步驟4.14、將k₄+1賦值給k₄后，判斷k₄≥K₄是否成立，若成立，則執(zhí)行步驟4.15，否則返回步驟4.11順序執(zhí)行；

步驟4.15、將k₁+1賦值給k₁后，判斷k₁≥K₁是否成立或算法是否收斂，若是，則表示訓(xùn)練結(jié)束并得到最優(yōu)人臉表情識別模型，用于實現(xiàn)人臉表情的分類；否則返回步驟4.3順序執(zhí)行。