[發明專利]一種基于特征重建模型的低分辨率圖像人臉表情識別方法

有效

• 申請號: 202110055946.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112818764B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 田鋒;經緯;南方;洪振鑫;鄭慶華
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/46;G06V10/774;G06V10/764;G06V10/82;G06N3/047;G06N3/084;G06T3/40
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 崔方方

1.一種基于特征重建模型的低分辨率圖像人臉表情識別方法，其特征在于，包括以下步驟：

1)收集分辨率大于等于100x100像素的人臉表情圖像并標注表情類型，作為原始圖像I_HR；將圖像的長和寬均變為原始分辨率的到得到對應的低分辨率圖像，所述低分辨率圖像的表情類別標簽和原始圖像保持一致；將一部分原始圖像和對應的低分辨率圖像作為訓練集，將另一部分原始圖像和對應的低分辨率圖像作為測試集；

2)采用生成式對抗網絡方法訓練神經網絡模型；

將原始圖像和各倍率的低分辨率圖像輸入到特征提取器E中，特征提取器E提取并計算原始圖像的特征矩陣F_HR和各倍率的低分辨率圖像特征矩陣F_LR；

低分辨率圖像特征矩陣F_LR輸入到表情特征生成器FSRG中，輸出生成重建特征矩陣F_SR；

原始圖像的特征矩陣F_HR和對應的低分辨率圖像的重建特征矩陣F_SR輸入到特征判別器FSRD中，比較兩者在分布空間上的差異，通過反向傳播優化特征判別器FSRG；

重建表情特征F_SR輸入到雙層全連接的表情分類器C中進行分類，表情分類器C計算樣本被分為各個類別的概率，并用每個樣本被正確分類的概率值計算權重系數對所述樣本的損失進行重加權，加速神經網絡的收斂；

重復以上訓練過程，直至得到訓練好的神經網絡模型；

步驟2)的訓練過程中，特征生成器FSRG的損失函數由對抗損失L_GAN、特征矩陣F_SR和F_HR之間的感知損失L_P和二范數損失L₂組成；

對抗損失L_GAN為：

其中，b是數據批次的大小；

特征感知損失L_P為：

其中，C_FC()表示分類器C的最后一層全連接層的輸出；

二范數損失L₂為：

特征生成器FSRG的損失為三者的線性加和：

L_FSRG＝L_GAN+λ₁L_P+λ₂L₂???????????????????????(11)

其中，λ₁和λ₂均為大于零的權重系數；

3)將待識別表情的人臉圖像輸入到訓練好的神經網絡模型中，特征提取器E提取輸入圖像的特征矩陣F，特征生成器FSRG生成重建后的特征矩陣F_SR，分類器C計算并輸出識別結果的類別標簽。

2.根據權利要求1所述的基于特征重建模型的低分辨率圖像人臉表情識別方法，其特征在于，步驟2)中的特征提取器E由多個卷積層和非線性激活層組合而成，為經原始圖像數據集預訓練的表情識別模型的特征提取部分。

3.根據權利要求1所述的基于特征重建模型的低分辨率圖像人臉表情識別方法，其特征在于，步驟2)中的特征提取器E中特征提取的過程為：

對于輸入圖像I，提取三維特征張量T，特征張量T的大小為w*h*n，其中，w和h為特征張量的長和寬，n為通道數；

計算特征張量T的協方差矩陣M：

其中，f_i代表特征張量T的一個通道，為特征張量各通道的平均值，n為特征張量T的通道數；

對協方差矩陣M進行特征值矯正，得到矯正的協方差矩陣M⁺：

M⁺＝M+λ*trace(M)*I???????????????????????(2)

其中，λ是大于零的系數，I是單位矩陣，trace(M)是矩陣M的跡；

對矯正的協方差矩陣M⁺進行池化操作并對特征值取對數，得到特征矩陣F。