[發(fā)明專利]一種基于特征重建模型的低分辨率圖像人臉表情識(shí)別方法

有效

• 申請?zhí)枺?/td>: 202110055946.8
• 申請日: 2021-01-15
• 公開（公告）號(hào): CN112818764B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 田鋒;經(jīng)緯;南方;洪振鑫;鄭慶華
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/46;G06V10/774;G06V10/764;G06V10/82;G06N3/047;G06N3/084;G06T3/40
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 崔方方

本發(fā)明公開了一種基于特征重建模型的低分辨率圖像人臉表情識(shí)別方法，屬于人臉圖像表情識(shí)別領(lǐng)域。本發(fā)明包括構(gòu)建訓(xùn)練和測試數(shù)據(jù)集；之后訓(xùn)練特征重建模型的人臉表情識(shí)別模型，使用固定參數(shù)的特征提取網(wǎng)絡(luò)提取圖像表情特征，再采用生成對(duì)抗網(wǎng)絡(luò)方式訓(xùn)練模型獲得表情特征生成器和特征判別器，使用FSRG為輸入圖像重建特征得到Fsubgt;SR/subgt;；由全連接網(wǎng)絡(luò)和softmax函數(shù)層組成的分類器對(duì)特征Fsubgt;SR/subgt;進(jìn)行分類，并使用softmax層輸出的樣本對(duì)應(yīng)的正確類別的概率值對(duì)樣本損失進(jìn)行重新加權(quán)；本發(fā)明對(duì)輸入圖像的分辨率不敏感，提升了較低分辨率下的識(shí)別準(zhǔn)確率，且在各個(gè)分辨率上的識(shí)別效果更加穩(wěn)定。

技術(shù)領(lǐng)域

本發(fā)明屬于人臉圖像表情識(shí)別領(lǐng)域，尤其是一種基于特征重建模型的低分辨率圖像人臉表情識(shí)別方法。

背景技術(shù)

面部表情是人類表達(dá)情緒的最直接、最自然的信號(hào)之一。人臉表情識(shí)別是人機(jī)自然交互、計(jì)算機(jī)視覺、情感計(jì)算和圖像處理等研究的一個(gè)熱點(diǎn)課題，在人機(jī)交互、遠(yuǎn)程教育、安全領(lǐng)域、智能機(jī)器人研制、醫(yī)療、動(dòng)畫制作等領(lǐng)域有著廣泛的應(yīng)用。

在不同場景下，由于設(shè)備、環(huán)境的變化以及針孔相機(jī)的成像原理，多人照相場景下的人物面部圖像存在“近大遠(yuǎn)小”不同分辨率問題，在網(wǎng)絡(luò)傳輸和存儲(chǔ)中也會(huì)對(duì)圖像進(jìn)行壓縮，降低圖像的質(zhì)量和分辨率。在低分辨率場景下算法的識(shí)別準(zhǔn)確率會(huì)受到嚴(yán)重影響。為了更加準(zhǔn)確的識(shí)別人物的表情，需要減少分辨率變化帶來的影響。隨著深度學(xué)習(xí)和圖像超分辨率等技術(shù)的發(fā)展，在處理低分辨率輸入圖像時(shí)，多采用先對(duì)圖像進(jìn)行超分辨率重建，后進(jìn)行識(shí)別的方法。重建圖像的方法有如下缺點(diǎn)，第一：雖然相比直接使用低分辨率圖像進(jìn)行表情識(shí)別的方法相比有所提升，但時(shí)會(huì)造成計(jì)算量大量增加、效果不穩(wěn)定等問題。第二：由于表情識(shí)別的對(duì)象是人臉，對(duì)人臉圖像進(jìn)行高分辨率重建容易導(dǎo)致隱私泄露問題，這一點(diǎn)在國際研究中越來越受到重視。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服重建人臉圖像計(jì)算量大、隱私易泄露的缺點(diǎn)，提供一種基于特征重建模型的低分辨率圖像人臉表情識(shí)別方法。

為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

一種基于特征重建模型的低分辨率圖像人臉表情識(shí)別方法，包括以下步驟：

1)收集分辨率大于等于100x100像素的人臉表情圖像并標(biāo)注表情類型，作為原始圖像I_HR；對(duì)原始圖像進(jìn)行2-8倍的整數(shù)倍率降采樣，得到對(duì)應(yīng)的低分辨率圖像，所述低分辨率圖像的表情類別標(biāo)簽和原始圖像保持一致；將原始圖像和對(duì)應(yīng)的低分辨率圖像劃分為訓(xùn)練集和測試集；

2)采用生成式對(duì)抗網(wǎng)絡(luò)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

將原始圖像和各倍率的低分辨率圖像輸入到特征提取器E中，特征提取器E提取并計(jì)算原始圖像的特征矩陣F_HR和各倍率的低分辨率圖像特征矩陣F_LR；

低分辨率圖像特征矩陣F_LR輸入到表情特征生成器FSRG中，輸出生成重建特征矩陣F_SR；

原始圖像的特征矩陣F_HR和對(duì)應(yīng)的低分辨率圖像的重建特征矩陣F_SR輸入到特征判別器FSRD中，比較兩者在分布空間上的差異，通過反向傳播優(yōu)化特征判別器FSRG；

重建表情特征F_SR輸入到雙層全連接的表情分類器C中進(jìn)行分類，表情分類器C計(jì)算樣本被分為各個(gè)類別的概率，并用每個(gè)樣本被正確分類的概率值計(jì)算權(quán)重系數(shù)對(duì)所述樣本的損失進(jìn)行重加權(quán)，加速神經(jīng)網(wǎng)絡(luò)的收斂；

重復(fù)以上訓(xùn)練過程，直至得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型；

3)將待識(shí)別表情的人臉圖像輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，特征提取器E提取輸入圖像的特征矩陣F，特征生成器FSRG生成重建后的特征矩陣F_SR，分類器C計(jì)算并輸出識(shí)別結(jié)果的類別標(biāo)簽。