[發(fā)明專利]一種基于深度殘差網(wǎng)絡(luò)的人臉表情識別方法

有效

• 申請?zhí)枺?/td>: 202010537198.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111695513B
• 公開（公告）日: 2023-02-14
• 發(fā)明（設(shè)計(jì)）人: 高濤;邵倩;陳婷;李永會;張亞南;張賽
• 申請（專利權(quán)）人: 長安大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

本發(fā)明公開了一種基于深度殘差網(wǎng)絡(luò)的人臉表情識別方法，利用放大的人臉表情圖片對深度殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，通過深度殘差網(wǎng)絡(luò)模型對放大的人臉表情圖片進(jìn)行特征提取，使其可以提取到不同尺度的特征以獲取圖像更豐富的特征，以減少網(wǎng)絡(luò)參數(shù)計(jì)算量，然后對提取的特征進(jìn)行降維處理，對降維處理后的進(jìn)行殘差處理得到不同尺度的圖形特征，將不同尺度的圖形特征進(jìn)行卷積與壓縮處理得到學(xué)習(xí)圖形特征，將學(xué)習(xí)圖形特征進(jìn)行下采樣處理，這樣直接實(shí)現(xiàn)降維，極大的減少了網(wǎng)絡(luò)的參數(shù)，并可以對整個網(wǎng)絡(luò)在結(jié)構(gòu)上做正則化防止過擬合，將獲得圖像更豐富的特征以提高分類識別的準(zhǔn)確率，將下采樣處理后的學(xué)習(xí)圖形特征進(jìn)行分類處理，本發(fā)明能夠提取到更深層次且不同尺度的圖像特征，通過對比實(shí)驗(yàn)，表明了該網(wǎng)絡(luò)具有較好的準(zhǔn)確率和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于人臉識別方法，具體涉及一種基于深度殘差網(wǎng)絡(luò)的人臉表情識別方法。

背景技術(shù)

在社會生活中，人臉表情包含著大量的信息。人臉表情識別是人工智能領(lǐng)域的重要研究課題，其在人機(jī)交互、安全駕駛、在線教育等鄰域具有廣闊的應(yīng)用前景。目前學(xué)者對人臉表情識別的研究主要包括傳統(tǒng)方法和深度學(xué)習(xí)方法。

在傳統(tǒng)的人臉表情識別系統(tǒng)中，表情圖像的特征是需要人工提取的且與分類器是分開設(shè)計(jì)的，只有提取出易于識別的特征同時選擇合適的分類器才能獲得較好的識別精度。常見的特征提取方法包括局部二值模式(Local binary pattern，LBP)、尺度不變特征變換(Scale-invariant feature transform，SIFT)、和Gabor小波變換等，常見的分類器包括K最近鄰(K nearest neighbor，KNN)、支持向量機(jī)(Support Vector Machine，SVM)和貝葉斯分類器等，學(xué)者將兩者進(jìn)行結(jié)合以達(dá)到人臉表情識別的目的。基于傳統(tǒng)的表情識別算法主要依賴于人工提取特征的優(yōu)劣，人為干擾因素較大，并且人臉表情具有高維、多尺度變化、易受光照和角度影響等特點(diǎn)，導(dǎo)致算法的魯棒性和識別精度都有待提高。

隨著深度學(xué)習(xí)的廣泛運(yùn)用，國內(nèi)外研究者開始使用深度學(xué)習(xí)的方法來進(jìn)行表情識別。深度學(xué)習(xí)可以解決傳統(tǒng)方法提取特征的麻煩，并且能夠自動地提取更深層次的表情特征，進(jìn)而提高識別率。Ouellet S等人將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉表情識別，通過SVM分類器進(jìn)行分類。Yu等人提出由多個深度模塊組成的卷積神經(jīng)網(wǎng)絡(luò)。Mayya等人對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了近一步的改進(jìn)。Fathallah A等人提出基于CNN的面部表情識別新架構(gòu)網(wǎng)絡(luò)，使用VGG模型對架構(gòu)進(jìn)行微調(diào)。Lopes等人將卷積神經(jīng)網(wǎng)絡(luò)和圖像的預(yù)處理相結(jié)合，使網(wǎng)絡(luò)更易讀取到有效特征。為了提高網(wǎng)絡(luò)對不同尺度下空間信息的提取能力，許慶勇等人提出一種三通道全連接層的卷積神經(jīng)網(wǎng)絡(luò)。Li等人利用Faster R-CNN對表情圖像進(jìn)行識別。許多學(xué)者都選擇使用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉表情識別，但是其在訓(xùn)練的過程中很容易出現(xiàn)過擬合的現(xiàn)象，并且不能設(shè)置過深的網(wǎng)絡(luò)來提取更深層次的特征，因此仍需要探索提高人臉表情識別準(zhǔn)確率和魯棒性的新途徑。

網(wǎng)絡(luò)在圖像的識別性能上很大程度上取決于網(wǎng)絡(luò)的深度，但是隨著網(wǎng)絡(luò)深度的不斷加深，網(wǎng)絡(luò)收斂會變得越來越難，極易出現(xiàn)“梯度彌散”或“梯度爆炸”等現(xiàn)象，使得分類的識別準(zhǔn)確率反而降低。基于此，He等人提出了著名的深度殘差網(wǎng)絡(luò)ResNet，這一網(wǎng)絡(luò)的提出很好的解決了由網(wǎng)絡(luò)深度所帶來的問題。越來越多的學(xué)者也將ResNet網(wǎng)絡(luò)應(yīng)用于人臉表情識別上。針對于人臉表情識別，對ResNet網(wǎng)絡(luò)雖然進(jìn)行了一定的修改，但仍然存在以下問題：①網(wǎng)絡(luò)的深度得到了一定的改善，但是沒有提取不同尺度的特征，使得提取到的特征信息不豐富。②網(wǎng)絡(luò)訓(xùn)練過程中冗余信息過多導(dǎo)致網(wǎng)絡(luò)參數(shù)計(jì)算量增大。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于深度殘差網(wǎng)絡(luò)的人臉表情識別方法，以克服現(xiàn)有技術(shù)的不足。

為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于深度殘差網(wǎng)絡(luò)的人臉表情識別方法，包括以下步驟：

步驟1)、獲取待訓(xùn)練人臉表情圖片，對人臉表情圖片進(jìn)行預(yù)處理，裁剪去除多余的背景信息得到放大的人臉表情圖片；