[發明專利]一種基于改進殘差神經網絡的人臉表情識別方法

在審

• 申請號: 202211530645.7
• 申請日: 2022-12-01
• 公開（公告）號: CN115937937A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張旭光;張偉光;謝強偉;方銀鋒
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/44;G06V10/26;G06V10/774;G06V10/764;G06V10/80;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 陳潔

本發明屬于圖像識別技術領域，公開了一種基于改進殘差神經網絡的人臉表情識別方法，包括如下步驟：步驟1：數據預處理；步驟2：構建基于改進殘差神經網絡的人臉表情識別模型；步驟3：對人臉識別模型進行迭代訓練；步驟4：基于訓練好的人臉表情識別模型獲取人臉表情識別結果。本發明基于殘差思想設計了兩種殘差模塊，防止了網絡退化問題的出現。本發明引入了Inception模塊，解決了特征提取不夠豐富的問題。本發明使用了較新的Mish激活函數替換了常用的ReLu激活函數，進一步提高了模型的魯棒性，提高了人臉表情識別的精度。本發明構建的網絡中采用學習率衰減的機制，防止了過擬合現象的發生。

技術領域

本發明屬于圖像識別技術領域，尤其涉及一種基于改進殘差神經網絡的人臉表情識別方法。

背景技術

隨著人工智能技術的飛速發展，人臉表情識別已成為計算機圖像處理領域的一個重要研究課題，在人機交互領域、安全駕駛領域、在線教育領域等都有著廣闊的應用前景，如在安全駕駛領域，攝像頭可以實時獲取駕駛員的面部表情信息，判斷駕駛狀態是否良好，避免意外事故的發生；在教育領域，可以通過識別學生在課堂上的面部表情來評估學生的課堂狀態，并調整教學方法以獲得更好的教學效果。

人臉表情識別主要包括三個部分：預處理、特征提取和分類識別。其中，算法識別的準確性主要取決于特征提取方法。人臉表情特征提取方法主要分為基于傳統特征提取的方法和基于深度學習的方法。其中，特征提取對人臉表情識別的準確性起著決定性的作用。傳統的特征提取方法有很多。如局部二值模式(LBP)，尺度不變特征變換(SIFT)，和Gabor小波變換。雖然傳統的人臉表情識別方法也能取得良好的效果，但傳統人臉識別算法生成和使用的特征屬于淺層特征，無法從原始圖像中獲得更深層的高語義特征和深度特征。此外，為了獲得良好的識別效果，這些傳統的人臉識別算法必須與人工特征相結合，而人工特征在特征提取和識別過程中往往會帶來意想不到的人為因素和錯誤。深度學習的出現很好地解決了這些問題。

近年來，隨著深度學習的發展，深度卷積神經網絡(DCNN)在圖像分類和識別等領域取得了突破。隨著網絡深度的加深，雖然特征可以更好地擬合，但由于梯度消失和梯度爆炸的問題，訓練將變得更加復雜。此外，許多網絡模型仍然存在特征提取不足的問題。

發明內容

本發明目的在于提供一種基于改進殘差神經網絡的人臉表情識別方法，以解決上述的技術問題。

為解決上述技術問題，本發明的一種基于改進殘差神經網絡的人臉表情識別方法的具體技術方案如下：

一種基于改進殘差神經網絡的人臉表情識別方法，包括如下步驟：

步驟1：數據預處理；

步驟2：構建基于改進殘差神經網絡的人臉表情識別模型；

步驟3：對人臉識別模型進行迭代訓練；

步驟4：基于訓練好的人臉表情識別模型獲取人臉表情識別結果。

進一步地，所述步驟1包括如下步驟：

步驟1.1：獲取人臉圖像數據集，使用haar算法對數據的人臉區域進行識別，然后將人臉部分進行裁剪，并將圖片大小調整為48*48大小，并將其按照8:2劃分為訓練集和測試集；

步驟1.2：獲取的人臉表情數據集為CK+表情數據集和KDEF數據集，所述CK+表情數據集包括了123位受試者的593個視頻序列，其中有327個視頻序列的最后一幀標記了表情的標簽，選取每個人物帶有標簽的圖片序列中的最后三張圖片，一共981張圖片，包含7種情緒：憤怒，蔑視，厭惡，害怕，高興，傷心，驚訝；所述KDEF數據集共有4900張圖片，選取了正臉圖片共980張作為實驗數據集，共包含7種情緒：憤怒，中性，厭惡，害怕，高興，傷心，驚訝。

進一步地，所述步驟2的模型包括殘差特征提取模塊、Inception特征提取模塊和分類模塊。