[發明專利]基于深度學習帶有旋轉信息的人臉表情識別方法

有效

• 申請號: 201710573387.3
• 申請日: 2017-07-14
• 公開（公告）號: CN107330420B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 彭玉青;閆倩;宋初柏;劉璇;王緯華
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰;張國榮

本發明基于深度學習帶有旋轉信息的人臉表情識別方法，該方法的步驟是：1)確定人臉表情識別的深度卷積神經網絡模型與參數；2)將步驟1)中的深度卷積神經網絡模型中的第一個卷積層，即數據輸入層后面的Conv1層，改為帶有角度信息的卷積層，并將帶有角度信息的卷積層命名為NConv層；3)通過圖像旋轉對FER2013人臉表情數據庫進行數據擴充，將擴充后的FER2013人臉表情數據庫命名為FER2013II數據庫，并對FER2013II數據庫進行標簽處理；4)使用步驟3)得到的FER2013II數據庫對步驟2)處理后的深度卷積神經網絡模型進行訓練和測試，得到修正后的深度卷積神經網絡模型；5)將需要進行識別的人臉表情圖片經過預處理后，輸入到修正后的深度卷積神經網絡模型中，輸出人臉表情識別結果。

技術領域

本發明屬于圖像處理技術領域，涉及一種基于深度學習帶有旋轉信息的人臉表情識別方法。

背景技術

據研究表明，人類通過面部表情表達的信息量占總體信息量的半數之多，是表達人類感情信息的重要途徑之一。在人機交互，情感分析以及相關的其它眾多領域，面部表情識別都有著重要的研究和應用價值。通過高準確率的面部表情識別系統，可以更及時準確的掌握當事人的情緒變化。在人機交互方面，幫助機器及時調整接下來行為動作，而在情感分析方面，也可以作為分析當事人情緒的指標之一等用途。

在傳統的人臉表情識別技術需要手工特征的提取并進行分類，但在分類過程中，能否根據良好特征形成的分類標準是區別人臉表情識別技術好壞的關鍵點之一。與此同時，傳統技術仍存在著魯棒性差的不足。隨著計算機軟硬件的發展，深度學習成為近幾年的研究熱點之一。在語音，圖像，文本等眾多領域的應用都取得了不錯的成績。基于深度卷積神經網絡的人臉表情識別研究有著較大的突破，但也存在一定的問題。目前有關基于深度學習的人臉表情識別方法中，絕大多數人臉表情數據庫中的表情樣本均為正立的人臉圖像，即便是在實驗過程中加入有一定角度的圖像也是一個較小的變化范圍，而在實際應用過程中，由于照相機或者攝影機的擺放位置，拍攝角度不同或者其它意外狀況的發生，采集到的人臉圖像并非完全是正立的，或帶有較大的旋轉角度。經研究表明，深度卷積神經網絡在圖像的旋轉不變性方面的能力較弱，僅僅是在深度卷積網絡的訓練樣本中加入旋轉后的人臉表情樣本，由于目前現有卷積神經網絡的卷積方式核心內容即對所有樣本按照從左到右再從上到下的順序進行卷積運算，并不能真正實現對旋轉后人臉表情識別率的提升(孫曉,潘汀,任福繼.基于ROI-KNN卷積神經網絡的面部表情識別[J].自動化學報,2016,42(6):883-891.)，沒能改善因圖像旋轉角度的不同而引起的識別率下降的技術問題。

發明內容

本發明的目的在于克服上述傳統深度卷積神經網絡在較大旋轉角度的人臉表情識別方面的不足，提供一種基于深度學習帶有旋轉信息的人臉表情識別方法。該方法將圖像旋轉角度信息與傳統卷積神經網絡有機結合，在現有的人臉表情識別的卷積神經網絡中加入旋轉樣本的角度信息，改變現有卷積方式，使得原本對所有樣本相同的卷積方式變為針對不同旋轉角度進行與其相適應的卷積方式，顯著提高了深度卷積神經網絡在圖像旋轉不變性方面的能力，從而提高其準確率。本發明中所述的較大旋轉角度是指對人臉表情圖像進行0°、90°、180°、270°的旋轉。

本發明采用的技術方案是，提供一種基于深度學習帶有旋轉信息的人臉表情識別方法，該方法的步驟是：

1)確定人臉表情識別的深度卷積神經網絡模型與參數；

2)將步驟1)中的深度卷積神經網絡模型中的第一個卷積層，即數據輸入層后面的Conv1層，改為帶有角度信息的卷積層，并將帶有角度信息的卷積層命名為NConv層；

3)通過圖像旋轉對FER2013人臉表情數據庫進行數據擴充，將擴充后的FER2013人臉表情數據庫命名為FER2013II數據庫，并對FER2013II數據庫進行標簽處理；