[發明專利]基于輔任務的深度卷積小波神經網絡表情識別方法

有效

• 申請號: 201710446076.0
• 申請日: 2017-06-14
• 公開（公告）號: CN107292256B
• 公開（公告）日: 2019-12-24
• 發明（設計）人: 白靜;陳科雯;張景森;焦李成;緱水平;張向榮
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 61205 陜西電子工業專利中心
• 代理人: 程曉霞;王品華

本發明公開了一種基于輔任務的深度卷積小波神經網絡表情識別方法，解決了現有特征選擇算子不能高效學習出表情特征、無法提取更多圖像表情信息分類特征的問題。本發明實現為：搭建深度卷積小波神經網絡；建立人臉表情集和相應的表情敏感區域圖像集；輸入人臉表情圖像到網絡；訓練深度卷積小波神經網絡；網絡誤差反向傳播；更新網絡各卷積核和偏置向量；輸入表情敏感區域圖像到訓練好的網絡；學習輔任務的加權比重；獲得網絡全局分類標簽；依全局標簽統計識別正確率。本發明兼顧了表情圖像的抽象和細節信息，增強表情敏感區域在表情特征學習中的影響力，明顯提高了表情識別的正確率，可應用于對人臉表情圖像的表情識別。

技術領域

本發明屬于圖像處理技術領域，主要涉及計算機視覺識別，具體是一種基于輔任務的深度卷積小波神經網絡表情識別方法?？蓱糜谌四槺砬樽R別中對表情特征進行學習和分類。

背景技術

人臉表情識別是圖像處理與計算機視覺領域中的一項前沿技術。它是由圖像處理到圖像分析的關鍵步驟，分割結果的優劣直接影響到隨后的圖像分析，理解和求解等問題。人臉表情識別的目的是研究人臉表情的編碼模型，學習和提取人臉表情的特征表達方式，實現計算機對人臉表情自動合成，跟蹤和識別。

目前，對人臉表情識別的技術研究主要圍繞特征提取和分類算法這兩個方面展開。基于深度學習網絡的人臉表情識別方法近幾年已有被研究人員使用，特別是深度學習網絡中的善于處理二維圖像的深度卷積神經網絡更是被研究者應用到表情識別領域，但是一般意義上的深度卷積神經網絡注重的是從低層到高層之間對圖像的抽象映射，以獲得高級的特征表達方式，卻在獲得高級特征表達形式時忽略了表情圖像的紋理和細節信息。并且，通常使用的深度網絡一般是單任務深度網絡，在對表情的特征學習時不能有效的突出表情敏感區域對特征表達的主要貢獻力。

在現有的表情識別技術中，主要是先特征選擇然后再進行分類的方法，但是在特征選擇步驟中，現有特征選擇算子不能對表情特征進行高效的學習，使得后續的分類得不到理想的結果。另外，呂亞丹等人采用了深度自編碼網絡作為分類器，也沒有避開特征選擇這一步驟，因而導致最終分類效果提升不大。

發明內容

本發明針對上述現有技術的不足，提出一種基于輔任務的深度卷積小波神經網絡表情識別方法。

本發明是一種基于輔任務的深度卷積小波神經網絡表情識別方法，其特征在于，包括有如下步驟：

(1)搭建一個由三個卷積層，兩個池化層，一個多尺度變換層，一個全連接層，一個softmax輸出層的深度卷積小波網絡；網絡卷積層的偏置權值矩陣初始化為0矩陣，網絡的激活函數選用的是Sigmoid函數；

(2)建立人臉表情圖像集和表情敏感區域圖像集，表情敏感區域圖像集由人臉表情圖像集裁剪出眉眼和嘴巴部位獲得，將人臉表情圖像數據集中的一部分圖像作為網絡的訓練圖像集，剩余的圖像作為測試圖像集；

(3)將一幅訓練圖像輸入到深度卷積小波網絡中，輸入圖像的尺寸大小為96*96；

(4)深度卷積小波網絡的第一層為卷積層，該卷積層對每一幅輸入人臉表情訓練圖像做卷積操作，選擇卷積核的個數為Q₁，卷積核尺寸為7*7：

(4a)采用隨機初始化的方法配置卷積核的權值為[-0.5,0.5]之間的近零數；

(4b)每個卷積核都對人臉表情圖像進行卷積操作，獲得Q₁個卷積后的特征圖，每個卷積核的特征圖尺寸為90*90；

(5)網絡的第二層為池化層，該池化層將上一層卷積層得到的Q₁個特征圖作為輸入，并進行池化操作：

該池化層采用的池化方法是在不重疊的2*2區域內進行最大值的選擇，得到該池化層的Q₁個特征圖，池化后特征圖尺寸大小為45*45；