[發明專利]一種融入注意力的殘差網絡表情識別方法

有效

• 申請號: 202011374602.5
• 申請日: 2020-11-30
• 公開（公告）號: CN112541409B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 譚志;史志博
• 申請（專利權）人: 北京建筑大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 劉源

本發明提供的一種融入注意力的殘差網絡表情識別方法，對原CBAM進行優化改進，在獲取通道重要度權重的策略上，采用特征融合訓練的方法，提升了模型的擬合能力，增強了關鍵性通道特征的表示。將改進后的CBAM融入到ResNet模型的殘差學習模塊中，與特征提取層以先后串行結構融合構建了新的網絡模型RARNet，將注意力模塊融入到殘差結構中，通過殘差網絡的捷徑連接，避免了因網絡深度的加深而出現的網絡退化的情況。該模型加深了對表情判別性特征的表示，抑制了不必要特征，以小參數量的增加提升了對表情的特征提取性能。改進后的CBAM屬于輕量級結構，RARNet以較小參數量的增加在FER2013和CK+數據集上取得了比傳統網絡模型和其他相關方法更好的識別效果。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種融入注意力的殘差網絡表情識別方法。

背景技術

人臉表情識別是圖像識別領域的研究熱點，表情是人類情感表達的一種重要方式，表情識別技術是實現人機交互和人工智能的基礎，具有很大研究價值。人臉表情識別方法主要分為人臉檢測、特征提取和分類識別三個步驟，特征提取是表情識別過程中重要一環，提取出更好表現表情信息的特征是提升人臉表情識別精度的關鍵。傳統的人工設計的表情特征提取方法，設計復雜，很難提取圖像的高階特征，易受干擾且不穩定。

隨著深度學習的發展，基于深度學習的表情特征提取方法被廣泛應用。為了適應復雜的應用場景，更多的深度神經網絡模型被提出，如AlexNet、VGGNet、GooLeNet、ResNet、DenseNet等，比傳統的表情識別方法具有更好的效果。但是隨著網絡的加深，也會出現梯度不穩定，網絡退化和參數量越來越大的問題。研究學者通過改良網絡模型和融合其他算法的方式去提升表情識別性能，但取得的效果甚微。

近年來，注意力機制的飛速發展為表情識別的研究提供了新思路，其中，Woo等提出了一個簡單但有效的卷積塊注意力模塊(Convolutional Block Attention Module，CBAM)，給定一個中間特圖，通過空間和通道兩個維度依次推斷出注意力權重，然后與原特征圖相乘來對特征進行自適應調整，加深關鍵性特征的表示，提升了特征提取能力；又因為CBAM是一個輕量級的通用模塊，參數量較小，在不同的分類和檢測數據集上，將CBAM集成到不同的模型中后，以較小參數量的增加，模型的表現都有了一定的提升。CBAM機制分為五步。第一步，先將輸入特征圖經過通道注意力模塊提取用以表達通道重要度的通道注意力系數。在通道注意力模塊，每一個通道都作為對人臉表情圖片的特征提取器，通道注意力作用是擇取有意義的特征。為了匯集空間特征，對輸入的特征圖壓縮空間維數，分別采用全局平均池化和最大池化的方式進行壓縮，通過全局最大池化彌補全局平均池化丟失的一部分重要特征。將得到的兩部分特征圖分別放入一個含有一個隱藏層的多層感知機中分別計算，簡化計算量，將分別得到的兩組特征圖融合后作為整個通道注意力模塊的輸出；第二步，將通道注意力系數與原特征圖相乘得到增強了通道重要度的特征圖；第三步，將增強了通道重要度的特征圖經過空間注意力模塊提取用以表達空間重要度的空間注意力系數。在空間注意力模塊，主要用來提取特征圖內部空間的關系，運算出那一小部分特征需要被重點關注，是對通道注意力模塊的補充，在通道軸做池化操作以突顯有效特征區域，再經過卷積操作和激活后生成表達空間關鍵性特征的空間注意力系數；第四步，將空間注意力模塊的輸入特征與空間注意力系數相乘得到CBAM最后的輸出特征。第五步，把CBAM嵌入到殘差網絡每個block后面，通過該網絡對訓練集和驗證集進行權重的訓練和不同標簽數據的分類。

發明內容

本發明的實施例提供了一種融入注意力的殘差網絡表情識別方法，用于解決現有技術中的如下技術問題：

在通道注意力模塊的多層感知機中，每個神經元會根據經過的每組特征前后進行參數計算調整，并且容易傾向于后輸入的特征。在共享權重的情況下，若將兩組特征經過同一MLP中去訓練權重的話，會出現顧此失彼的情況；

在網絡構建中，將注意力模塊置于殘差結構后，會使加入的激活函數影響通過捷徑連接反向傳播的梯度，出現由于網絡層冗余使梯度不斷減小和退化問題。