[發(fā)明專利]一種融入注意力的殘差網(wǎng)絡(luò)表情識別方法

有效

• 申請?zhí)枺?/td>: 202011374602.5
• 申請日: 2020-11-30
• 公開（公告）號: CN112541409B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 譚志;史志博
• 申請（專利權(quán)）人: 北京建筑大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 劉源

1.一種融入注意力的殘差網(wǎng)絡(luò)表情識別方法，其特征在于，包括將特征圖輸入到卷積塊注意力模塊中進(jìn)行處理和將卷積塊注意力模塊融入到殘差學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；

所述的將特征圖輸入到卷積塊注意力模塊中進(jìn)行處理包括：

S1獲取特征圖，通過通道注意力模塊處理該特征圖，獲得通道注意力權(quán)重系數(shù)；所述通道注意力模塊中具有第一拼接融合器，用于將池化處理后的特征圖在進(jìn)行權(quán)重訓(xùn)練之前進(jìn)行拼接融合處理；

S2將所述特征圖與所述通道注意力權(quán)重系數(shù)相乘，獲得通道維度關(guān)鍵信息特征圖；

S3通過空間注意力模塊處理該通道維度關(guān)鍵信息特征圖，獲得空間注意力權(quán)重系數(shù)；

S4將所述空間注意力權(quán)重系數(shù)與通道維度關(guān)鍵信息特征圖相乘，獲得空間位置關(guān)鍵信息特征圖；

所述的將卷積塊注意力模塊融入到殘差學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練包括：

S5將卷積塊注意力模塊與殘差學(xué)習(xí)網(wǎng)絡(luò)中的特征提取層進(jìn)行融合，分別構(gòu)建下采樣卷積模塊和殘差注意力模塊，通過該下采樣卷積模塊和殘差注意力模塊訓(xùn)練所述卷積塊注意力模塊，獲得特征圖表情識別結(jié)果；

構(gòu)建所述下采樣卷積模塊的過程包括：

S51將所述卷積塊注意力模塊的輸出依次通過殘差學(xué)習(xí)網(wǎng)絡(luò)中的三個卷積層進(jìn)行卷積操作；

S52對所述特征圖通過一個卷積層進(jìn)行卷積操作；

S53將S51和S52的處理結(jié)果進(jìn)行加和運算，再進(jìn)行一次Relu函數(shù)處理；

構(gòu)建所述殘差注意力模塊的過程包括：

S54將所述卷積塊注意力模塊的輸出依次通過殘差學(xué)習(xí)網(wǎng)絡(luò)中的三個卷積層進(jìn)行卷積操作；

S55將S54的處理結(jié)果結(jié)合所述特征圖進(jìn)行加和運算，再進(jìn)行一次Relu函數(shù)處理；

所述的通過該下采樣卷積模塊和殘差注意力模塊訓(xùn)練所述卷積塊注意力模塊，獲得特征圖表情識別結(jié)果包括：

基于該下采樣卷積模塊和殘差注意力模塊訓(xùn)練所述卷積塊注意力模塊建立殘差注意力調(diào)和網(wǎng)絡(luò)模型；該殘差注意力調(diào)和網(wǎng)絡(luò)模型由一個卷積層、一個最大池化層、3個所述下采樣卷積模塊、13個所述殘差注意力模塊、一個平均池化層和一個全連接層構(gòu)成；

將待處理的表情圖像輸入到該殘差注意力調(diào)和網(wǎng)絡(luò)模型中進(jìn)行處理，再通過Softmax分類器進(jìn)行分類識別，獲得所述特征圖表情識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S1具體包括：

S11將特征圖分別通過第一全局平均池化層和第一最大池化層進(jìn)行壓縮，獲得第一池化特征和第二池化特征；

S12將該第一池化特征和第二池化特征通過所述第一拼接融合器進(jìn)行拼接融合，獲得第一融合特征；

S13將該第一融合特征通過多層感知機(jī)進(jìn)行降維升維處理，再通過Sigmoid函數(shù)進(jìn)行激活處理，獲得所述通道注意力權(quán)重系數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S13中，所述的通過多層感知機(jī)進(jìn)行降維升維處理包括：

將所述第一融合特征輸入第一FC層，通過Y₀＝W₀×X進(jìn)行降維處理，獲得降維后的第一融合特征Y₀；式中，X為所述第一融合特征，W₀為第一FC層的權(quán)重；

將該降維后的第一融合特征Y₀輸入第二FC層，通過Y₁＝W₁×Y₀進(jìn)行升維處理，獲得輸出特征Y₁。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通道注意力模塊的處理過程包括N_C(A)＝σ(MLP([MaxPool(A)；AvgPool(A)])；

式中，[MaxPool(A)；AvgPool(A)]為所述融合特征，N_C(A)為所述通道注意力權(quán)重系數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟S2包括：

S21通過獲得所述通道維度關(guān)鍵信息特征圖；A為輸入到通道注意力模塊的特征圖，A′為通道維度關(guān)鍵信息特征圖。