[發明專利]一種強化類間區分的表情識別方法

在審

• 申請號: 202110047932.1
• 申請日: 2021-01-14
• 公開（公告）號: CN112766134A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 葛洪偉;黃浩;楊金龍;江明
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 林娟

1.一種強化類間區分的表情識別方法，其特征在于，所述方法使用殘差網絡作為骨干網絡模型，根據各類表情之間的關聯強度在骨干網絡模型上分別添加對應的分支網絡，得到RMRnet網絡模型，對所述RMRnet網絡模型進行訓練得到訓練好的RMRnet網絡模型，利用訓練好的RMRnet網絡模型進行表情識別。

2.根據權利要求1所述的方法，其特征在于，所述方法包括：

S1：對訓練數據集進行隨機欠采樣，得到平衡數據集，所述訓練數據集中數據為設有標簽的各種表情的圖片；

S2：使用殘差網絡作為骨干網絡模型，接受平衡數據集為數據輸入，得到召回率矩陣R；

S3：通過召回率矩陣和選擇算法，得到強弱關聯集；選擇算法具體為：

其中，其中，R_ij表示召回率矩陣R中i行j列的數據，同理R_ji表示矩陣R的j行i列的數據；α₂∈(0,0.33]為強弱閾值；S(i,j)表示第i類和第j類之間的關聯程度，為真時表示第i類和第j類為強相關，否則為弱相關；

S4：根據強弱關聯集在骨干網絡模型上分別添加對應的分支網絡，得到RMRnet網絡模型；

S5：利用公開的數據集ImageNet對骨干網絡模型進行預訓練，確定骨干網絡模型的初始參數；

S6：在表情識別的公開數據集上對整體RMRnet網絡模型做訓練，得到訓練好的網絡模型；

S7：利用訓練好的RMRnet網絡模型進行表情識別。

3.根據權利要求2所述的方法，其特征在于，所述S1對訓練數據集進行隨機欠采樣，得到平衡數據集，包括：

假設訓練數據集中第1到第n類的數量為N₁,N₂….N_n，其中的最小值記為minN，則每類數據均取minN個數據組成平衡數據集。

4.根據權利要求3所述的方法，其特征在于，所述S2使用殘差網絡作為骨干網絡模型，接受平衡數據集為數據輸入，得到召回率矩陣R，包括：

對于此時的網絡模型使用交叉熵損失函數，動量設定為0.5，學習率設定為0.01，迭代次數為40；采用權重衰減和學習率衰減策略，權重衰減系數為10^-5，得到召回率矩陣R。

5.根據權利要求4所述的方法，其特征在于，所述S3中，若第i類和第j類為強相關，則構建強相關集{i，j}，若第i類同時屬于多個強相關集，則只保留最大的強相關集；除強相關集職位的剩余類組成弱相關集。

6.根據權利要求5所述的方法，其特征在于，所述S4根據強弱關聯集在骨干網絡模型上分別添加對應的分支網絡，得到RMRnet網絡模型，包括：

所述骨干網絡模型由一個7×7的卷積層、一個3×3的池化層、四個規格不等的殘差塊、一個3×3的均值池化層和一個全連接層依次連接構成；

根據弱相關集設計一條支路，并將該支路緊接在骨干網絡的第2個殘差塊后；根據強相關集設計兩條支路并列緊接在骨干網絡的第3個殘差塊后，得到RMRnet網絡模型；每條支路為一個殘差塊和兩層全連接層的組合。

7.根據權利要求6所述的方法，其特征在于，所述方法對一個n類的表情分類任務，會得到一個n維向量作為輸出，每個支路的輸出都要乘以一個與關聯集相關的掩碼；

所述與關聯集相關的掩碼為：若關聯集為{i，j}，則與該關聯集相關的掩碼的第i,j維填充1，其余維度填充0。