[發明專利]基于區域分組與內部關聯融合的人臉表情識別方法及系統

有效

• 申請號: 202110272734.5
• 申請日: 2021-03-13
• 公開（公告）號: CN112990007B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 馬昕;澹臺姝昱;宋銳;榮學文;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

1.基于區域分組與內部關聯融合的人臉表情識別方法，其特征在于，包括：

獲取待識別的人臉表情圖像，并進行預處理；

構建內在關聯融合的卷積神經網絡模型，并利用預訓練的卷積神經網絡模型對所述人臉表情圖像進行表情識別，輸出表情識別結果；

其中，所述卷積神經網絡模型包括部分遮擋預處理模塊、面片分組模塊及內在關聯推理融合模塊，其中，所述部分遮擋預處理模塊以人臉表情圖像原圖作為全局參考，進行局部面片的分割與再生成；所述面片分組模塊利用自注意力機制分組時，引入平均數、中位數、中程數三種指標進行池化得到新的融合指標作為分類依據；所述內在關聯推理融合模塊從面片之間的內部關聯出發，構造兩種不同的面片組間關系；

所述內在關聯推理融合模塊，將幀全局特征推廣為組內全局特征，并將高、低權值的面片組局部與全局之間的內部關系顯式化；

所述將幀全局特征推廣為組內全局特征，并將高、低權值的面片組局部與全局之間的內部關系顯式化，具體為：考慮異組間的互補關系以及同組間的強化關系，其共對應三個關系分支，分別為：高局部特征與低全局特征的互補關系、低局部特征與高全局特征的互補關系以及高局部特征與高全局特征的強化關系。

2.如權利要求1所述的基于區域分組與內部關聯融合的人臉表情識別方法，其特征在于，所述部分遮擋預處理模塊選擇表情過程中變化頻率最高的四個人臉關鍵區域作為待提取的目標局部區域，分別為：左眉眼、右眉眼、眉間鼻根部以及嘴部，通過將左右眉眼分離作為兩種局部區域，有效應對在面對自然狀態下因未知遮擋而造成的一側眉眼不可見的情況。

3.如權利要求1所述的基于區域分組與內部關聯融合的人臉表情識別方法，其特征在于，所述面片分組模塊引入了多重統計學指標以及類池化方法生成具有代表性的融合均值作為高、低權值組的分組依據。

4.如權利要求1所述的基于區域分組與內部關聯融合的人臉表情識別方法，其特征在于，所述三個關系分支的提取采用Sigmoid和全連接層堆疊來實現，且每個關系分支的全局關系特征借鑒并拓展了現有的部分方法，具體如下：

其中，Hs表示高局部特征，Lgs表示低全局特征，..表示兩個張量進行級聯，表示張量積，關聯注意力張量p¹、p²、p⁰的獲取單元參數相同均為δ'，F'為全連接映射，σ'為Sigmoid層非線性化計算，最終對三個關系分支通過自適應融合來獲得最終用于分類的特征T，具體為：

其中，q_i為分支注意力張量，C_i為上面提出的三個關系分支特征，F”為全連接映射且其參數為δ”，σ”為Sigmoid層非線性化計算。

5.如權利要求1所述的基于區域分組與內部關聯融合的人臉表情識別方法，其特征在于，所述預處理包括利用處理工具進行人臉對齊和裁剪，確保人臉識別圖像的統一。