[發明專利]基于區域分組與內部關聯融合的人臉表情識別方法及系統

有效

• 申請號: 202110272734.5
• 申請日: 2021-03-13
• 公開（公告）號: CN112990007B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 馬昕;澹臺姝昱;宋銳;榮學文;李貽斌
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

本公開提供了一種基于區域分組與內部關聯融合的人臉表情識別方法及系統，所述方案基于人臉在自然條件下會受到不可預測的遮擋，對于有自然遮擋的正面人臉，無遮擋面部表情識別方法的識別效果較差的問題；通過提出的內在關聯融合的卷積神經網絡(Interrelated Fusion CNN，IRF?CNN)，從局部區域、上下文、整體圖像三個語義維度獲取關鍵辨識度特征，并通過基于統計指標的類池化單元根據面片的關鍵程度合理分組，進一步聚焦面片局部與全局間的獨立性以及互補性信息，有效提高了人臉表情識別的準確度。

技術領域

本公開屬于人臉表情識別技術領域，尤其涉及一種基于區域分組與內部關聯融合的人臉表情識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

近年來，面部表情識別技術因其不僅能反映交易者的情緒狀態，而且能包含交互者豐富的意圖信息，因此受到越來越廣泛的關注。它在人機交互、駕駛員疲勞監測、測謊、監控、娛樂機器人等方面具有一定的潛在應用前景。

盡管標準正面無遮擋的面部表情識別取得了良好的效果。但是，發明人發現，在現實世界中，人臉在自然條件下會受到不可預測的遮擋。面部遮擋可能是由頭部姿勢變化、光照、口罩、眼鏡等引起的。對于有自然遮擋的正面人臉，無遮擋面部表情識別方法的識別效果較差。因此無限制遮擋下的面部表情識別仍然是一個挑戰。

發明內容

本公開為了解決上述問題，提供了基于區域分組與內部關聯融合的人臉表情識別方法及系統，所述方案提出一種內在關聯融合的卷積神經網絡來實現遮擋人臉圖像多語義表情特征的提取與融合，進而提高了面部遮擋情況下人臉表情識別的精確度。

根據本公開實施例的第一個方面，提供了基于區域分組與內部關聯融合的人臉表情識別方法，包括：

獲取待識別的人臉表情圖像，并進行預處理；

構建內在關聯融合的卷積神經網絡模型，并利用預訓練的卷積神經網絡模型對人臉表情圖像進行表情識別，輸出表情識別結果；

其中，所述卷積神經網絡模型包括遮擋預處理模塊、面片分組模塊及內在關聯推理融合模塊，其中，所述部分遮擋預處理模塊以人臉表情圖像原圖作為全局參考，進行局部面片的分割與再生成；所述面片分組模塊利用自注意力機制分組時，引入平均數、中位數、中程數三種指標進行池化得到新的融合指標作為分類依據；所述內在關聯推理融合模塊從面片之間的內部關聯出發，構造兩種不同的面片組間關系。

根據本公開實施例的第二個方面，提供了基于區域分組與內部關聯融合的人臉表情識別系統，包括：

數據獲取模塊，其用于獲取待識別的人臉表情圖像，并進行預處理；

模型構建模塊，其用于構建內在關聯融合的卷積神經網絡模型；

人臉表情識別模塊，其用于利用預訓練的卷積神經網絡模型對人臉表情圖像進行表情識別，輸出表情識別結果；

其中，所述卷積神經網絡模型包括遮擋預處理模塊、面片分組模塊及內在關聯推理融合模塊，其中，所述部分遮擋預處理模塊以人臉表情圖像原圖作為全局參考，進行局部面片的分割與再生成；所述面片分組模塊利用自注意力機制分組時，引入平均數、中位數、中程數三種指標進行池化得到新的融合指標作為分類依據；所述內在關聯推理融合模塊從面片之間的內部關聯出發，構造兩種不同的面片組間關系。

根據本公開實施例的第三個方面，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上運行的計算機程序，所述處理器執行所述程序時實現所述的基于區域分組與內部關聯融合的人臉表情識別方法。

根據本公開實施例的第四個方面，提供了一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現所述的基于區域分組與內部關聯融合的人臉表情識別方法。