[發明專利]基于時空多特征融合的動態表情識別方法及系統

有效

• 申請號: 202110023841.4
• 申請日: 2021-01-08
• 公開（公告）號: CN112766112B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 楊明強;閆汝玉
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于時空多特征融合的動態表情識別方法及系統，包括：獲取待識別的人臉表情圖像序列；對待識別的人臉表情圖像序列進行預處理；對預處理后的人臉表情圖像序列，提取時空特征；對表情峰值關鍵幀圖像，分別采集紋理特征和幾何特征；對時空特征進行表情識別，得到第一識別結果，對紋理特征進行表情識別，得到第二識別結果；對幾何特征進行識別，得到第三識別結果；對第一、第二和第三識別結果進行多數投票，得到最終的表情識別結果。本發明方法對LBP?TOP算子進行改進，增強了特征的表達能力和特征提取速率。本發明提出了一種新的幾何特征表達方式，直接將歸一化后的人臉關鍵點作為幾何特征，有效地降低特征維度。

技術領域

本申請涉及圖像處理技術領域，特別是涉及基于時空多特征融合的動態表情識別方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

隨著人工智能和計算機技術的不斷發展，人臉表情識別也成為研究熱點。機器通過識別人臉面部表情的變化，分析人類的內在心理活動，從而更好地為人類服務，促進人工智能的進一步發展。通過人臉表情進行情感識別是情感計算中最有效、最直接的方法之一。面部表情以非語言的形式反映人類情感狀態，是人類情感表達系統中不可缺少的組成部分。研究表明，在口語交流中，說話者想要傳遞的情感信息有55％來自面部表情，面部表情包含最多的情感信息。心理學家將人類的情緒劃分為六種基本情感，即憤怒、厭惡、恐懼、快樂、悲傷和驚訝，每種情感有其相應的表情。靜態和動態方法的融合可以突破各自的局限性，面部表情的峰值幀具有很強的表達能力，而時間信息在特殊的視頻分類任務中是必不可少的。而且，單個特征不夠全面和豐富，不足以捕獲全局信息，因此需要設計一個魯棒的特征提取算子將多個互補特征進行融合。

目前，表情識別的研究有兩種主流方法：基于圖像的方法和基于視頻的方法。基于圖像的方法直接對表情的峰值幀進行分析和提取特征，是一種靜態的方法，該方法通常分為兩類：基于幾何特征的方法和基于外觀特征的方法；而基于視頻的方法是對圖像序列進行處理，提取表情序列中的時間和運動信息，是一種動態的方法。然而，很少有工作將這兩種方法結合在一起。

雖然表情識別在人機交互、安全駕駛、醫療診斷等領域已經有了廣泛的應用，但是受個體差異、面部遮擋和面部姿勢變化的影響，表情識別的精度依然有待于提高。由于人臉表情的變化是一個動態的過程，單一特征的提取具有局限性，導致特征提取不充分，識別準確率不理想。

發明內容

為了解決現有技術的不足，本申請提供了基于時空多特征融合的動態表情識別方法及系統；該方法將時間特征、紋理特征和幾何特征相結合，采用集成學習的相對多數投票法，將特征在決策層進行融合，解決單一特征描述子具有局限性的問題，從而提高表情識別準確率。

第一方面，本申請提供了基于時空多特征融合的動態表情識別方法；

基于時空多特征融合的動態表情識別方法，包括：

獲取待識別的人臉表情圖像序列；

對待識別的人臉表情圖像序列進行預處理；

對預處理后的人臉表情圖像序列，提取時空特征；對表情峰值關鍵幀圖像，分別采集紋理特征和幾何特征；

對時空特征進行表情識別，得到第一識別結果，對紋理特征進行表情識別，得到第二識別結果；對幾何特征進行識別，得到第三識別結果；

對第一、第二和第三識別結果進行多數投票，得到最終的表情識別結果。

第二方面，本申請提供了基于時空多特征融合的動態表情識別系統；

基于時空多特征融合的動態表情識別系統，包括：

獲取模塊，其被配置為：獲取待識別的人臉表情圖像序列；

預處理模塊，其被配置為：對待識別的人臉表情圖像序列進行預處理；