[發明專利]基于時空多特征融合的動態表情識別方法及系統

有效

• 申請號: 202110023841.4
• 申請日: 2021-01-08
• 公開（公告）號: CN112766112B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 楊明強;閆汝玉
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于時空多特征融合的動態表情識別方法，其特征是，包括：

獲取待識別的人臉表情圖像序列；

對待識別的人臉表情圖像序列進行預處理；

對預處理后的人臉表情圖像序列，提取時空特征；對表情峰值關鍵幀圖像，分別采集紋理特征和幾何特征；

對時空特征進行表情識別，得到第一識別結果，對紋理特征進行表情識別，得到第二識別結果；對幾何特征進行識別，得到第三識別結果；

對第一、第二和第三識別結果進行多數投票，得到最終的表情識別結果；

對預處理后的人臉表情圖像序列，提取時空特征；其中，時空特征是指改進的LBP-TOP直方圖特征；時空特征的提取步驟具體包括：

S1031：對于一個寬為X、高為Y、幀數為T的圖像序列，分別計算圖像序列XT平面、YT平面以及峰值幀圖像XY平面的LBP直方圖向量；

S1032：將表情序列XT和YT平面的LBP直方圖向量與XY平面表情峰值幀的LBP直方圖向量級聯，從而得到改進的LBP-TOP直方圖特征；

將裁剪后的表情峰值幀圖像采用70％的重疊率進行8×4的分塊，對分塊后的圖像提取LBP直方圖特征；將裁剪后的動態人臉圖像序列進行8×4的分塊，不采用70％的重疊率，對分塊后的圖像序列提取XT和YT平面的LBP-TOP直方圖特征；

對表情峰值關鍵幀圖像，分別采集紋理特征和幾何特征；幾何特征的提取步驟包括：

對表情的峰值幀圖像，采用SDM算法檢測到人臉49個關鍵點，將X軸和Y軸的坐標分別進行均值為0，方差為1的標準化操作；將98維特征向量作為人臉表情的幾何特征。

2.如權利要求1所述的基于時空多特征融合的動態表情識別方法，其特征是，對待識別的人臉表情圖像序列進行預處理；具體包括：

對待識別的人臉表情圖像序列中的所有幀人臉表情圖像，均進行灰度歸一化處理；

對灰度歸一化處理后的人臉表情圖像，進行裁剪；

對裁剪得到的人臉表情圖像進行幾何歸一化處理。

3.如權利要求1所述的基于時空多特征融合的動態表情識別方法，其特征是，對灰度歸一化處理后的人臉表情圖像，進行裁剪；具體包括：

對灰度歸一化后的圖像采用SDM算法檢測到人臉49個關鍵點，確定兩只眼睛瞳孔的坐標，這兩只眼睛瞳孔之間的距離為d，以兩只眼睛瞳孔距離的中點為中心點，將動態人臉圖像序列中的每幀人臉圖像進行裁剪，裁剪后圖片的寬為1.2×d，高為2.25×d。

4.如權利要求1所述的基于時空多特征融合的動態表情識別方法，其特征是，對表情峰值關鍵幀圖像，分別采集紋理特征和幾何特征；其中，紋理特征是指Gabor特征；紋理特征的提取步驟具體包括：

采用5個尺度8個方向的Gabor濾波器，對歸一化后的表情峰值幀圖像提取Gabor幅值特征作為紋理特征。

5.如權利要求1所述的基于時空多特征融合的動態表情識別方法，其特征是，對第一、第二和第三識別結果進行多數投票，得到最終的表情識別結果；具體包括：

對第一、第二和第三識別結果進行多數投票，通過集成學習的多數投票法得到分類結果。