[發明專利]一種微表情識別方法、裝置、設備及存儲介質

在審

• 申請號: 202210113904.X
• 申請日: 2022-01-30
• 公開（公告）號: CN114445900A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 張津;劉帥;郎需明
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/75;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 嚴慧

本發明公開了一種微表情識別方法，包括：提取視頻中包含微表情的圖像序列；根據圖像序列建立空間直角坐標系，分別確定三個坐標面的特征直方圖及對應權重，并生成加權特征；根據加權特征在微表情分類器中進行匹配，確定圖像序列對應的微表情類別。本發明公開的微表情識別方法，利用LBP算子和SMBP算子組成SMLBP算子進行圖像的特征提取，采用近鄰點對相減，不僅降低特征維數，且對遮擋物、光照更具魯棒性，并可以代表人臉微表情的運動方向；同時采用自適應權重算法，給予每個平面不同權重，避免了固定閾值不一定適應所有視頻序列的弊端，可以更好地識別微表情。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種微表情識別方法、裝置、設備及存儲介質。

背景技術

微表情不同于普通表情，它是一種持續時間短且一閃而過的面部表情，持續時間約1/25秒至1/5秒，是人類試圖壓抑或者隱藏真實情感時泄露的不能自主且不易被觀察到的面部表情。人類面部表情是人類內心世界的一面鏡子，反映著人的內在情緒，最基本的表情分為以下幾類：快樂、悲傷、驚訝、恐懼、憤怒、厭惡。人臉微表情識別的幾個應用領域如下所示：(1)人臉微表情識別在醫學臨床領域的應用研究；(2)微表情識別在國家安全領域的應用研究；(3)微表情識別在謊言識別領域的應用研究；(4)微表情識別在心理學領域的應用研究。通過分析研究人臉微表情，研究人臉微表情識別算法，使我國的人臉微表情理論體系更完善，推動人臉微表情的發展，在臨床、國家安全、謊言、心理學等中都有很多潛在的應用價值。

現有的微表情識別方法主要為通過LBP算子進行識別的方法。LBP是局部二值模式，英文全稱為Local Binary Patterns，是一種用來描述圖像局部紋理特征的算子，具有旋轉不變性和灰度不變性等顯著的優點，用于紋理特征提取，且提取的特征是圖像的局部的紋理特征。

現有技術的缺點主要有：(1)LBP算子對噪聲、光照魯棒性較差；(2)LBP算子不能很好地去識別微表情統一的運動方向；(3)LBP算子沒有考慮各個平面權重自適應，并不能很好去識別微表情。

發明內容

本發明提供了一種微表情識別方法、裝置、設備及存儲介質，以解決現有技術對微表情的識別結果不理想的問題。

根據本發明的一方面，提供了一種微表情識別方法，包括：

提取視頻中包含微表情的圖像序列；

根據所述圖像序列建立空間直角坐標系，分別確定三個坐標面的特征直方圖及對應權重，并生成加權特征；

根據所述加權特征在微表情分類器中進行匹配，確定所述圖像序列對應的微表情類別。

進一步地，提取視頻中包含微表情的圖像序列，包括：

提取所述視頻中至少兩張包含微表情的連續圖像；

對所述連續圖像進行歐拉放大、圖像去噪及尺寸歸一化處理，將處理后的所述連續圖像作為所述圖像序列。

進一步地，分別確定三個坐標面的特征直方圖及對應權重，并生成加權特征，包括：

確定所述三個坐標面上每個像素點的局部二值模式特征和對稱幅值二值模式特征；

根據所述局部二值模式特征和對稱幅值二值模式特征分別確定所述三個坐標面的特征直方圖；

根據所述特征直方圖分別確定三個坐標面的權重，將所述權重與特征直方圖對應相乘得到所述加權特征。

進一步地，確定所述三個坐標面上每個像素點的局部二值模式特征和對稱幅值二值模式特征，包括：

針對每個坐標面，確定當前像素點；

以所述當前像素點為圓心確定當前像素環，在所述當前像素環上提取所述局部二值模式特征和對稱幅值二值模式特征；