[發明專利]基于注意力機制和一維卷積滑窗的微表情發現方法及系統

有效

• 申請號: 202210599250.6
• 申請日: 2022-05-30
• 公開（公告）號: CN114842539B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 曹葉文;周冠群;蔣友軍;袁樹森;邢紅波
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/0442;G06N3/048
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本發明公開一種基于注意力機制和一維卷積滑窗的微表情發現方法及系統，包括：獲取視頻流的連續幀圖像，進行空間特征的提取，對空間特征進行全局特征和局部特征的提取；根據某一圖像與其他圖像的全局特征之間的相關度，以及局部特征之間的相關度，分別得到全局注意力權重和局部注意力權重，根據全局注意力權重和局部注意力權重分別得到全局注意力特征和局部注意力特征，將全局注意力特征和局部注意力特征融合得到注意力特征；采用一維卷積滑窗以設定步長和檢測間隔在注意力特征中移動，以提取每個檢測間隔內的特征，對每個檢測間隔內的特征進行微表情識別，將檢測間隔的微表情識別結果進行間隔分組，以更加準確的定位到真實的微表情位置。

技術領域

本發明涉及計算機視覺技術領域，特別是涉及一種基于注意力機制和一維卷積滑窗的微表情發現方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

微表情發現是指從視頻流中找出微表情間隔，并標記微表情的起始幀、頂點幀和結束幀；起始幀是指微表情開始出現的幀；頂點幀是指微表情運動幅度最大的幀；結束幀是指微表情消失的幀。

起初，幾乎所有的方法都試圖通過計算幀之間的特征差異，并通過閾值來發現視頻中的微表情。例如，使用局部二進制模式的卡方距離來發現微表情或者使用光流的主方向幅度的最大差異值來發現微表情。然而，使用閾值的方法很難確定面部的微小運動。后來提出利用機器學習技術來區分微表情和正常的面部表情。然而傳統的機器學習方法不夠穩健，無法處理微表情的細微運動。

近年來，隨著深度學習的快速發展，雖然克服了傳統方法的局限性，但是，僅在微表情數據集的短視頻上進行分析。在短視頻中，很少有其他種類的頭部動作。同時，光線變化等環境對圖像的影響也可以忽略不計。因此，微表情是短視頻中比較明顯的動作，很容易被發現。

相比之下，在長視頻中，參與者難免會有眨眼、吞咽、頭部微弱旋轉等大量頭部動作，因此在長視頻中發現微表情更難。有的方法嘗試通過在預處理階段設置滑動窗口將長視頻拆分為短視頻，然后對每一個短視頻分別進行微表情識別，這樣使算法更容易專注于提取微表情的特征。然而，這樣仍是針對短視頻進行的分析，設計了只針對單一短視頻識別的二分類網絡，無法從一個長視頻的角度，分析幀與幀之間的關系，導致長視頻中微表情定位不準確的問題。

發明內容

為了解決上述問題，本發明提出了一種基于注意力機制和一維卷積滑窗的微表情發現方法及系統，基于注意力機制提取全局注意力特征和局部注意力特征，利用微表情間隔內的相關性突出時間維度上的關鍵幀特征，使用一維卷積滑窗將注意力特征劃分成多個檢測間隔，對每個檢測間隔內的特征進行微表情識別，最后將每個檢測間隔的微表情識別結果進行進一步的合并分組，以更加準確的定位到真實的微表情位置。

為了實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供一種基于注意力機制和一維卷積滑窗的微表情發現方法，包括：

獲取視頻流的連續幀圖像，對連續幀圖像進行預處理后，進行空間特征的提取，且對空間特征進行全局特征和局部特征的提取；

根據某一圖像與其他圖像的全局特征之間的相關度，以及局部特征之間的相關度，分別得到全局注意力權重和局部注意力權重，根據全局注意力權重和局部注意力權重分別得到全局注意力特征和局部注意力特征，將全局注意力特征和局部注意力特征融合得到注意力特征；

采用一維卷積滑窗以設定步長和檢測間隔在注意力特征中移動，以提取每個檢測間隔內的特征，對每個檢測間隔內的特征進行微表情識別，將檢測間隔的微表情識別結果進行間隔分組，以定位微表情位置。

作為可選擇的實施方式，全局注意力權重Att_g為：