[發明專利]識別模型訓練方法、微表情識別方法、裝置、設備及介質

在審

• 申請號: 202210504109.3
• 申請日: 2022-05-10
• 公開（公告）號: CN114743249A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 宋延新;王健宗;黃章成
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/40;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06F40/30;G06K9/62;G06N3/04
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 姚章國

1.一種識別模型訓練方法，其特征在于，包括：

獲取微表情樣本數據集，所述微表情樣本數據集包括多個視頻樣本數據；

采用初始視覺識別模型對所述視頻樣本數據進行視覺特征提取，得到所述視頻樣本數據的視覺特征；

采用語義識別模型對所述視頻樣本數據的微表情屬性進行語義特征提取，得到所述視頻樣本數據的微表情語義特征；

對所述視頻樣本數據的視覺特征和微表情語義特征進行跨模態對比學習，得到所述視頻樣本數據的對比學習損失值；

根據所述對比學習損失值確定所述視頻樣本數據的總損失值；

在所述總損失值未達到收斂條件時，迭代更新所述初始視覺識別模型的初始參數，直至所述總損失值達到所述收斂條件，將收斂后的所述初始視覺識別模型記錄為微表情識別模型。

2.如權利要求1所述的識別模型訓練方法，其特征在于，所述采用初始視覺識別模型對所述視頻樣本數據進行視覺特征提取，得到所述視頻樣本數據的視覺特征，包括：

對所述視頻樣本數據進行預處理，得到所述視頻樣本數據的視頻序列；

計算所述視頻樣本數據的視頻序列中兩相鄰幀之間的光流，得到所述視頻樣本數據的光流序列；

將所述視頻樣本數據的視頻序列和光流序列，輸入所述初始視覺識別模型進行特征提取和融合，得到所述視頻樣本數據的視覺特征。

3.如權利要求1所述的識別模型訓練方法，其特征在于，所述采用語義識別模型對所述視頻樣本數據的微表情屬性進行語義特征提取，得到所述視頻樣本數據的微表情語義特征，包括：

確定所述視頻樣本數據中微表情所屬類別，并確定所述微表情所屬類別在面部行為編碼系統中對應的文本信息，作為所述視頻樣本數據的微表情屬性信息；

將所述視頻樣本數據的微表情屬性信息，輸入所述語義識別模型進行語義編碼，得到所述視頻樣本數據的微表情語義特征。

4.如權利要求1所述的識別模型訓練方法，其特征在于，所述對所述視頻樣本數據的視覺特征和微表情語義特征進行跨模態對比學習，得到所述視頻樣本數據的對比學習損失值，包括：

將所述視頻樣本數據作為目標視頻樣本數據，并將所述微表情樣本數據集中除所述目標視頻樣本數據之外的所述視頻樣本數據，作為對照視頻樣本數據；

將所述目標視頻樣本數據的視覺特征和微表情語義特征，記錄為正例樣本特征對；

將所述目標視頻樣本數據的視覺特征和所述對照視頻樣本數據的微表情語義特征，記錄為負例樣本特征對；

對所述正例樣本特征對與多個所述負例樣本特征對進行損失計算，得到所述對比學習損失值。

5.如權利要求1-4任一項所述的識別模型訓練方法，其特征在于，所述根據所述對比學習損失值確定所述視頻樣本數據的總損失值，包括：

確定所述初始視覺識別模型對所述視覺特征的分類損失值，記為第一分類損失值；

確定所述語義識別模型對所述微表情語義特征的分類損失值，記為第二分類損失值；

根據所述第一分類損失值、所述第二分類損失值和所述對比學習損失值，確定所述視頻樣本數據的總損失值。

6.一種微表情識別方法，其特征在于，包括：

獲取待識別視頻數據，并獲取如權利要求1-5任一項所述識別模型訓練方法訓練得到的微表情識別模型；

對所述待識別視頻數據進行預處理，得到所述待識別視頻數據的模型輸入數據；

將所述模型輸入數據輸入所述微表情識別模型進行微表情識別；

獲取所述微表情識別模型的輸出數據，并將所述輸出數據作為所述待識別視頻數據的微表情識別結果輸出。