[發明專利]一種自發微表情識別方法

有效

• 申請號: 202011559343.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112580555B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳恩紅;徐童;趙思蕊;冷文昊;李弘毅
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種自發微表情識別方法，其特征在于，包括：

構建孿生三維卷積神經網絡，對其進行兩階段的訓練：第一階段訓練為先驗學習階段，孿生三維卷積神經網絡的輸入為預處理后的原始數據集通過類別標簽異同劃分得到的若干微表情樣本對，通過孿生三維卷積神經網絡來判斷微表情樣本對是否為同類的微表情，從而反向更新孿生三維卷積神經網絡的參數；第二階段訓練為目標學習階段，孿生三維卷積神經網絡的輸入為預處理后的原始數據集，通過第一階段訓練后的孿生三維卷積神經網絡對輸入微表情樣本進行分類，固定孿生三維卷積神經網絡前端特征提取層中靠前的若干卷積單元的參數，更新特征提取層其余卷積單元以及末端推理層的參數；其中，預處理后的原始數據集中的每一微表情樣本均為用于描述自發微表情的光流圖像幀序列；

之后，通過訓練得到的孿生三維卷積神經網絡對待識別的微表情樣本進行分類。

2.根據權利要求1所述的一種自發微表情識別方法，其特征在于，所述孿生三維卷積神經網絡包括兩個結構完全相同的子網絡，兩個子網絡的參數是完全共享的；每一個子網絡包括：前端的特征提取層、以及末端的推理層；

第一階段訓練中，微表情樣本對中的微表情樣本各自輸入至一個子網絡；第二階段訓練中，任選一個子網絡進行訓練；最終保留第二階段訓練后的子網絡對待識別的微表情樣本進行分類。

3.根據權利要求2所述的一種自發微表情識別方法，其特征在于，

所述特征提取層包括多個卷積單元，每一卷積單元包含依次設置的三維卷積層與最大池化層；

所述推理層包括：依次設置的拉伸層、全連接層、相似度度量層和分類輸出層；分類輸出層包含了Sigmoid與Softmax兩類激活函數，分別用于第一階段訓練的輸出與第二階段訓練的輸出，兩個子網絡共用同一個相似度度量層和分類輸出層。

4.根據權利要求1所述的一種自發微表情識別方法，其特征在于，第一階段訓練時，將單次輸入的微表情樣本對記為[I₁,I₂]，經過特征提取層后，將微表情樣本對的特征向量[F₁,F₂]，通過推理層度量兩個特征向量的L1距離并映射到[0,1]空間，得到微表情樣本對是否為同一類微表情的概率P(I₁,I₂)：

其中，D是特征向量F₁和F₂的維度，F₁＝[f₁₁,f₁₂,…,f_1D]，F₂＝[f₂₁,f₂₂,…,f_2D]；

根據概率P(I₁,I₂)與微表情樣本對是否為同類的真實標簽，利用神經網絡反向傳播算法更新孿生三維卷積神經網絡的參數。

5.根據權利要求3所述的一種自發微表情識別方法，其特征在于，第二階段訓練時，對于輸入微表情樣本，通過孿生三維卷積神經網絡預測其屬于第k類的概率：

其中，P(y＝k|v_i)表示v_i屬于第k類的概率；v_i是特征提取層輸出的微表情樣本特征再經過全連接層之后得到的輸出V中的元素，且V＝[v₁,v₂,…,v_n]，n為元素數目；K為總類別數，K＝n。

6.根據權利要求1或5所述的一種自發微表情識別方法，其特征在于，第二階段訓練時，使用Focal loss作為目標分類損失函數，表示為：

其中，y表示輸入微表情樣本的真實類別標簽，y＝(y₁、y₂,…,y_K)，真實類別對應的值為1，其余值為0；表示孿生三維卷積神經網絡預測的輸入微表情樣本屬于各類的概率，K為總類別數；a_i和γ均為超參數。