[發明專利]一種基于BERT網絡的微表情檢測方法

有效

• 申請號: 202110258141.3
• 申請日: 2021-03-10
• 公開（公告）號: CN112883896B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 賁晛燁;宋延新;熊海良;翟鑫亮;姚軍;李玉軍
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08;G06V20/40
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

1.一種基于BERT網絡微表情檢測方法，其特征在于，包括步驟如下：

A、對微表情視頻進行預處理，包括獲取視頻幀序列、人臉檢測與定位、人臉對齊以及提取光流序列特征；

B、對步驟A中的光流序列，將其劃分為訓練集和測試集，通過滑窗將光流序列劃分為若干個小尺寸的候選微表情片段，計算每個候選微表情片段的交并比IoU作為該片段的標記值；

C、構建時空特征提取模型，

所述時空特征提取模型包括三維卷積神經網絡和BERT網絡，所述三維卷積神經網絡提取候選微表情片段的每一個時隙內的特征，所述BERT網絡提取候選微表情片段的不同時隙間的特征，并形成該候選微表情片段最終的特征表達；

D、訓練時空特征提取模型；

E、根據訓練好的時空特征提取模型，評估測試集候選微表情片段的交并比IoU，IoU稱為微表情分數，IoU的取值范圍為[0,1]，IoU是指候選微表情片段處于微表情的概率；

F、將具有高IoU值的連續候選微表情片段分組合并，并對重疊片段進行抑制，形成最終的微表情檢測結果；

步驟C中,所述時空特征提取模型包括10層三維卷積殘差網絡3D ResNet和BERT網絡；

將微表情候選片段分成t個時隙，使用10層三維卷積殘差網絡3D ResNet提取時隙的時間和空間特征；

之后將每個時隙內的特征向量即提取到的時隙的時間和空間特征輸入到BERT網絡中，BERT網絡自動學習位置編碼，進行分類任務時，添加額外的嵌入向量x_cls，x_cls是標記位，表示接下來的位置是時序序列的起始序列，同時，輸出BERT模型最左邊[CLS]特殊符號的向量C，之后接全連接層，最終輸出預測標簽

BERT網絡形式如式(3)所示：

式(3)中，x_i是由三維卷積殘差網絡3D ResNet提取的時間和空間特征及其位置編碼組成的嵌入向量，x_j表示第j個時隙的嵌入向量；i表示時序位置索引，j表示所有可能的組合，N(x)是歸一化項，x是所有的時隙的集合，函數g(·)、θ(·)和φ(·)是BERT網絡的自注意力機制內的線性映射，函數f(x_i,x_j)表示x_i和x_j之間的相似性：f(x_i,x_j)＝softmax(θ(x_i)^Tφ(x_j))；學習函數g(·)、θ(·)和φ(·)函數的輸出分別定義為值向量、查詢向量和鍵，PFFN(·)表示前項反饋網絡；

則關于y_cls的顯示形式如式(4)所示：

2.根據權利要求1所述的一種基于BERT網絡微表情檢測方法，其特征在于，步驟A中，對微表情視頻進行預處理，包括步驟如下：

1)獲取視頻幀：對包含微表情的視頻進行分幀處理，得到視頻幀序列并存儲；

2)人臉檢測與定位：利用Dlib視覺庫對視頻幀序列進行人臉檢測和定位，給出所檢測的視頻幀中人臉數目和人臉距圖像邊界距離；

3)人臉對齊：利用Dlib視覺庫確定面部68個關鍵特征點，完成人臉分割并實現人臉矯正；

人臉分割是指：Dlib視覺庫使用矩形框分割人臉；

人臉矯正是指：在檢測出的面部68個關鍵特征點中，標注左眼左眼角的關鍵特征點37和標注右眼右眼角的關鍵特征點46的連線與水平線存在角度a，通過該角度a得到對應的旋轉矩陣，對分割出的人臉進行旋轉變換，使標注左眼左眼角的關鍵特征點37和標注右眼右眼角的關鍵特征點46的連線與水平線平行，實現人臉姿態的矯正；并將人臉進行縮放；

4)光流序列特征提取：利用Farneback光流算法提取對齊后的微表情特征，并保存為光流序列。