[發(fā)明專利]基于注意力機(jī)制和一維卷積滑窗的微表情發(fā)現(xiàn)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210599250.6
• 申請日: 2022-05-30
• 公開（公告）號: CN114842539B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 曹葉文;周冠群;蔣友軍;袁樹森;邢紅波
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/0442;G06N3/048
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.基于注意力機(jī)制和一維卷積滑窗的微表情發(fā)現(xiàn)方法，其特征在于，包括：

獲取視頻流的連續(xù)幀圖像，對連續(xù)幀圖像進(jìn)行預(yù)處理后，進(jìn)行空間特征的提取，且對空間特征進(jìn)行全局特征和局部特征的提取；所述預(yù)處理包括，對連續(xù)幀圖像進(jìn)行像素值的歸一化處理，對像素值歸一化后的連續(xù)幀圖像進(jìn)行人臉檢測、人臉對齊、圖像裁剪和大小歸一化處理；

根據(jù)某一圖像與其他圖像的全局特征之間的相關(guān)度，以及局部特征之間的相關(guān)度，分別得到全局注意力權(quán)重和局部注意力權(quán)重，根據(jù)全局注意力權(quán)重和局部注意力權(quán)重分別得到全局注意力特征和局部注意力特征，將全局注意力特征和局部注意力特征融合得到注意力特征；

其中，全局注意力權(quán)重Att_g為：

其中，F(xiàn)_l是局部特征；F_g是全局特征，d是向量長度；將全局注意力權(quán)重與全局特征相乘得到全局注意力特征；

局部注意力權(quán)重Att_l為：

其中，F(xiàn)_g是全局特征；F_l是局部特征；d是向量長度；將局部注意力權(quán)重與局部特征相乘得到局部注意力特征；

將全局注意力特征和局部注意力特征相加后取平均得到注意力特征；

采用一維卷積滑窗以設(shè)定步長和檢測間隔在注意力特征中移動，以提取每個(gè)檢測間隔內(nèi)的特征，對每個(gè)檢測間隔內(nèi)的特征進(jìn)行微表情識別，將檢測間隔的微表情識別結(jié)果進(jìn)行間隔分組，以定位微表情位置，具體為：

對連續(xù)幀圖像經(jīng)預(yù)處理后得到圖像序列，對圖像序列利用VGG16網(wǎng)絡(luò)提取空間特征，利用Bi-LSTM對空間特征提取全局特征，利用一維卷積對空間特征提取局部特征；一維卷積滑窗從注意力特征的一側(cè)開始，覆蓋注意力特征中kernel_size個(gè)元素，對應(yīng)覆蓋位置的元素相乘并相加，得到當(dāng)前檢測間隔內(nèi)的特征，然后向另一側(cè)移動stride個(gè)單位，再次執(zhí)行相同的操作，最終得到特征向量；將檢測間隔的微表情識別結(jié)果進(jìn)行間隔分組的過程包括：

獲取檢測間隔的微表情識別結(jié)果大于第一閾值的檢測間隔，并獲取其在視頻流中的實(shí)際位置，并將該位置數(shù)值設(shè)定為1，其余位置設(shè)定為0；

以第一個(gè)數(shù)值為1的位置作為初始間隔的起始幀位置，以第一個(gè)數(shù)值為0的點(diǎn)的前一位置作為初始間隔的結(jié)束幀位置，將起始幀位置和結(jié)束幀位置組成的間隔添加到初始間隔分組列表中；

判斷初始間隔分組列表中當(dāng)前間隔的結(jié)束幀位置與其后一間隔的起始幀位置之間的差值的絕對值是否小于或等于第二閾值的間隔，若是，則將當(dāng)前間隔與其后一間隔合并，并添加到間隔分組列表中；否則，將當(dāng)前間隔添加到間隔分組列表中；

獲取間隔分組列表中間隔幀數(shù)滿足微表情平均幀數(shù)的間隔，以此定位微表情位置。