[發(fā)明專利]一種基于光流疊加的微表情檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010445486.5
• 申請(qǐng)日: 2020-05-24
• 公開(kāi)（公告）號(hào): CN111626179B
• 公開(kāi)（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 王甦菁;賀穎;謝海永
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院心理研究所;中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16
• 代理公司: 北京東方芊悅知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11591
• 代理人: 彭秀麗

本發(fā)明公開(kāi)了一種基于光流疊加的微表情檢測(cè)方法，對(duì)視頻樣本圖片進(jìn)行預(yù)處理，得到視頻中每幀圖片的人臉定位區(qū)域；建立一個(gè)長(zhǎng)度為2k的滑動(dòng)窗口[Fsubgt;i－k/subgt;，F(xiàn)subgt;i+k/subgt;]；在滑動(dòng)窗口中，將計(jì)算的稠密光進(jìn)行光流疊加后得到疊加光流Ssubgt;i/subgt;和Ssubgt;i+k/subgt;；計(jì)算主方向上疊加光流Ssubgt;i+k/subgt;與Ssubgt;i/subgt;的模值差值，計(jì)算每幀圖片中各個(gè)方形區(qū)塊的光流特征值；根據(jù)各方形區(qū)塊的光流特征值，計(jì)算滑動(dòng)窗口中當(dāng)前檢測(cè)幀F(xiàn)subgt;i/subgt;圖片的特征平均值dsubgt;i/subgt;，并依次得到視頻中所有幀圖片的特征平均值和相對(duì)差值rsubgt;i/subgt;；比較相對(duì)差值rsubgt;i/subgt;和閾值T，找出所有大于閾值T的相對(duì)差值rsubgt;i/subgt;所對(duì)應(yīng)的幀圖片序號(hào)i。通過(guò)疊加光流可以削弱光流中的隨機(jī)噪聲信息，提高微表情檢測(cè)方法的性能上限，具有增大檢測(cè)方法的最大F1?score的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及微表情檢測(cè)技術(shù)領(lǐng)域，具體涉及一種基于光流疊加的微表情檢測(cè)方法。

背景技術(shù)

微表情是人們?cè)陔[藏自己情緒時(shí)所泄露的快速面部表情。在一段視頻中，檢測(cè)是否發(fā)生了微表情并且定位微表情發(fā)生的時(shí)間段，可以用于謊言的檢測(cè)和說(shuō)謊時(shí)間的定位。F1-score可以有效地平衡一個(gè)微表情檢測(cè)方法的準(zhǔn)確率和召回率，從而成為了衡量微表情檢測(cè)方法性能的通用指標(biāo)。通常情況下，方法的參數(shù)設(shè)置會(huì)影響F1-score的值，但是這種影響對(duì)于F1-score的提升是有上限的。也就是說(shuō)，F(xiàn)1-score在不同的參數(shù)設(shè)置中會(huì)有一個(gè)最大值。在基于光流分析的微表情檢測(cè)方法中，所計(jì)算出的兩幀之間的光流有一部分是由于面部運(yùn)動(dòng)產(chǎn)生的，另一部分是由于隨機(jī)噪聲產(chǎn)生的，而由于隨機(jī)噪聲產(chǎn)生的光流會(huì)使算法的性能下降，從而影響F1-score的提升。

發(fā)明內(nèi)容

為了解決上述所存在的技術(shù)問(wèn)題，本發(fā)明通過(guò)疊加兩張光流特征來(lái)減小由于隨機(jī)噪聲產(chǎn)生的光流的模值，從而削弱由于隨機(jī)噪聲導(dǎo)致的檢測(cè)性能受損，進(jìn)而提高基于光流分析的微表情檢測(cè)方法的上限。為此，本發(fā)明提供了一種基于光流疊加的微表情檢測(cè)方法。

所采用的具體方案如下：

一種基于光流疊加的微表情檢測(cè)方法，所述方法包括如下步驟：

步驟1，對(duì)視頻樣本圖片進(jìn)行預(yù)處理，得到視頻中每幀圖片的人臉定位區(qū)域；

步驟2，建立一個(gè)包含當(dāng)前檢測(cè)幀F(xiàn)_i、長(zhǎng)度為2k的滑動(dòng)窗口[F_i－k，F(xiàn)_i+k]，在待檢測(cè)視頻中，沿時(shí)間軸方向按步長(zhǎng)1幀移動(dòng)，其中i＝k+1，k+2，…，n－k，n為視頻中總幀數(shù)；

步驟3，在滑動(dòng)窗口中，計(jì)算幀F(xiàn)_i－k到幀F(xiàn)_i之間的稠密光流O_i、幀F(xiàn)_i－k到幀F(xiàn)_i－1之間的稠密光流O_i－1、幀F(xiàn)_i－k到幀F(xiàn)_i+k－1之間的稠密光流O_i+k－1及幀F(xiàn)_i－k到幀F(xiàn)_i+k之間的稠密光流O_i+k；

步驟4，將稠密光流O_i和O_i－1進(jìn)行光流疊加后得到疊加光流S_i，將稠密光流O_i+k－1和O_i+k進(jìn)行光流疊加后得到疊加光流S_i+k；

步驟5，將步驟1中每幀圖片的人臉定位區(qū)域劃分為多個(gè)區(qū)塊，提取各區(qū)塊上疊加光流S_i的光流矢量，計(jì)算主方向上疊加光流S_i+k與S_i的模值差值，得到滑動(dòng)窗口中當(dāng)前檢測(cè)幀F(xiàn)_i的各個(gè)區(qū)塊光流特征值；