[發(fā)明專利]一種用于微表情識(shí)別的鑒別性特征學(xué)習(xí)方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110060936.3
• 申請(qǐng)日: 2021-01-18
• 公開（公告）號(hào): CN112800891B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 盧官明;韓震;盧峻禾
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/774
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

本發(fā)明公開了一種用于微表情識(shí)別的鑒別性特征學(xué)習(xí)方法與系統(tǒng)。首先提取微表情視頻序列中的起始幀和峰值幀，并對(duì)其進(jìn)行預(yù)處理，進(jìn)而計(jì)算峰值幀與起始幀之間的光流信息，得到光流圖；然后從普通表情圖像庫(kù)中選取其表情類別不同于峰值幀的一幅圖像，對(duì)其進(jìn)行裁剪，并用裁剪得到的圖像塊替換峰值幀圖像的對(duì)應(yīng)區(qū)域，得到合成圖像；接著構(gòu)造基于類激活圖注意力機(jī)制的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，將光流圖和合成圖像分別輸入到雙流卷積神經(jīng)網(wǎng)絡(luò)的兩個(gè)支路，對(duì)模型進(jìn)行訓(xùn)練；最后用訓(xùn)練好的模型從輸入的視頻序列中提取鑒別力強(qiáng)的特征，用于微表情分類識(shí)別。本發(fā)明可以有效防止模型過(guò)擬合，并使模型學(xué)習(xí)到鑒別力強(qiáng)的微表情特征，提高微表情識(shí)別的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于微表情識(shí)別的鑒別性特征學(xué)習(xí)方法與系統(tǒng)，屬于微表情識(shí)別及人工智能領(lǐng)域。

背景技術(shù)

表情是人類表達(dá)自身情感的一種非語(yǔ)言性行為，也是讓機(jī)器人能智能化理解人類情感的一個(gè)重要途徑。一般表情是人在情緒表達(dá)沒(méi)有受到抑制的情況下表現(xiàn)出來(lái)的，面部動(dòng)作幅度往往很大，持續(xù)時(shí)間也長(zhǎng)。但是在某些情況人們會(huì)刻意抑制、隱藏自身的情緒，而這些受抑制的情緒會(huì)通過(guò)面部極快的表情自發(fā)的表現(xiàn)出來(lái)，這一類表情被稱為微表情。微表情持續(xù)時(shí)間極短，少于0.2秒，面部動(dòng)作變化非常細(xì)微以至于人類對(duì)于微表情的識(shí)別準(zhǔn)確率很低。目前微表情識(shí)別就是在現(xiàn)有的數(shù)據(jù)庫(kù)上進(jìn)行微表情樣本序列的分類，微表情識(shí)別一般分為兩步：特征提取和分類。主要的工作都集中在特征提取上，按特征提取的方式可以簡(jiǎn)單的將微表情識(shí)別分為兩類，第一類是基于手工設(shè)計(jì)的特征，第二類是基于卷積神經(jīng)網(wǎng)絡(luò)提取的特征。

基于手工設(shè)計(jì)特征的方法經(jīng)過(guò)幾十年的發(fā)展在微表情識(shí)別方面取得了一定的成果，但是需要專業(yè)的先驗(yàn)知識(shí)和復(fù)雜的調(diào)參過(guò)程，泛化能力和魯棒性比較差。隨著機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)的眾多領(lǐng)域取得了良好的性能表現(xiàn)，越來(lái)越多的研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到微表情識(shí)別上。Ruicong提出將3D卷積神經(jīng)網(wǎng)絡(luò)(3D-CNNs)和遷移學(xué)習(xí)相結(jié)合，首先將3D-CNNs在普通表情數(shù)據(jù)庫(kù)Ouclu-CASIA進(jìn)行監(jiān)督學(xué)習(xí)，然后將預(yù)訓(xùn)練得到的模型用于微表情訓(xùn)練，為了解決數(shù)據(jù)庫(kù)樣本過(guò)少的問(wèn)題，作者利用圖像翻轉(zhuǎn)和旋轉(zhuǎn)將數(shù)據(jù)庫(kù)擴(kuò)大了7倍。Kim將卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)結(jié)合來(lái)提取微表情視頻序列的空間和時(shí)間信息，利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)微表情視頻各個(gè)幀的空間信息，隨后再用LSTM學(xué)習(xí)各個(gè)幀之間的時(shí)間信息，實(shí)驗(yàn)結(jié)果表明該方法優(yōu)于LBP-TOP和相應(yīng)的變體。Liong等人使用微表情的起始幀和峰值幀計(jì)算光流信息，然后用雙流卷積神經(jīng)網(wǎng)絡(luò)分別提取水平方向光流圖和垂直方向光流圖的特征并融合，最后進(jìn)行分類。

中國(guó)專利申請(qǐng)“基于通道注意力機(jī)制的微表情識(shí)別方法及系統(tǒng)”(專利申請(qǐng)?zhí)朇N202010687230.5，公開號(hào)CN112001241A)，通過(guò)計(jì)算峰值幀與起始幀之間的光流水平分量、垂直分量以及光流強(qiáng)度形成三維張量，然后輸入到基于通道注意力機(jī)制的微表情識(shí)別網(wǎng)絡(luò)模型中，最后得出分類結(jié)果。該方法的輸入全是基于光流信息，因此無(wú)法有效提取微表情視頻序列的空間信息。

中國(guó)專利申請(qǐng)“一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的微表情識(shí)別方法”(專利申請(qǐng)?zhí)朇N201610954555.9，公開號(hào)CN106570474A)，對(duì)于微表情視頻序列中的各幀圖像提取灰度通道特征圖、水平方向梯度通道特征圖、豎直方向梯度通道特征圖、水平方向光流通道特征圖、豎直方向光流通道特征圖從而獲得待識(shí)別微表情視頻序列所對(duì)應(yīng)的一個(gè)特征圖組，然后輸入到3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步提取特征并分類。該方法對(duì)于微表情視頻序列的每一幀圖像都要處理，計(jì)算量極大，并且沒(méi)有對(duì)訓(xùn)練數(shù)據(jù)作擴(kuò)充，模型在訓(xùn)練過(guò)程中很容易出現(xiàn)過(guò)擬合問(wèn)題。

盡管卷積神經(jīng)網(wǎng)絡(luò)在微表情識(shí)別領(lǐng)域取得了優(yōu)異的表現(xiàn)，但仍存在著諸多挑戰(zhàn)。第一，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要大量的樣本，而微表情的數(shù)據(jù)庫(kù)樣本有限。微表情視頻庫(kù)CASME II只有256個(gè)微表情視頻序列，這很容易造成模型過(guò)擬合。第二，微表情相較于普通表情變化幅度小，強(qiáng)度弱，一般的卷積神經(jīng)網(wǎng)絡(luò)模型往往只關(guān)注臉部變化相較于明顯的區(qū)域(例如嘴巴、眼睛等區(qū)域)，而忽略了臉部其他變化相較微小的區(qū)域，這就導(dǎo)致模型提取信息不充分，怎樣提升模型對(duì)微表情鑒別性特征的學(xué)習(xí)能力是提升微表情識(shí)別準(zhǔn)確率的重要因素。