[發(fā)明專利]基于多特征點(diǎn)的微表情擬合方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011623476.2
• 申請(qǐng)日: 2020-12-31
• 公開（公告）號(hào): CN112651363A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 王智勇;關(guān)慶陽;王治博;毛書貴;宋勝尊;李永春;童心
• 申請(qǐng)（專利權(quán)）人: 沈陽康泰電子科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08;G06N3/04
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 王兆賡;蘇銀虹

本發(fā)明提供了一種基于多特征點(diǎn)的微表情擬合方法和系統(tǒng)。所述方法包括：獲取基準(zhǔn)圖像和情緒圖像，其中，基準(zhǔn)圖像指沒有刺激源情況下的圖像，情緒圖像指存在預(yù)定刺激源情況下的圖像；將基準(zhǔn)圖像和情緒圖像分別輸入到面部檢測(cè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行面部檢測(cè)以分別獲得基準(zhǔn)面部圖像和情緒面部圖像；將基準(zhǔn)面部圖像和情緒面部圖像分別輸入到面部特征點(diǎn)標(biāo)記網(wǎng)絡(luò)中進(jìn)行面部特征點(diǎn)提取以分別獲得基準(zhǔn)特征點(diǎn)和情緒特征點(diǎn)；根據(jù)基準(zhǔn)特征點(diǎn)的位置信息和情緒特征點(diǎn)的位置信息計(jì)算出面部微特征向量，并將滿足預(yù)定閾值的面部微特征向量作為面部運(yùn)動(dòng)單元進(jìn)行輸出；以及采用遞歸神經(jīng)網(wǎng)絡(luò)模型對(duì)所述面部運(yùn)動(dòng)單元進(jìn)行擬合，得到預(yù)測(cè)的情緒特征。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種基于多特征點(diǎn)的微表情擬合方法，所述方法基于深度學(xué)習(xí)的非接觸式微表情擬合來實(shí)現(xiàn)。

背景技術(shù)

微表情識(shí)別是一種利用刺激源引起面部肌肉變化，通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)面部特征進(jìn)行提取，將形成的統(tǒng)一維度的多個(gè)特征進(jìn)行融合，結(jié)合心理語義分析，獲取心理特征的非接觸式心理活動(dòng)分析方法。在審訊的過程中，通過非接觸式的微表情識(shí)別方法，可以降低審訊難度，輔助審訊員進(jìn)行研判。

現(xiàn)有的微表情識(shí)別方法普遍為將面部整張圖象輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行情緒聚類，得到高興、傷心、害怕、憤怒、厭惡、驚訝、輕蔑等七種基本情緒，分類的情緒繼續(xù)增加，準(zhǔn)確度會(huì)大幅降低。現(xiàn)有技術(shù)中的方法具有較大的局限性，在審訊過程中起到的輔助作用十分有限。

發(fā)明內(nèi)容

本發(fā)明的目的在于一種基于多特征點(diǎn)的微表情擬合方法和系統(tǒng)，以便審訊員在較低計(jì)算力下，更快地更準(zhǔn)確地獲得被檢測(cè)人的情緒特征。

本發(fā)明提供了一種基于多特征點(diǎn)的微表情擬合方法，所述方法包括：獲取基準(zhǔn)圖像和情緒圖像，其中，基準(zhǔn)圖像指沒有刺激源情況下的圖像，情緒圖像指存在預(yù)定刺激源情況下的圖像；將基準(zhǔn)圖像和情緒圖像分別輸入到面部檢測(cè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行面部檢測(cè)以分別獲得基準(zhǔn)面部圖像和情緒面部圖像；將基準(zhǔn)面部圖像和情緒面部圖像分別輸入到面部特征點(diǎn)標(biāo)記網(wǎng)絡(luò)中進(jìn)行面部特征點(diǎn)提取以分別獲得基準(zhǔn)特征點(diǎn)和情緒特征點(diǎn)；根據(jù)基準(zhǔn)特征點(diǎn)的位置信息和情緒特征點(diǎn)的位置信息計(jì)算出面部微特征向量，并將滿足預(yù)定閾值的面部微特征向量作為面部運(yùn)動(dòng)單元進(jìn)行輸出；以及采用遞歸神經(jīng)網(wǎng)絡(luò)模型對(duì)所述面部運(yùn)動(dòng)單元進(jìn)行擬合，得到預(yù)測(cè)的情緒特征。

在根據(jù)發(fā)明構(gòu)思的實(shí)施例中，所述面部檢測(cè)神經(jīng)網(wǎng)絡(luò)可以包括：第一卷積層，通過預(yù)定尺寸的卷積核和預(yù)定步長對(duì)輸入的圖像進(jìn)行卷積計(jì)算；第二卷積層，通過所述卷積核和所述預(yù)定步長對(duì)第一卷積層輸出的結(jié)果進(jìn)行深度可分離卷積計(jì)算；第一下采樣層，對(duì)第二卷積層輸出的結(jié)果進(jìn)行下采樣計(jì)算；第二下采樣層，對(duì)第一下采樣層輸出的結(jié)果進(jìn)行下采樣計(jì)算；以及全連接層，對(duì)第二下采樣層輸出的結(jié)果進(jìn)行非線性擬合以得到與所述輸入的圖像對(duì)應(yīng)的面部圖像。其中，所述第一下采樣層和所述第二下采樣層均包括：第一基本單元，其步長為2，輸出的結(jié)果的寬度和高度為輸入的寬度和高度的一半，輸出的結(jié)果的通道數(shù)為輸入的通道數(shù)的兩倍；以及第二基本單元，其步長為1，輸出的結(jié)果的寬度、高度和通道數(shù)與輸入的寬度、高度和通道數(shù)相同。

在根據(jù)發(fā)明構(gòu)思的實(shí)施例中，所述方法還可以包括通過面部檢測(cè)訓(xùn)練集對(duì)所述面部檢測(cè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的步驟：在進(jìn)行面部檢測(cè)訓(xùn)練的過程中，當(dāng)輸出人臉框與期望人臉框的交并比系數(shù)不再升高，或者迭代次數(shù)達(dá)到預(yù)定計(jì)數(shù)時(shí)，終止訓(xùn)練。

在根據(jù)發(fā)明構(gòu)思的實(shí)施例中，所述基準(zhǔn)特征點(diǎn)的位置信息和所述情緒特征點(diǎn)的位置信息可以包括二維位置信息或三維位置信息。

在根據(jù)發(fā)明構(gòu)思的實(shí)施例中，所述面部運(yùn)動(dòng)單元可以包括：眉弓運(yùn)動(dòng)單元、眉心運(yùn)動(dòng)單元、眼部運(yùn)動(dòng)單元、鼻部運(yùn)動(dòng)單元、嘴唇運(yùn)動(dòng)單元、嘴角運(yùn)動(dòng)單元中的至少一種。