[發(fā)明專利]一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110067161.2
• 申請(qǐng)日: 2021-01-19
• 公開（公告）號(hào): CN112800903B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 盧官明;繆遠(yuǎn)俊;盧峻禾
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/44;G06K9/62;G06N3/04;G06N3/08;G06V10/764
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

本發(fā)明公開了一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別方法及系統(tǒng)。該方法首先對(duì)動(dòng)態(tài)表情序列中每幀圖像進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)，得到關(guān)鍵點(diǎn)的歸一化坐標(biāo)和編號(hào)；提取關(guān)鍵點(diǎn)的局部紋理特征向量，并與其歸一化坐標(biāo)進(jìn)行拼接，組合成關(guān)鍵點(diǎn)的局部融合特征向量；然后連接同幀間的關(guān)鍵點(diǎn)形成空域邊，連接相鄰幀相同編號(hào)的關(guān)鍵點(diǎn)形成時(shí)域邊，利用這些邊和關(guān)鍵點(diǎn)構(gòu)成一種時(shí)空拓?fù)鋱D；接著，構(gòu)建一種時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)，用生成的時(shí)空拓?fù)鋱D對(duì)其進(jìn)行訓(xùn)練；最后將基于新的表情序列生成的時(shí)空拓?fù)鋱D作為輸入，利用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行表情識(shí)別。該方法利用了人臉關(guān)鍵點(diǎn)的位置信息，可以克服光照、膚色、姿態(tài)變化的影響，提升表情識(shí)別的準(zhǔn)確率和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別方法及系統(tǒng)，屬于圖像處理與模式識(shí)別領(lǐng)域。

背景技術(shù)

隨著計(jì)算機(jī)在人們的日常生活中變得越來越重要，人機(jī)交互也將成為科技發(fā)展的必然趨勢(shì)。為了提高人機(jī)交互體驗(yàn)，計(jì)算機(jī)需要具有識(shí)別人類情感的能力。而早在1986年，心理學(xué)家Mehrabian的科學(xué)研究就表明，在日常生活中，人臉表情是情感傳遞中的重要載體，可以傳遞最為豐富的信息，超過通過語言和聲音所傳遞信息量的總和。因此表情識(shí)別是人機(jī)交互中必不可少的一環(huán)，通過提取人類表情信息來判斷人類的情感狀態(tài)，從而滿足人類的情感需求。

隨著人臉表情識(shí)別技術(shù)的不斷豐富，人臉表情識(shí)別已成為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域中的研究熱點(diǎn)。針對(duì)于如何有效地提取動(dòng)態(tài)表情序列的時(shí)間和空間信息問題，目前的主流方法大多采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取每幀圖像表情的空間信息，再利用長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)提取動(dòng)態(tài)表情序列的時(shí)間信息；或者直接利用三維卷積神經(jīng)網(wǎng)絡(luò)(3D-CNN)在空間維度和時(shí)間維度對(duì)輸入序列同時(shí)進(jìn)行卷積，提取的特征不僅包含圖像內(nèi)的信息，也包含圖像間的信息。這些方法通常使用原始圖像作為輸入，通過監(jiān)督訓(xùn)練學(xué)習(xí)與表情識(shí)別任務(wù)相關(guān)的特征。然而原始圖像富含了太多的與表情識(shí)別無關(guān)的干擾信息，比如年齡、性別、光照等信息，從原始圖像到最終用于表情分類的低維特征向量，相當(dāng)于有監(jiān)督的挖掘有用信息的降維過程，而這一過程往往比較復(fù)雜，需要訓(xùn)練大量的參數(shù)。而由人臉關(guān)鍵點(diǎn)構(gòu)成的面部輪廓，相對(duì)整張圖像而言是一種更高層次的表達(dá)，而且不同的個(gè)體在不同表情狀態(tài)下面部輪廓的變化有著相同的特征模式，因此利用人臉關(guān)鍵點(diǎn)訓(xùn)練后的模型對(duì)膚色、光照、姿態(tài)的變化具有一定的魯棒性，此外關(guān)鍵點(diǎn)的數(shù)量明顯少于整張圖像的像素?cái)?shù)量，能夠得到更為簡(jiǎn)單的模型。

隨著近年來的發(fā)展，圖卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)可以很好的處理具有圖結(jié)構(gòu)的數(shù)據(jù)，比如社交網(wǎng)絡(luò)關(guān)系、通信網(wǎng)絡(luò)、分子結(jié)構(gòu)等，它可以將這些數(shù)據(jù)映射到低維向量上，而這些數(shù)據(jù)是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)無法處理的，所以可以利用圖卷積神經(jīng)網(wǎng)絡(luò)處理基于人臉關(guān)鍵點(diǎn)生成的時(shí)空拓?fù)鋱D，學(xué)習(xí)更高層次的特征，實(shí)現(xiàn)動(dòng)態(tài)表情的分類。

中國(guó)專利申請(qǐng)“一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別方法”(專利申請(qǐng)?zhí)?01910091261.1，公開號(hào)CN110008819 A)將人臉表情灰度圖中的每個(gè)像素點(diǎn)作為圖的節(jié)點(diǎn)，按照一定的規(guī)則構(gòu)建拓?fù)鋱D，然后輸入到構(gòu)建的圖卷積神經(jīng)網(wǎng)絡(luò)模型中，得到表情的分類結(jié)果。該方法使用圖像中的每個(gè)像素點(diǎn)構(gòu)建的拓?fù)鋱D過于復(fù)雜，不利于相距較遠(yuǎn)的節(jié)點(diǎn)間進(jìn)行信息的融合；此外該方法只適用于圖像，無法應(yīng)用于視頻序列，實(shí)現(xiàn)動(dòng)態(tài)表情序列的分類。

中國(guó)專利申請(qǐng)“一種基于人臉特征點(diǎn)數(shù)據(jù)增強(qiáng)的動(dòng)態(tài)表情識(shí)別方法”(專利申請(qǐng)?zhí)?02010776415.3，公開號(hào)CN111931630 A)通過將動(dòng)態(tài)表情序列的初始幀、峰值幀以及根據(jù)人臉關(guān)鍵點(diǎn)構(gòu)建的軌跡圖分別輸入到卷積神經(jīng)網(wǎng)絡(luò)中，得到人臉動(dòng)態(tài)表情的識(shí)別結(jié)果。該方法問題在于軌跡圖是根據(jù)人臉的關(guān)鍵點(diǎn)手工設(shè)計(jì)的特征，特征提取過程較為繁瑣，且復(fù)雜度較高，影響了該模型的實(shí)時(shí)性。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)現(xiàn)有的表情識(shí)別方法無法有效利用人臉關(guān)鍵點(diǎn)信息的缺點(diǎn)，本發(fā)明提出了一種基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別方法及系統(tǒng)，可以充分利用人臉關(guān)鍵點(diǎn)的位置信息，能夠克服光照、膚色、姿態(tài)變化的影響，從而有效提升動(dòng)態(tài)表情識(shí)別的準(zhǔn)確率和魯棒性。