[發(fā)明專利]一種基于視覺自注意力網(wǎng)絡(luò)的表情識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110210515.4
• 申請(qǐng)日: 2021-02-25
• 公開（公告）號(hào): CN113033310A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 于乃功;柏德國(guó)
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

一種基于視覺自注意力網(wǎng)絡(luò)的表情識(shí)別方法屬于圖像識(shí)別領(lǐng)域，使機(jī)器能夠做到類似于人類那樣綜合考慮表情的局部信息。本發(fā)明主要過程為：S1：數(shù)據(jù)準(zhǔn)備，將訓(xùn)練數(shù)據(jù)集輸入到局部圖像生成模塊得到局部圖像；S2：把局部圖像輸入至設(shè)計(jì)的視覺自注意力網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；S3：將待識(shí)別的圖像經(jīng)過預(yù)處理送入到訓(xùn)練好的視覺自注意力網(wǎng)絡(luò)中進(jìn)行識(shí)別，得到結(jié)果。本發(fā)明采用視覺自注意力網(wǎng)絡(luò)能夠關(guān)注到局部圖像之間的相互影響，并能夠融合不同局部圖像的魯棒性特征以綜合考慮到局部圖像的信息，使圖像最終表達(dá)的特征更加魯棒，經(jīng)過實(shí)驗(yàn)驗(yàn)證本發(fā)明所設(shè)計(jì)的網(wǎng)絡(luò)在多個(gè)數(shù)據(jù)集上都超越了當(dāng)前最先進(jìn)方法的識(shí)別準(zhǔn)確率，驗(yàn)證了本發(fā)明的有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別領(lǐng)域，尤其是涉及了一種基于深度學(xué)習(xí)和自注意力機(jī)制的表情識(shí)別方法。

背景技術(shù)

當(dāng)今，機(jī)器始終無法精準(zhǔn)理解和體會(huì)人類的情感，可以說現(xiàn)在的機(jī)器還處于“弱”人工智能階段。如果機(jī)器能夠精準(zhǔn)的理解人類的情感進(jìn)而做到人機(jī)交互，便可以推動(dòng)其走向“強(qiáng)”人工智能階段。在市場(chǎng)銷售領(lǐng)域，如果機(jī)器能夠精準(zhǔn)的識(shí)別出顧客對(duì)某種產(chǎn)品的喜好程度，商家就可以據(jù)此做出一定的營(yíng)銷策略和市場(chǎng)決策，促進(jìn)經(jīng)濟(jì)的發(fā)展；在公共安全領(lǐng)域，如果機(jī)器能夠判斷出某人的異常情緒，就可及時(shí)預(yù)防犯罪的發(fā)生；在校園教育領(lǐng)域，如果機(jī)器能夠識(shí)別出學(xué)生對(duì)某個(gè)知識(shí)點(diǎn)的理解程度所做出的表情，教師即可及時(shí)調(diào)整授課策略，調(diào)整授課進(jìn)度等；在安全駕駛領(lǐng)域，人機(jī)交互系統(tǒng)如果能夠根據(jù)司機(jī)的表情和言語表達(dá)，判斷出司機(jī)的駕駛行為和狀態(tài)，就可以及時(shí)避免危險(xiǎn)事故的發(fā)生。因此研究具有情感識(shí)別特別是能精準(zhǔn)的判別人臉表情的機(jī)器人在現(xiàn)實(shí)生活中顯得尤為重要。

根據(jù)提取面部表情特征的方法可以將表情識(shí)別方法分為兩類，一是傳統(tǒng)的基于人工設(shè)計(jì)特征的表情識(shí)別方法，二是基于深度學(xué)習(xí)的表情識(shí)別方法。使用人工設(shè)計(jì)特征的表情識(shí)別方法比較成熟，但是只能提取人工設(shè)定好的特征，提取的特征比較單一化，特征表達(dá)能力不足，適應(yīng)性差。基于深度學(xué)習(xí)的表情識(shí)別是一種端到端的學(xué)習(xí)方式，它能學(xué)習(xí)到圖像中潛在的多樣化特征，對(duì)光線變化和頭部偏轉(zhuǎn)比較魯棒，近幾年以深度學(xué)習(xí)為基礎(chǔ)的表情識(shí)別方法成為了主流。雖然現(xiàn)如今大多數(shù)的方法在識(shí)別率方面獲得了很大的提升，但是都只是從表情的全局圖像提取特征，并沒有考慮局部圖像信息。由于人類的個(gè)體屬性差異、光照、遮擋等外界環(huán)境的干擾，全局圖像所受到的影響較大，會(huì)存在一些無用信息對(duì)模型的識(shí)別造成干擾，這是一點(diǎn)需要改進(jìn)的地方。

深圳市點(diǎn)貓科技有限公司申請(qǐng)的專利“一種基于深度學(xué)習(xí)的人臉表情識(shí)別方法、裝置及設(shè)備”(專利申請(qǐng)?zhí)?02011345478.X，公布號(hào)CN112149651A)中公開了一種基于深度學(xué)習(xí)的人臉表情識(shí)別方法。該專利用生成對(duì)抗網(wǎng)絡(luò)和原始圖像生成了豐富的表情圖像用于訓(xùn)練網(wǎng)絡(luò)，緩解了模型過擬合問題，提升了識(shí)別準(zhǔn)確率。該專利申請(qǐng)公開的方法存在的不足是：它是從全局圖像提取表情特征，沒有像人類那樣綜合人臉的一些局部信息識(shí)別表情，因?yàn)槿祟愑^察表情的時(shí)候都是先看人臉的幾個(gè)局部信息，而后綜合考慮到底是什么表情，本發(fā)明為了彌補(bǔ)現(xiàn)在識(shí)別方法的不足和模仿人眼識(shí)別表情機(jī)制，提出了一種基于視覺自注意力網(wǎng)絡(luò)的表情識(shí)別方法。

發(fā)明內(nèi)容

為了使模型綜合考慮到不同局部圖像的信息以提高特征的判別性表達(dá)，本發(fā)明提出了一種適用于視覺領(lǐng)域的自注意力網(wǎng)絡(luò)。具體來說，本發(fā)明為了把局部圖像的魯棒性特征進(jìn)行融合，通過對(duì)自然語言處理領(lǐng)域中的Transformer模型進(jìn)行改造，構(gòu)成了一種視覺自注意力網(wǎng)絡(luò)，其能夠考慮到局部圖像之間的相互影響，把不同的局部圖像特征進(jìn)行相互融合，使提取出的圖像特征有了更加判別性的表達(dá)。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為一種基于視覺自注意力網(wǎng)絡(luò)的表情識(shí)別方法，該方法是按以下步驟實(shí)現(xiàn)的；

S1：數(shù)據(jù)準(zhǔn)備，將訓(xùn)練數(shù)據(jù)輸入到局部圖像生成模塊獲得局部圖像；

本步驟用于獲得每個(gè)訓(xùn)練數(shù)據(jù)的三種局部表情圖像。

S2：把局部圖像輸入至視覺自注意力網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；