[發(fā)明專利]一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法在審
| 申請(qǐng)?zhí)枺?/td> | 201710713962.5 | 申請(qǐng)日: | 2017-08-18 |
| 公開(公告)號(hào): | CN107463919A | 公開(公告)日: | 2017-12-12 |
| 發(fā)明(設(shè)計(jì))人: | 夏春秋 | 申請(qǐng)(專利權(quán))人: | 深圳市唯特視科技有限公司 |
| 主分類號(hào): | G06K9/00 | 分類號(hào): | G06K9/00;G06N3/04;G06N3/08 |
| 代理公司: | 暫無信息 | 代理人: | 暫無信息 |
| 地址: | 518057 廣東省深圳市高新技術(shù)產(chǎn)業(yè)園*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 深度 卷積 神經(jīng)網(wǎng)絡(luò) 進(jìn)行 面部 表情 識(shí)別 方法 | ||
技術(shù)領(lǐng)域
本發(fā)明涉及表情識(shí)別領(lǐng)域,尤其是涉及了一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法。
背景技術(shù)
面部表情識(shí)別是指從給定的靜態(tài)圖像或動(dòng)態(tài)視頻序列中分離出特定的表情狀態(tài),從而確定被識(shí)別對(duì)象的心理情緒,實(shí)現(xiàn)計(jì)算機(jī)對(duì)人臉表情的理解與識(shí)別,從根本上改變?nèi)伺c計(jì)算機(jī)的關(guān)系,從而達(dá)到更好的人機(jī)交互,是計(jì)算機(jī)理解人們情感的前提,也是人們探索和理解智能的有效途徑。因此人臉表情識(shí)別在心理學(xué)、智能機(jī)器人、智能監(jiān)控、虛擬現(xiàn)實(shí)及數(shù)碼拍攝等領(lǐng)域有很大的潛在應(yīng)用價(jià)值。具體地,在心理學(xué)領(lǐng)域內(nèi),通過計(jì)算機(jī)分析人的表情信息,從而推斷人的心理狀態(tài),最后達(dá)到實(shí)現(xiàn)人機(jī)之間的智能交互,運(yùn)用面部表情識(shí)別,研究人類心理情緒的變化是現(xiàn)代科技的重大突破。而在智能機(jī)器人領(lǐng)域,利用計(jì)算機(jī)進(jìn)行人臉表情圖像獲取、表情圖像預(yù)處理、表情分析等,促進(jìn)人機(jī)交流,達(dá)到一個(gè)更高的科技水平。另外,在數(shù)碼拍攝領(lǐng)域,可根據(jù)檢測(cè)到的笑臉表情自動(dòng)抓拍照片。雖然目前在表情識(shí)方面的研究頗多,但是由于方法的復(fù)雜性以及成本考慮,市場(chǎng)上還沒有得到普及運(yùn)用,并且由于人臉表情變化速度較快,部分表情難以捕捉識(shí)別,故在提高表情識(shí)別率方面,尚且存在一定的挑戰(zhàn)。
本發(fā)明提出了一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法,網(wǎng)絡(luò)結(jié)構(gòu)由一個(gè)3D起始?xì)埐罹W(wǎng)絡(luò)層(3DIR)和長(zhǎng)短期記憶網(wǎng)絡(luò)組成(LSTM)組成,提取面部圖像內(nèi)的空間關(guān)系以及視頻中不同幀之間的時(shí)間關(guān)系,面部標(biāo)記有助于網(wǎng)絡(luò)關(guān)注特征圖中更重要的面部成分,故提取面部標(biāo)記作為網(wǎng)絡(luò)的輸入,提高序列對(duì)面部表情微妙變化的識(shí)別能力,從而進(jìn)行更準(zhǔn)確的識(shí)別。本發(fā)明提出了一種使用3D卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)來提取視頻序列中每幀之間時(shí)間關(guān)系的方法,并提取面部標(biāo)志,強(qiáng)調(diào)更具表現(xiàn)力的面部成分,提高面部表情微妙變化的識(shí)別能力,為智能機(jī)器人領(lǐng)域的新設(shè)計(jì),以及心理學(xué)領(lǐng)域的創(chuàng)新解決方案做了進(jìn)一步貢獻(xiàn)。
發(fā)明內(nèi)容
針對(duì)表情識(shí)別,提出了一種使用3D卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)來提取視頻序列中每幀之間時(shí)間關(guān)系的方法,并提取面部標(biāo)志,提高面部表情微妙變化的識(shí)別能力,為智能機(jī)器人領(lǐng)域的新設(shè)計(jì),以及心理學(xué)領(lǐng)域的創(chuàng)新解決方案做了進(jìn)一步貢獻(xiàn)。
為解決上述問題,本發(fā)明提供一種基于深度3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行面部表情識(shí)別的方法,其主要內(nèi)容包括:
(一)3D起始?xì)埐罹W(wǎng)絡(luò);
(二)面部標(biāo)記;
(三)長(zhǎng)短期記憶網(wǎng)絡(luò)單元。
其中,所述的深度3D卷積神經(jīng)網(wǎng)絡(luò),由一個(gè)3D起始?xì)埐罹W(wǎng)絡(luò)層(3DIR)和長(zhǎng)短期記憶網(wǎng)絡(luò)組成(LSTM)組成,LSTM緊跟在3D起始?xì)埐罹W(wǎng)絡(luò)層后面,提取面部圖像內(nèi)的空間關(guān)系以及視頻中不同幀之間的時(shí)間關(guān)系,面部標(biāo)記有助于網(wǎng)絡(luò)關(guān)注特征圖中更重要的面部成分,故提取面部標(biāo)記作為網(wǎng)絡(luò)的輸入,提高序列對(duì)面部表情微妙變化的識(shí)別能力,從而進(jìn)行更準(zhǔn)確的識(shí)別。
其中,所述的長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM),LSTM提供記憶功能,負(fù)責(zé)長(zhǎng)時(shí)間記錄上下文信息,包含輸入結(jié)構(gòu)(i),遺忘結(jié)構(gòu)(f)和輸出結(jié)構(gòu)(o),三個(gè)結(jié)構(gòu)在時(shí)間步長(zhǎng)t上分別負(fù)責(zé)儲(chǔ)存單元c的改寫,維持和檢索,令σ(x)=(1+exp(-x))-1為Sigmoid函數(shù),為雙曲正切函數(shù),x,h,c,W和b分別為輸入,輸出,單元狀態(tài),參數(shù)矩陣和參數(shù)向量,
給定輸入xt,ht-1和ct-1在時(shí)間步t上時(shí),LSTM的更新由等式(1)給出。
進(jìn)一步地,所述的3D起始?xì)埐罹W(wǎng)絡(luò),3D起始?xì)埐罹W(wǎng)絡(luò)具有更高的識(shí)別率,其網(wǎng)絡(luò)結(jié)構(gòu)為:輸入尺寸為10×299×299×3的視頻,其中幀數(shù)為10,每幀尺寸為299×299,3表示彩色通道,其后是一個(gè)吸附層,3DIR包括A、B、C層,通過3DIR-A層,網(wǎng)格尺寸由38×38縮減為18×18,通過3DIR-B網(wǎng)格尺寸由18×18縮減為8×8,由3DIR-C層進(jìn)行平均池化,最后通過完全連接層輸出結(jié)果。
進(jìn)一步地,所述的面部標(biāo)記,在網(wǎng)絡(luò)結(jié)構(gòu)中使用面部標(biāo)記,區(qū)別主要面部成分與面部表情較少的其他部分,在面部表情識(shí)別中,提取面部標(biāo)記提高識(shí)別率,保留網(wǎng)絡(luò)中每幀的時(shí)間順序,在端對(duì)端網(wǎng)絡(luò)中同時(shí)訓(xùn)練CNN和LSTM,在原始?xì)埐罹W(wǎng)絡(luò)上,結(jié)合面部標(biāo)記,用剩余單元替換最優(yōu)路徑,使面部標(biāo)記和剩余單元的輸入張量進(jìn)行元素相乘,為了提取面部標(biāo)志,采用跨平臺(tái)計(jì)算機(jī)視覺庫面部識(shí)別獲取面部包圍盒,采用回歸局部二進(jìn)制特征的面部對(duì)齊算法,提取66個(gè)面部標(biāo)記點(diǎn)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市唯特視科技有限公司,未經(jīng)深圳市唯特視科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201710713962.5/2.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06K 數(shù)據(jù)識(shí)別;數(shù)據(jù)表示;記錄載體;記錄載體的處理
G06K9-00 用于閱讀或識(shí)別印刷或書寫字符或者用于識(shí)別圖形,例如,指紋的方法或裝置
G06K9-03 .錯(cuò)誤的檢測(cè)或校正,例如,用重復(fù)掃描圖形的方法
G06K9-18 .應(yīng)用具有附加代碼標(biāo)記或含有代碼標(biāo)記的打印字符的,例如,由不同形狀的各個(gè)筆畫組成的,而且每個(gè)筆畫表示不同的代碼值的字符
G06K9-20 .圖像捕獲
G06K9-36 .圖像預(yù)處理,即無須判定關(guān)于圖像的同一性而進(jìn)行的圖像信息處理
G06K9-60 .圖像捕獲和多種預(yù)處理作用的組合
- 卷積運(yùn)算處理方法及相關(guān)產(chǎn)品
- 一種卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及系統(tǒng)
- 卷積運(yùn)算方法及系統(tǒng)
- 卷積運(yùn)算方法、裝置及系統(tǒng)
- 深度神經(jīng)網(wǎng)絡(luò)裁剪方法、裝置及電子設(shè)備
- 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法和圖像處理裝置
- 卷積神經(jīng)網(wǎng)絡(luò)及基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法
- 一種圖像處理方法、裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)
- 用于卷積神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算裝置
- 基于FPGA實(shí)現(xiàn)圖像識(shí)別的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計(jì)算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計(jì)算設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備
- 一種適應(yīng)目標(biāo)數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲(chǔ)介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置





