[發(fā)明專利]一種即時(shí)視頻中的表情識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910598302.6
• 申請(qǐng)日: 2019-07-04
• 公開（公告）號(hào): CN110378256A
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計(jì)）人: 任思源;彭進(jìn)業(yè);李展
• 申請(qǐng)（專利權(quán)）人: 西北大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京眾合誠(chéng)成知識(shí)產(chǎn)權(quán)代理有限公司 11246
• 代理人: 鄒仕娟

本發(fā)明涉及視頻技術(shù)領(lǐng)域，具體為一種即時(shí)視頻中的表情識(shí)別方法及裝置，包括實(shí)時(shí)表情特征的提取和實(shí)時(shí)表情特征提取方法的表情的識(shí)別，所述實(shí)時(shí)表情特征的提取包括下列步驟：步驟一，制定基于Kinect的表情特征數(shù)據(jù)庫(kù)規(guī)范，包括表情表現(xiàn)規(guī)范、錄制規(guī)范及特征文件命名規(guī)范；步驟二，收集表情特征數(shù)據(jù)：運(yùn)用FaceTracking改編的錄制軟件從Kinect的實(shí)時(shí)視頻流中追蹤人臉并提取運(yùn)動(dòng)單元信息即AUs和特征點(diǎn)坐標(biāo)信息即FPPs。在表情表現(xiàn)者使用后，子存儲(chǔ)空間內(nèi)的數(shù)據(jù)會(huì)逐漸豐富，實(shí)現(xiàn)自主學(xué)習(xí)的功能，隨著使用時(shí)間的積累，可以逐漸提高識(shí)別的準(zhǔn)確率，減少了從主存儲(chǔ)空間提取數(shù)據(jù)的量，從而提高識(shí)別準(zhǔn)確率和識(shí)別速度。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻技術(shù)領(lǐng)域，具體為一種即時(shí)視頻中的表情識(shí)別方法及裝置。

背景技術(shù)

隨著即時(shí)視頻應(yīng)用在移動(dòng)終端上的普及，使得越來(lái)越多的用戶通過(guò)即時(shí)視頻應(yīng)用來(lái)實(shí)現(xiàn)與他人之間的交互，因此需要一種在即時(shí)視頻中的表情識(shí)別方法，來(lái)滿足用戶在通過(guò)即時(shí)視頻應(yīng)用來(lái)實(shí)現(xiàn)與他人之間的交互時(shí)的個(gè)性化需求，提高交互場(chǎng)景下的用戶體驗(yàn)。

現(xiàn)有技術(shù)提供一種表情識(shí)別方法，該方法具體包括：從預(yù)先錄制的視頻中獲取所要識(shí)別的當(dāng)前幀畫面，對(duì)當(dāng)前幀畫面中的人臉表情進(jìn)行識(shí)別，并對(duì)其他幀圖像繼續(xù)執(zhí)行上述步驟，從而對(duì)視頻中的視頻幀畫面中人臉表情進(jìn)行識(shí)別。

但是該方法由于無(wú)法實(shí)時(shí)識(shí)別即時(shí)視頻中的人臉表情，且在實(shí)現(xiàn)過(guò)程中，由于該方法會(huì)大量占用設(shè)備的處理資源和存儲(chǔ)資源，所以該方法對(duì)設(shè)備的要求較高，使得該方法無(wú)法應(yīng)用于如智能手機(jī)和平板電腦等移動(dòng)終端，從而無(wú)法滿足用戶的多樣化需求，降低了用戶體驗(yàn)效果。

發(fā)明內(nèi)容

本部分的目的在于概述本發(fā)明的實(shí)施方式的一些方面以及簡(jiǎn)要介紹一些較佳實(shí)施方式。在本部分以及本申請(qǐng)的說(shuō)明書摘要和發(fā)明名稱中可能會(huì)做些簡(jiǎn)化或省略以避免使本部分、說(shuō)明書摘要和發(fā)明名稱的目的模糊，而這種簡(jiǎn)化或省略不能用于限制本發(fā)明的范圍。

鑒于上述中存在的問(wèn)題，提出了本發(fā)明。

為解決上述技術(shù)問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供了如下技術(shù)方案：

一種即時(shí)視頻中的表情識(shí)別方法，包括實(shí)時(shí)表情特征的提取和基于實(shí)時(shí)表情特征提取方法的表情的識(shí)別，所述實(shí)時(shí)表情特征的提取包括下列步驟：

步驟一，制定基于Kinect的表情特征數(shù)據(jù)庫(kù)規(guī)范，包括表情表現(xiàn)規(guī)范、錄制規(guī)范及特征文件命名規(guī)范；

步驟二，收集表情特征數(shù)據(jù)：運(yùn)用FaceTracking改編的錄制軟件從Kinect的實(shí)時(shí)視頻流中追蹤人臉并提取運(yùn)動(dòng)單元信息即AUs和特征點(diǎn)坐標(biāo)信息即FPPs，每次記錄的數(shù)據(jù)包括RGB圖、AUs和FPPs，具體過(guò)程如下：

過(guò)程一，預(yù)先通過(guò)表情表現(xiàn)者，分別記錄憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝7種表情,和5種面部姿態(tài)即當(dāng)前面部與正面人臉的夾角分別為0°,±15°,±30°時(shí)的姿態(tài)，識(shí)別面部特征，更換表情表現(xiàn)者，重復(fù)上述的操作，去除重復(fù)數(shù)據(jù)，得到多名表情表現(xiàn)者實(shí)驗(yàn)所獲得的多組實(shí)驗(yàn)數(shù)據(jù)，數(shù)據(jù)的形式包括RGB圖、AUs和FPPs，這些數(shù)據(jù)儲(chǔ)存到主存儲(chǔ)空間。

過(guò)程二，記錄表情表現(xiàn)者的面部特征，重復(fù)記錄20遍，并為記錄到的面部特征匹配出一個(gè)特定的身份信息，每個(gè)特定的身份信息均匹配有對(duì)應(yīng)的子存儲(chǔ)空間,當(dāng)識(shí)別到新的表情表現(xiàn)者時(shí)，在為其匹配一個(gè)新的特定的身份信息，同時(shí)為該身份形象新建一個(gè)新的子存儲(chǔ)空間；

過(guò)程三，表情表現(xiàn)者將子存儲(chǔ)空間內(nèi)儲(chǔ)存的RGB圖進(jìn)行個(gè)人評(píng)價(jià)，當(dāng)錄制的RGB圖符合表情表現(xiàn)者的表達(dá)意愿，則將RGB圖、AUs和FPPs記錄下來(lái)，否則將RGB圖刪除；