[發明專利]一種即時視頻中的表情識別方法及裝置

在審

• 申請號: 201910598302.6
• 申請日: 2019-07-04
• 公開（公告）號: CN110378256A
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 任思源;彭進業;李展
• 申請（專利權）人: 西北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 鄒仕娟

1.一種即時視頻中的表情識別方法，包括實時表情特征的提取和實時表情特征提取方法的表情的識別，其特征在于，所述實時表情特征的提取包括下列步驟：

步驟一，制定基于Kinect的表情特征數據庫規范，包括表情表現規范、錄制規范及特征文件命名規范；

步驟二，收集表情特征數據：運用FaceTracking改編的錄制軟件從Kinect的實時視頻流中追蹤人臉并提取運動單元信息即AUs和特征點坐標信息即FPPs，每次記錄的數據包括RGB圖、AUs和FPPs，具體過程如下：

過程一，預先通過表情表現者，分別記錄憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝7種表情,和5種面部姿態即當前面部與正面人臉的夾角分別為0°,±15°,±30°時的姿態，識別面部特征，更換表情表現者，重復上述的操作，去除重復數據，得到多名表情表現者實驗所獲得的多組實驗數據，數據的形式包括RGB圖、AUs和FPPs，這些數據儲存到主存儲空間。

過程二，記錄表情表現者的面部特征，重復記錄20遍，并為記錄到的面部特征匹配出一個特定的身份信息，每個特定的身份信息均匹配有對應的子存儲空間,當識別到新的表情表現者時，在為其匹配一個新的特定的身份信息，同時為該身份形象新建一個新的子存儲空間；

過程三，表情表現者將子存儲空間內儲存的RGB圖進行個人評價，當錄制的RGB圖符合表情表現者的表達意愿，則將RGB圖、AUs和FPPs記錄下來，否則將RGB圖刪除；

步驟三，表情有效性評測，即有區別于表情表現者至少10名測評者對過程四中得到的數據組中的RGB圖進行主觀測評實驗，如測評者肯定RGB圖表現的有效性，則認為提取的AUs和FPPs是有效的；選取與表情最為相關的特征點，得到45個關于眼睛、眉毛和嘴部的3D特征點，每個特征點坐標表示為(X,Y,Z)，從每幀圖像中提取的FPPs表示為一個135維向量。

2.根據權利要求1所述的一種即時視頻中的表情識別方法，其特征在于，所述實時表情特征識別包括以下步驟：

步驟一，基于AUs識別表情的步驟，具體包括以下過程：

過程一，訓練基于AUs的情感模型，將某x類AUs的標簽置為1，其它類別AUs的標簽均置為-1，然后運用這些標記過的AUs訓練SVM模型用于識別給定的AUs是否屬于x類，如果是屬于x類，輸出1，否則輸出-1；

過程二，更換x類的類別，重復過程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝對應7種不同表情的AUs情感模型，用于組建7元1-vs-1SVM分類器組，給定實時AUs，輸出7個預識別結果；

過程三，將每一幀表情圖像的AUs輸入過程二訓練好的7元1-vs-1SVM分類器組中，得到每一幀表情圖像的預識別結果，每幀表情圖像的預識別結果被存儲在緩沖存儲器BM-AUs中；

過程四，采用情感置信分布圖對BM-AUs中連續30幀表情圖像的預識別結果進行融合，情感置信分布圖中最高置信度所對應的表情即為所述連續30幀表情圖像的基于AUs得到的表情預識別結果；

步驟二，基于FPPs識別表情的步驟，具體包括以下過程：

過程一，訓練基于FPPs的情感模型，將某x類FPPs的標簽置為1，其它類別FPPs的標簽均置為-1，然后運用這些標記過的FPPs訓練SVM模型用于識別給定的FPPs是否屬于x類，如果是屬于x類，輸出1，否則輸出-1；

過程二，更換x類的類別，重復過程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝對應7種不同表情的FPPs情感模型，用于組建7元1-vs-1SVM分類器組，對于給定實時FPPs可輸出7個預識別結果；

過程三，將每一幀表情圖像的FPPs輸入過程二訓練好的7元1-vs-1SVM分類器組中，得到每一幀表情圖像的預識別結果，每幀表情圖像的預識別結果被存儲在緩沖存儲器BMFPPs中；

過程四，采用情感置信分布圖對BM-FPPs中連續30幀表情圖像的預識別結果進行融合，情感置信分布圖中最高置信度所對應的表情即為該連續30幀表情圖像的基于FPPs得到的表情預識別結果；

步驟四，比較基于AUs得到的表情預識別結果的置信度和基于FPPs得到的表情預識別結果的置信度，將擁有較高置信度的表情預識別結果作為當前連續30幀表情圖像的最終識別結果。