[發明專利]一種針對視頻的表情識別方法、裝置及設備

在審

• 申請號: 201711274570.X
• 申請日: 2017-12-06
• 公開（公告）號: CN107977634A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 許靳昌;董遠;白洪亮;熊風燁
• 申請（專利權）人: 北京飛搜科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京晉德允升知識產權代理有限公司11623
• 代理人: 萬鐵占,穆裕

技術領域

本說明書涉及計算機技術領域，尤其涉及一種針對視頻的表情識別方法、裝置及設備。

背景技術

隨著技術發展，越來越多的生活場景中需要利用針對視頻的表情識別。

在當前技術中，大多使用提取視頻中人臉的各種特征的方式(例如幾何特征、統計特征等等)，進行定位、統計等方法進行表情識別，丟失了許多識別和分類信息，識別結果準確度較低。

基于此，需要一種更準確的針對視頻的表情識別方案。

發明內容

本說明書實施例提供一種針對視頻的表情識別方法、裝置及設備，用于解決如下問題：以提供一種更準確的針對視頻的表情識別方案。

基于此，本說明書實施例提供一種針對視頻的表情識別方法，包括：

獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情。

同時，本說明書的實施例還提供一種針對視頻的表情識別裝置，包括：

獲取模塊，獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

生成模塊，根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

分類模塊，根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情。

對應的，本說明書實施例還提供一種針對視頻的表情識別設備，包括：

存儲器，存儲針對視頻的表情識別程序；

處理器，調用存儲器中存儲的針對視頻的表情識別程序，并執行：

獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情

對應的，本說明書的實施例還提供一種非易失性計算機存儲介質，存儲有計算機可執行指令，所述計算機可執行指令設置為：

獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情。

本說明書實施例采用的上述至少一個技術方案能夠達到以下有益效果：

針對任意的包含人臉的視頻，提取相應的圖片序列，通過人臉檢測提取其所包含的人臉圖片，并進行相應的對齊操作作為輸入，然后通過采用預先訓練的3D卷積神經網絡，進行既包含空間特征也包含時間特征的特征提取，生成特征向量，融合了對圖片序列的時空域的預測，從而根據所述特征向量實現更準確的表情識別。此外，還可以通過對3D卷積神經網絡得到的特征向量進行降維，生成低維向量，通過支持向量機(Support Vector Machine，SVM)對低維向量進行分類，以實現對視頻中人臉的表情識別，通過降維操作，一方面去除了其中的冗余特征，使分類更準確，另一方面也減少了計算量，提高了識別速度。

附圖說明

圖1本說明書的實施例提供的針對視頻的表情識別過程的示意圖；

圖2為本說明書實施例提供的3D卷積神經網絡卷積過程的示意圖；

圖3為本說明書實施例提供的人臉關鍵點的示意圖；

圖4為本說明書實施例所提供的一種實際應用中示例的邏輯關系圖；

圖5為本說明書實施例提供的具體實施例的示意圖。

具體實施方式