[發明專利]一種針對視頻的表情識別方法、裝置及設備

在審

• 申請號: 201711274570.X
• 申請日: 2017-12-06
• 公開（公告）號: CN107977634A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 許靳昌;董遠;白洪亮;熊風燁
• 申請（專利權）人: 北京飛搜科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京晉德允升知識產權代理有限公司11623
• 代理人: 萬鐵占,穆裕

1.一種針對視頻的表情識別方法，包括：

獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情。

2.如權利要求1所述的方法，獲取待識別視頻中所包含的指定幀數的圖片序列，包括：

對所述待識別視頻逐幀截取圖片，獲取指定幀數的圖片序列；或者，

對所述待識別視頻截取圖片，獲得圖片序列，從所述圖片序列中依序選取指定幀數的圖片序列。

3.如權利要求2所述的方法，獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉，包括：

檢測所述獲取得到的圖片序列中每幀圖片所包含的人臉；

根據檢測得到的人臉，對所述每幀圖片所包含的人臉進行對齊操作，生成包含對齊人臉的指定幀數的圖片序列。

4.如權利要求3所述的方法，根據檢測得到的人臉，對所述各幀圖片所包含的人臉進行對齊操作，生成包含對齊人臉的指定證書的圖片序列，包括：

確定檢測得到的人臉上的關鍵點，所述關鍵點包括人臉輪廓、眼睛、眉毛、嘴唇或者鼻子輪廓中的至少一種；

根據所述關鍵點進行仿射變換，生成包含對齊人臉的指定幀數的圖片序列。

5.如權利要求1所述的方法，所述預先訓練得到的3D卷積神經網絡，包括：

獲取不同表情類別的包含指定幀數的訓練圖片序列；

將所述指定幀數作為3D卷積神經網絡的卷積核參數，將所述不同表情類別的包含指定幀數的訓練圖片序列作為訓練樣本，訓練得到所述3D卷積神經網絡；

其中，所述訓練得到的3D卷積神經網絡最后一層為全連接層，用于生成表征圖片序列的特征向量。

6.權利要求5所述的方法，還包括：

對所述生成的表征所述訓練圖片序列的特征向量進行降維，生成低維向量；

以所述低維向量作為訓練樣本，訓練生成支持向量機。

7.如權利要求6所述的方法，根據所述特征向量確定所述待識別視頻中的人臉的表情類別，包括：

采用所述訓練得到的3D卷積神經網絡對所述特征向量進行分類，確定所述待識別視頻中的人臉的表情類別；或者，

對所述特征向量進行降維，生成另一表征所述待識別視頻的低維向量，采用事先訓練生成的所述支持向量機對所述低維向量進行分類，確定所述待識別視頻中的人臉的表情類別。

8.一種針對視頻的表情識別裝置，包括：

獲取模塊，獲取待識別視頻中所包含的指定幀數的圖片序列，所述圖片序列包含待識別視頻中的人臉；

生成模塊，根據所述圖片序列，采用預先訓練得到的3D卷積神經網絡生成表征所述待識別視頻的特征向量，其中，所述3D卷積神經網絡的卷積核參數中包括所述指定幀數；

分類模塊，根據所述特征向量確定所述待識別視頻中的人臉的表情類別，所述表情類別包括憤怒、高興、悲傷、驚訝、厭惡、恐懼或自然表情。

9.如權利要求8所述的裝置，所述獲取模塊，對所述待識別視頻逐幀截取圖片，獲取指定幀數的圖片序列；或者，對所述待識別視頻截取圖片，獲得圖片序列，從所述圖片序列依序中選取指定幀數的圖片序列。

10.如權利要求8所述的裝置，所述獲取模塊，檢測所述圖片序列中每幀圖片所包含的人臉；根據檢測得到的人臉，對所述每幀圖片所包含的人臉進行對齊操作，生成包含對齊人臉的指定幀數的圖片序列。

11.如權利要求10所述的裝置，所述獲取模塊，確定檢測得到的人臉上的關鍵點，所述關鍵點包括人臉輪廓、眼睛、眉毛、嘴唇或者鼻子輪廓中的至少一種；根據所述關鍵點進行仿射變換，生成包含對齊人臉的指定幀數的圖片序列。