[發明專利]一種基于聲音視覺聯合特征的視頻內表情識別方法

在審

• 申請號: 201811182972.1
• 申請日: 2018-10-11
• 公開（公告）號: CN109344781A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 張奕;謝錦濱;顧寅錚
• 申請（專利權）人: 上海極鏈網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上海海貝律師事務所 31301
• 代理人: 范海燕

1.一種基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：

包括以下步驟：

步驟S1：對輸入視頻在視覺和聲音兩個維度上進行采樣，得到采樣圖像幀和采樣音頻片段；

步驟S2：在采樣圖像幀上進行視覺特征提取，獲得視覺特征向量，在采樣聲音片段上進行聲音特征提取，獲得聲音特征向量；

步驟S3：融合視覺和聲音特征向量，設計聯合分類器對視覺聲音聯合特征進行分類，得到表情檢測分類結果。

2.如權利要求1所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：視頻中表情識別采用視覺圖像幀和聲音片段的聯合采樣，兩種采樣具有相同的采樣間隔以滿足時間域上的對齊。

3.如權利要求2所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：聲音特征采用將等長間隔音頻頻譜圖輸入經預訓練的聲音卷積神經網絡得到的特征層輸出，視覺特征采用將等長間隔采樣得到的采樣圖像經人臉檢測對齊預處理后輸入經預訓練的視覺卷積神經網絡得到的特征層輸出，聲音特征和視覺特征經過連接合并、降維歸一化等變換等處理后得到聯合特征向量。

4.如權利要求3所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：使用聲音視覺聯合標注的樣本集，提取聲音視覺聯合特征向量后用標注的表情標簽來訓練有監督分類器，實現視頻中的表情分類。

5.如權利要求4所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：用監督學習方法訓練基于聲音視覺聯合特征向量的表情分類器，訓練樣本為同時包含人臉表情和聲音的視頻片段及標注的表情類別標簽，分類器樣式選包括不限于SVM、XGBoost、單層全連接神經網絡監督學習分類器或其組合，推理時將采樣的聲音視覺聯合特征向量輸入分類器即可獲得采樣對應的表情分類。

6.如權利要求5所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：圖像采樣采用2.56秒等間隔采樣，獲得采樣幀；聲音采樣以20毫秒為間隔對音頻進行等間隔采樣，獲得20毫秒長度的音頻片段。

7.如權利要求6所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：采樣圖像后檢測圖像中的人臉框和特征點并進行姿態對齊，獲得對齊后的人臉圖像；采樣音頻片段經過以下預處理步驟：對每個采樣音頻片段進行頻譜分析，頻譜量化為128個頻段，每128個采樣點為一采樣組，每個采樣片段時長為0.02秒*128＝2.56秒，構成128*128維的頻譜響應圖。

8.如權利要求7所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：圖像卷積神經網絡采用經標注的人臉表情圖像數據集進行訓練，網絡結構為50層Resnet；聲音卷積神經網絡采樣經標注的情感音頻數據集進行訓練，其標注類別標簽與圖像數據中的人臉表情一一對應，網絡結構也采用50層Resnet。

9.如權利要求8所述的基于聲音視覺聯合特征的視頻內表情識別方法，其特征在于：采樣圖像幀經預處理后輸入到圖像卷積神經網絡，提取1000維pool5層輸出作為采樣圖像對應的視覺特征向量；采樣音頻片段經預處理后輸入到聲音卷積神經網絡，提取1000維pool5層輸出作為采樣音頻片段對應的聲音特征向量；連接合并視覺特征向量和聲音特征向量，經PCA主元分析法降維到512維并歸一化后，作為該采樣的聲音視覺聯合特征向量。