[發明專利]一種基于時域卷積網絡的多模態情感識別方法

有效

• 申請號: 202110072249.3
• 申請日: 2021-01-20
• 公開（公告）號: CN112784730B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 李克;梁瑞宇;趙力;郭如雪
• 申請（專利權）人: 東南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G10L25/63
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

1.一種基于時域卷積網絡的多模態情感識別方法，其特征在于，包括以下步驟：

步驟1，獲取含有情感信息的音視頻作為訓練樣本；

步驟2，對步驟1獲得的訓練樣本中的視頻模態數據間隔采樣并進行人臉檢測與關鍵點定位，得到灰度人臉圖像序列；

步驟3，對樣本中的音頻模態數據進行短時傅里葉變換STFT并通過梅爾濾波器組，得到梅爾聲譜圖；

步驟4，構建神經網絡模型，以訓練樣本得到的灰度人臉圖像序列、梅爾聲譜圖輸入神經網絡模型，以交叉熵L作為損失函數進行反向傳播訓練神經網絡模型，并采用自適應矩估計Adam方法進行訓練優化，利用梯度的一階矩估計和二階矩估計動態調整每個參數的學習率，最終得到訓練好的神經網絡模型；

所述神經網絡模型包括人臉圖像卷積網絡、聲譜圖像卷積網絡以及時域卷積網絡，其中：

所述人臉圖像卷積網絡包括依次連接的卷積層一、最大值池化層一、殘差單元、全局平均值池化層一和全連接層一，所述殘差單元包括八個殘差模塊，每個殘差模塊包括兩個由3×3尺寸卷積核構成的卷積層，殘差模塊以shortcut結構連接；

所述聲譜圖像卷積網絡包括依次連接的卷積層二、歸一化層一、最大值池化層二、卷積層三、歸一化層二、最大值池化層三、全局平均值池化層二；

所述時域卷積網絡TCN包括四個膨脹系數呈2的冪級數增長的時域卷積模塊和全連接層二，所述時域卷積模塊按膨脹系數由低到高依次連接，最后的時域卷積模塊與全連接層二連接；

所述時域卷積模塊由兩個因果膨脹1維卷積層以shortcut結構進行連接構成；因果膨脹1維卷積對于輸入的融合特征序列，隨機初始化一個大小為7的1維卷積核，在序列的時間維度上進行滑動，依次與相同長度的子序列點乘得到輸出序列中的一個元素；對于輸出序列{x′₀,...,x′_T-1}的第i個元素，僅依賴于輸入序列中索引為{0,...,i-1}即其之前的元素，為保持輸入輸出序列長度相等，僅在輸入序列左側填充0，從而使得該卷積操作是嚴格約束的因果模型；為使得1維卷積能夠分析長期的時序關系，卷積核采用膨脹操作，即在與輸入序列點乘時進行間隔采樣，在卷積核大小不變的情況下使其感受野更大，能夠與輸入序列中更大范圍的子序列進行點乘，在每個時域卷積模塊中，兩個卷積層的膨脹系數相同，而在時域卷積模塊之間，膨脹系數呈2的冪級數逐漸增長；每一個時域卷積模塊的輸出序列長度與輸入序列長度相等，而特征維度等同于卷積核的數量；

神經網絡模型訓練方法如下：

步驟4-1，將所有提取到的灰度人臉圖像序列輸入人臉圖像卷積網絡，將每一幅圖像編碼為128維、列寬T的特征向量一，所有的特征向量一組成特征矩陣一；

步驟4-2，將梅爾聲譜圖輸入聲譜圖像卷積網絡，編碼為行高128、列寬為T的特征矩陣二；

步驟4-3，將特征矩陣一、特征矩陣二在縱向進行拼接，即逐幀進行特征融合，得到特征向量維度為256、長度為T的融合特征序列；

步驟4-4，將所述的融合特征序列輸入時域卷積網絡TCN，并選取經過時序建模的序列的末尾元素作為高級特征向量；

步驟4-5，將高級特征向量輸入全連接層二得到一個維度等同于分類數量的輸出向量z，使用Softmax函數映射為概率分布后計算輸出向量z與樣本實際概率分布之間的交叉熵L，并通過反向傳播訓練整個神經網絡模型不斷更新權重，得到對音視頻樣本進行情感分類的訓練好的神經網絡模型；

交叉熵L：

式中，R_i為樣本實際概率分布，z_i為第i個輸出神經元的值，K為分類數量；

步驟5，識別時，獲取待識別的含有情感信息的音視頻作為識別樣本，將識別樣本通過步驟2、步驟3的處理得到識別樣本的灰度人臉圖像序列、梅爾聲譜圖，將識別樣本的灰度人臉圖像序列、梅爾聲譜圖輸入訓練好的神經網絡模型得到情緒識別結果。