[發明專利]基于語譜圖和膠囊網絡的混合語音情感分類方法

在審

• 申請號: 202011451537.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112562725A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張衛;賈宇;羅翠線
• 申請（專利權）人: 山西財經大學
• 主分類號: G10L25/18
• 分類號: G10L25/18;G10L25/21;G10L25/24;G10L25/27;G10L25/63;G06K9/00;G06N3/04
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

1.基于語譜圖和膠囊網絡的混合語音情感分類方法，其特征在于，將語音數據先轉化為語譜圖，并使用卷積網絡層和膠囊網絡層提取深度特征進行情感分類，具體步驟如下：

步驟1，使用librosa包提取語音數據，并對語音數據進行長度歸一化，最后轉化為語譜圖；

步驟2，使用三層卷積神經網絡提取語譜圖中的深層抽象特征；

步驟3，使用膠囊網絡對語譜圖提取出的深層抽象特征進一步提取抽象表達；

步驟4，膠囊網絡構造邊緣損失函數對別每個膠囊的長度進行不同情感的分類判別。

2.根據權利要求1所述的基于語譜圖和膠囊網絡的混合語音情感分類方法，其特征在于，所述步驟1使用librosa包提取語音數據，并對語音數據進行長度歸一化，最后轉化為語譜圖，具體步驟為：

步驟1.1，使用librosa包提取語音數據的音頻信號值；

步驟1.2，提取t秒的數據，將長度小于t的音頻信號值進行補0處理，長度大于等于t的則取[0,t]之間的數據；

步驟1.3，使用librosa包計算梅爾頻譜，同時將獲得的梅爾頻譜值轉化為功率譜，再將功率譜進行0～1歸一化并重新變形為二維數組，得到語音數據的語譜圖。

3.根據權利要求1所述的基于語譜圖和膠囊網絡的混合語音情感分類方法，其特征在于，所述步驟2使用三層卷積神經網絡提取語譜圖中的深層抽象特征，具體步驟為：

步驟2.1，構建卷積網絡層使用卷積操作來識別語譜圖并提取深層抽象特征，其公式表示為：

式(1)中，X是輸入的數據，為卷積操作，W是相應卷積核的權重向量，b為偏移量，f(·)表示卷積核的激活函數，所述激活函數使用leakyRelu作為激活函數；

步驟2.2，構建卷積網絡層使用池化層來降低參數量減少計算復雜度，其公式表示為：

Y＝P(C) (2)

式(2)中，C是卷積操作后的輸出，即池化操作的輸入，所述池化操作選用平均池化操作。

4.根據權利要求1所述的基于語譜圖和膠囊網絡的混合語音情感分類方法，其特征在于，所述步驟3使用膠囊網絡對語譜圖提取出的深層抽象特征進一步提取抽象表達，具體步驟為：

步驟3.1，主膠囊層首先對于輸入的多個不同的向量v₁和v₂到v_i通過分別乘以權值W₁和W₂到W_i仿射變換得到u₁、u₂到u_i，公式如下：

u_i＝W_iv_i (3)

式(3)中，v_i為卷積層訓練出的特征向量，W_i為投影到膠囊網絡的過渡權重，即一個矩陣。

步驟3.2，映射變換得到的u_i進行權重加和獲得s，計算公式如下：

式(4)中，c_i為向量u_i的權值，c_i的數值由膠囊網絡的動態路由算法獲得，s為不同向量按照權值求和后的新向量，進一步進行預測使用；

步驟3.3，最后將獲得的s使用擠壓方式，將其長度壓縮到0～1之間，該方式并不會改變其向量方向，計算公式如下：

式(5)中，v的長度代表其存在的概率大小，向量v中的某一個值則代表某種特征屬性，計算得到的v進一步由動態路由算法進行判別。

5.根據權利要求1所述的基于語譜圖和膠囊網絡的混合語音情感分類方法，其特征在于，所述步驟4膠囊網絡構造邊緣損失函數對別每個膠囊的長度進行不同情感的分類判別，具體步驟為：

最后得到的向量輸出v通過構建一個邊緣損失函數進行分類判別，具體計算公式如下：

式(6)中，當前數據為第k類時T_k＝1，否則為0；m⁺和m^-用于限制向量v的長度，λ為超參數，通常選擇0.5來保證數值穩定性。