[發(fā)明專利]基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法

在審

• 申請?zhí)枺?/td>: 202011451537.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112562725A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 張衛(wèi);賈宇;羅翠線
• 申請（專利權(quán)）人: 山西財經(jīng)大學(xué)
• 主分類號: G10L25/18
• 分類號: G10L25/18;G10L25/21;G10L25/24;G10L25/27;G10L25/63;G06K9/00;G06N3/04
• 代理公司: 太原申立德知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 14115
• 代理人: 程園園

1.基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法，其特征在于，將語音數(shù)據(jù)先轉(zhuǎn)化為語譜圖，并使用卷積網(wǎng)絡(luò)層和膠囊網(wǎng)絡(luò)層提取深度特征進行情感分類，具體步驟如下：

步驟1，使用librosa包提取語音數(shù)據(jù)，并對語音數(shù)據(jù)進行長度歸一化，最后轉(zhuǎn)化為語譜圖；

步驟2，使用三層卷積神經(jīng)網(wǎng)絡(luò)提取語譜圖中的深層抽象特征；

步驟3，使用膠囊網(wǎng)絡(luò)對語譜圖提取出的深層抽象特征進一步提取抽象表達；

步驟4，膠囊網(wǎng)絡(luò)構(gòu)造邊緣損失函數(shù)對別每個膠囊的長度進行不同情感的分類判別。

2.根據(jù)權(quán)利要求1所述的基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法，其特征在于，所述步驟1使用librosa包提取語音數(shù)據(jù)，并對語音數(shù)據(jù)進行長度歸一化，最后轉(zhuǎn)化為語譜圖，具體步驟為：

步驟1.1，使用librosa包提取語音數(shù)據(jù)的音頻信號值；

步驟1.2，提取t秒的數(shù)據(jù)，將長度小于t的音頻信號值進行補0處理，長度大于等于t的則取[0,t]之間的數(shù)據(jù)；

步驟1.3，使用librosa包計算梅爾頻譜，同時將獲得的梅爾頻譜值轉(zhuǎn)化為功率譜，再將功率譜進行0～1歸一化并重新變形為二維數(shù)組，得到語音數(shù)據(jù)的語譜圖。

3.根據(jù)權(quán)利要求1所述的基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法，其特征在于，所述步驟2使用三層卷積神經(jīng)網(wǎng)絡(luò)提取語譜圖中的深層抽象特征，具體步驟為：

步驟2.1，構(gòu)建卷積網(wǎng)絡(luò)層使用卷積操作來識別語譜圖并提取深層抽象特征，其公式表示為：

式(1)中，X是輸入的數(shù)據(jù)，為卷積操作，W是相應(yīng)卷積核的權(quán)重向量，b為偏移量，f(·)表示卷積核的激活函數(shù)，所述激活函數(shù)使用leakyRelu作為激活函數(shù)；

步驟2.2，構(gòu)建卷積網(wǎng)絡(luò)層使用池化層來降低參數(shù)量減少計算復(fù)雜度，其公式表示為：

Y＝P(C) (2)

式(2)中，C是卷積操作后的輸出，即池化操作的輸入，所述池化操作選用平均池化操作。

4.根據(jù)權(quán)利要求1所述的基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法，其特征在于，所述步驟3使用膠囊網(wǎng)絡(luò)對語譜圖提取出的深層抽象特征進一步提取抽象表達，具體步驟為：

步驟3.1，主膠囊層首先對于輸入的多個不同的向量v₁和v₂到v_i通過分別乘以權(quán)值W₁和W₂到W_i仿射變換得到u₁、u₂到u_i，公式如下：

u_i＝W_iv_i (3)

式(3)中，v_i為卷積層訓(xùn)練出的特征向量，W_i為投影到膠囊網(wǎng)絡(luò)的過渡權(quán)重，即一個矩陣。

步驟3.2，映射變換得到的u_i進行權(quán)重加和獲得s，計算公式如下：

式(4)中，c_i為向量u_i的權(quán)值，c_i的數(shù)值由膠囊網(wǎng)絡(luò)的動態(tài)路由算法獲得，s為不同向量按照權(quán)值求和后的新向量，進一步進行預(yù)測使用；

步驟3.3，最后將獲得的s使用擠壓方式，將其長度壓縮到0～1之間，該方式并不會改變其向量方向，計算公式如下：

式(5)中，v的長度代表其存在的概率大小，向量v中的某一個值則代表某種特征屬性，計算得到的v進一步由動態(tài)路由算法進行判別。

5.根據(jù)權(quán)利要求1所述的基于語譜圖和膠囊網(wǎng)絡(luò)的混合語音情感分類方法，其特征在于，所述步驟4膠囊網(wǎng)絡(luò)構(gòu)造邊緣損失函數(shù)對別每個膠囊的長度進行不同情感的分類判別，具體步驟為：

最后得到的向量輸出v通過構(gòu)建一個邊緣損失函數(shù)進行分類判別，具體計算公式如下：

式(6)中，當前數(shù)據(jù)為第k類時T_k＝1，否則為0；m⁺和m^-用于限制向量v的長度，λ為超參數(shù)，通常選擇0.5來保證數(shù)值穩(wěn)定性。