[發明專利]基于注意力機制的語音情感識別方法

有效

• 申請號: 201811135064.7
• 申請日: 2018-09-28
• 公開（公告）號: CN109285562B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 謝躍;梁瑞宇;梁鎮麟;郭如雪
• 申請（專利權）人: 東南大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/27;G10L15/06;G06N3/04
• 代理公司: 南京創略知識產權代理事務所(普通合伙) 32358
• 代理人: 嚴靖

1.基于注意力機制的語音情感識別方法，其特征在于：包括以下步驟，

步驟(A)，從原始語音數據中提取具有時序信息的語音特征；

步驟(B)，建立具有處理變長數據能力的LSTM模型；

步驟(C)，通過注意力機制優化LSTM模型中的遺忘門計算方式；

步驟(D)，對優化后的LSTM模型輸出的同時，進行時間維度和特征維度的注意力加權操作；

步驟(E)，在LSTM模型上添加全連層與軟最大化層，構建形成完整的情感識別網絡模型；

步驟(F)，訓練情感識別網絡模型，并對該情感識別網絡模型的識別性能進行評測，

其中，步驟(A)，提取具有時序信息的語音特征是通過語音幀之間的序列關系保留了原始語音數據中的時序信息，且該具有時序信息的語音特征的維度是隨原始語音數據的實際長度而變化的；

步驟(B)，建立具有處理變長數據能力的LSTM模型，遵循以下規則，

(B1)，根據LSTM模型具有處理變長語音特征的能力，在不等長的語音數據結尾處補零至相同長度；

(B2)，在LSTM模型訓練前，補零后的語音數據實際有效長度通過每幀數據的絕對值求和并判斷是否為零來獲得；

(B3)，在LSTM模型參數更新訓練時，只有實際有效的語音數據參與運算，補零的數據并不參與運算；

步驟(C)，通過注意力機制優化LSTM模型中的遺忘門計算方式，是在遺忘門與細胞狀態的更新計算過程中增加窺視連接，將細胞狀態也作為輸入，該遺忘門計算方式，如公式(1)所示，

f_t＝σ(W_f×[C_t-1,h_t-1,x_t]+b_f) (1)

該細胞狀態更新，如公式(2)、(3)、(4)所示，

i_t＝σ(W_i×[C_t-1,h_t-1,x_t]+b_i) (2)

其中，f_t為遺忘門參數，C_t為細胞狀態更新參數，C_t-1和h_t-1分別為上一時刻的細胞狀態和隱層輸出，x_t為當前時刻的輸入，為細胞狀態更新的候選值，i_t為控制候選值的系數，W_f為LSTM模型內待訓練的遺忘門外權重參數，b_f為LSTM模型內待訓練的遺忘門偏置參數，W_i為LSTM模型內待訓練的控制候選值權重參數，b_i為LSTM模型內待訓練的控制候選值偏置參數，W_C為LSTM模型內待訓練的細胞狀態更新權重參數，b_C為LSTM模型內待訓練的細胞狀態更新偏置參數，σ為sigmod激活函數；

在該LSTM模型中i_t由(1-f_t)獲得，即舊細胞遺忘的信息與新細胞加入的信息一同由f_t決定，細胞狀態更新公式，如公式(5)所示：

從上式中可以看出，遺忘門參數f_t是通過對新舊細胞狀態加權求和來更新當前時刻細胞狀態的，針對加權系數采用自注意力機制來獲取，即通過訓練自注意力模型中的參數來獲取細胞自身狀態中的信息，以更新新的細胞狀態，因此，遺忘門參數f_t，可通公式(6)得到，

f_t＝σ(V_f×tanh(W_f×C_t-1)) (6)

其中，V_f為遺忘門內注意力機制待訓練參數。