[發明專利]一種基于預測的多特征融合的老人語音情感識別方法

有效

• 申請號: 201710223015.8
• 申請日: 2017-04-07
• 公開（公告）號: CN106992000B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 王坤俠;劉文靜;王鑫;夏巍
• 申請（專利權）人: 安徽建筑大學
• 主分類號: G10L15/08
• 分類號: G10L15/08;G10L17/02;G10L19/04;G10L25/24;G10L25/63
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 方榮肖

1.一種基于預測的多特征融合的老人語音情感識別方法，其特征在于：其包括以下步驟：

第一步：獲取空巢老人語音情感數據庫，所述數據庫中包含多種情感類別和多個人物形象；

第二步：對所述數據庫進行處理，分別對所述數據庫中的每條語音和表情提取不同的特征參數：每條語音帶有對應的情感類別，與相應語音對應的人物形象帶有對應的表情：

第一種特征：小波系數；利用小波變換對每條語音進行分解，舍棄語音高頻帶小波系數，實現降噪目的，然后選取語音基頻帶的小波系數進行方差分析，進而預測帶噪語音的基音周期；

第二種特征：傅立葉系數；利用傅里葉變換對每條語音整體變換，在得到加窗的每一幀信號后，需要知道此幀信號在不同頻段的能量分布，從一個離散信號中提取離散頻段頻譜信息；

第三種特征：Mel頻率倒譜系數；在Mel標度頻率域提取出倒譜參數；

第三步：采用基于預測的方法對多特征進行融合；基于預測的融合框架包括兩部分：

第一個是跨特征預測組件，其通過建模多特征之間的關系來組合小波系數X、傅立葉系數F、Mel頻率倒譜系數M，跨特征預測組件對應于特征級融合，其中三種特征的連接由第一組預測器替代，分別學習語音情感類別的三種特征參數之間的映射；

在對特征進行預測的第一組預測器中，小波系數、傅立葉系數和Mel頻率倒譜系數之間的關系分別由六個回歸因子f_X→F、f_X→M、f_F→M、f_F→X、f_M→X、f_M→F建模；六個回歸因子對應六個預測器，六個預測器分別將三種特征作為輸入，并在相同幀t處預測對應的識別率；

識別率預測時，采用以下等式：

f_X→F(X[t-k_XF,t])＝F_X→F[t]≈F[t] (1)

f_X→M(X[t-k_XM,t])＝M_X→M[t]≈M[t] (2)

f_F→M(F[t-k_FM,t])＝M_F→M[t]≈M₁[t] (3)

f_M→F(M[t-k_MF,t])＝F_M→F[t]≈F₁[t] (4)

f_M→X(M[t-k_MX,t])＝X_M→X[t]≈X[t] (5)

f_F→X(F[t-k_FX,t])＝X_F→X[t]≈X₁[t] (6)

其中，在6個等式中，窗口k的大小取決于映射類型和建模類；

第二個是特征內預測組件，分別對三種特征的時間演進進行建模，特征內預測組件對應于決策級融合，其中每種特征由兩個第二組預測器建模，這兩個第二組預測器分別學習每個情感類別的過去和當前特征之間的映射；

在第二組預測器中，其在每個特征內進行預測，每個情感類別的過去和未來特征之間的關系由三個回歸因子f_X→X、f_F→F和f_M→M建模；三個回歸因子對應三個預測器，三個預測器將過去的特征作為輸入，并且在幀t處預測對應的特征；

特征預測時，采用以下等式：

f_X→X(X[t-k_XX,t-1])＝X_X→X[t]≈X[t] (7)

f_F→F(F[t-k_FF,t-1])＝F_F→F[t]≈F[t] (8)

f_M→M(M[t-k_MM,t-1])＝M_M→M[t]≈M[t] (9)

其中，在上述3個等式中，窗口k的大小取決于映射類型和建模類；

其中，跨特征預測組件和特征內預測組件以分層方式組合；在第一層中，跨特征預測組件的三個預測器被組合以便考慮特征之間的雙向關系，特征內預測組件的三個預測器被組合以便合并關于特征的時間演進的信息；在第二層中，組合跨特征預測組件和特征內預測組件，以便研究特征關系和它們的時間演進；

第四步：用SVM進行特征識別；

第五步：輸出同一段語音下預測的最高準確率的情感類別，得到識別結果。