[發明專利]基于特征集融合的語音情感識別及評價方法

有效

• 申請號: 202010563652.1
• 申請日: 2020-06-19
• 公開（公告）號: CN111816212B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 周后盤;夏鵬飛;周偉東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L15/06
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.基于特征集融合的語音情感識別及評價方法，其特征在于，具體包括以下步驟：

步驟一：從語音數據庫中讀取.wav語音文件，對語音文件預處理后提取N種語音特征集；

步驟二：建立Stacking學習模型；

通過初級學習器融合N種語音特征集，并建立Stacking學習模型的次級學習器，通過次級學習器對融合后的語音特征集做最終的語音情感識別預測；

將得到的語音特征集切分為訓練數據和測試數據，分別為Training Data、Test Data；采用K折交叉驗證來切分訓練數據得到Train₁，Train₂...Train_k；此時初級學習器要做K次訓練和預測；

使用訓練數據中的Train₂，Train₃...Train_k做為訓練集Set₁，Train₁做為驗證集，基于訓練集Set₁訓練初級學習器，預測得到驗證集Train₁的預測結果Val₁，同時預測得到測試集Test的預測結果Test₁；

使用訓練數據中的Train₁，Train₃...Train_k做為訓練集Set₂，Train₂做為驗證集，基于訓練集Set₂訓練初級學習器，預測得到驗證集Train₂的預測結果Val₂，同時預測得到測試集Test的預測結果Test₂；

同理分別預測得到驗證集Train₃，Train₄...Train_k的預測結果Val₃，Val₄...Val_k，同時分別預測得到測試集Test的預測結果Test₃，Test₄...Test_k；

將得到的Val₁，Val₂...Val_k進行矩陣拼接，得到1列的Val數據；將此Val數據作為次級學習器的訓練數據；

對Test₁，Test₂...Test_k求取平均值得到Test_avg，將Test_avg作為次級學習器的測試數據；

N種語音情感特征的訓練數據經過Stacking的初級學習器預測后得到N列數據，并將此數據作為次級學習器的訓練數據；

N種語音情感特征集的測試數據經過Stacking的初級學習器預測后得到N列數據，并將此數據作為次級學習器的測試數據；

將次級學習器的訓練數據作為次級學習器的訓練數據，經訓練后通過次級學習器的測試數據來驗證次級學習器的預測結果；

步驟三：建立評價標準，通過Stacking學習模型得到的預測結果與真實結果進行計算，得到評價該模型的評價標準；

平均絕對誤差

其中m，y_i，分別為測試集樣本個數、測試集真實值及測試集預測值；該指標計算用于評估預測結果和真實數據集的接近程度的程度，其值越小說明擬合效果越好；

均方差

其中m，y_i，分別為測試集樣本個數、測試集真實值及測試集預測值；該指標計算的是擬合數據和原始數據對應樣本點的誤差的平方和的均值，其值越小說明擬合效果越好；

判定系數

其中m，y_i，分別為測試集樣本個數、測試集真實值、測試集預測值及測試集真實值的平均值；其含義是也是解釋回歸模型的方差得分，其值取值范圍是[0，1]，越接近于1說明自變量越能解釋因變量的方差變化，值越小則說明效果越差；

皮爾遜相關系數

其含義是計算測試集真實值與測試集預測值的相關度，相關系數在[-1，1]之間，Pcc值越大，表示相關系數越顯著。

2.根據權利要求1所述的基于特征集融合的語音情感識別方法，其特征在于：步驟一中提取的語音特征集，具體為：Opensmile工具包提取IS09_emotion、IS10_paraling、IS11_speaker_state、IS12_speaker_trait四種語音特征集。