[發明專利]基于特征選擇和優化的語音情感識別方法

在審

• 申請號: 201811525935.6
• 申請日: 2018-12-13
• 公開（公告）號: CN109493886A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 陳建春;李歡歡;王金鵬;吳琴;乜亮
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/24;G10L25/30;G10L25/45
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

1.一種基于特征選擇和優化的語音情感識別方法，其特征在于，包括如下：

(1)從casia漢語情感語料庫中選擇憤怒、恐懼、高興和悲傷這四種原始語音，形成語音數據庫，這四種原始語音分別對應四個類別標簽；

(2)對原始語音依次進行預加重、加窗分幀和端點檢測的預處理，得到預處理后的語音信號x(n)；

(3)提取預處理后語音信號x(n)的基音頻率F，短時能量E，短時平均過零率Z，第一共振峰頻率F1、第二共振峰頻率F2和梅爾頻率倒譜系數C，得到語音情感的六種特征參數；

(4)提取到語音的六種情感特征參數后，用隨機森林模型評估各個特征參數的重要性，刪除不重要的特征參數，得到最優的情感特征參數：

(4a)設置隨機森林模型參數：包括決策樹的棵數N、每棵樹隨機抽取的樣本數n和特征個數m，特征選擇的最低特征維度M，并用基尼指數確定決策樹節點的閾值，將語音情感除梅爾頻率倒譜系數C外的的五種特征參數作為隨機森林算法的輸入，對隨機森林模型進行訓練,得到訓練好的隨機森林模型；

(4b)定義隨機森林訓練未抽取到的數據為袋外數據，用訓練好的隨機森林模型對袋外數據進行分類，計算分類錯誤的數目W與袋外數據總數O之比，得到袋外數據誤差e1，對袋外數據的特征X加入隨機噪聲，再用隨機森林模型對袋外數據進行分類，得到加噪的袋外數據誤差e2；

(4c)用e2與e1之差對語音情感五種特征參數的重要性VI進行評估，再將特征參數按特征重要性VI降序排序，確定刪除比例q并刪除重要性低的特征參數，得到一個新的特征參數組合；

(4d)用新的特征參數組合建立并訓練新的隨機森林模型，重復上述(4b)-(4c)，直到剩余M個特征參數；

(4e)根據(4c)中得到的每個特征組合和它們建立的隨機森林模型,比較對應的袋外數據誤差e1，將袋外數據誤差最低的特征組合作為最后選定的最優語音情感特征參數；

(5)根據最優語音情感特征參數，通過卷積神經網絡得出語音的情感識別結果：

(5a)對卷積神經網絡初始化，即先對該網絡結構初始化，再對網絡的參數初始化；

(5b)卷積神經網絡初始化完成后，將最優語音情感特征參數及對應語音的類別標簽作為卷積神經網絡的輸入，訓練得到最優的卷積神經網絡模型；

(5c)將袋外最優語音情感特征參數作為最優的卷積神經網絡模型的輸入，該模型的輸出為語音的類別標簽，即得到最終的語音情感識別結果。

2.根據權利要求1所述的方法，其特征在于：(5a)中對卷積神經網絡結構初始化，其實現如下：

設置輸入層大小為40×46；

設第一層為卷積層C1，共有20個大小為5×7的卷積核，在每個卷積層后面均加入批歸一化BN層和ReLu激活函數層；

設第四層為池化層S1,該池化層特征映射均采用2×2的最大池化操作；

設第五層為卷積層C2，共有40個大小為5×5的卷積核；

設第八層為池化層S2；

設第九層為卷積層C3，共有60個大小為4×3的卷積核；

設第十二層為池化層S3；

設第十三層為卷積層C4，共有80個大小為2×3的卷積核；

設第十六層為Dropout層，隨機剔除每層神經元個數的概率p為0.5；

設第十七層為全聯接層FC，包含4個大小為1×1的卷積核，最后一層為softmax分類器，得到初始化后的卷積神經網絡結構。

3.根據權利要求1所述的方法，其特征在于：(5a)中對卷積神經網絡參數初始化，其實現如下：

使用隨機梯度下降法SGD，設置每次迭代的批量塊大小為120，最大迭代次數為200，學習率η為：

其中，i為當前的迭代次數，200為最大迭代次數。