[發明專利]基于深度信念網絡和核非線性PSVM的語音情感識別方法

在審

• 申請號: 201811311528.5
• 申請日: 2018-11-06
• 公開（公告）號: CN109036468A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 韓志艷;王健;張亮;王東;楊洋;魏洪峰;趙德荀
• 申請（專利權）人: 渤海大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/27;G10L25/30;G10L25/45;G10L15/04;G10L15/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

1.基于深度信念網絡和核非線性PSVM的語音情感識別方法，其特征在于：包括以下步驟：

步驟1、情感信號獲取；

首先誘發情感，再獲取相應情感狀態下的語音信號；

步驟2、情感信號預處理；

對獲取的語音信號進行預處理，包括預加重、分幀加窗和端點檢測；

步驟3、情感特征參數提取；

步驟3-1、對預處理后的語音信號提取傳統語音情感特征參數，包括韻律特征和音質特征；

步驟3-2、用深度信念網絡自動提取情感特征；

訓練深度信念網絡，并將預處理后的語音信號送入訓練好的深度信念網絡來自動提取語音信號中的情感特征；

步驟4、情感特征參數集成；

將用深度信念網絡提取的新的語音情感特征和傳統語音情感特征順序組合起來獲得集成特征向量；

步驟5、情感識別；

步驟5-1、建立核非線性PSVM分類器；

針對要識別的生氣、高興、傷心和驚奇四種基本人類情感，兩兩建立一個核非線性PSVM分類器，一共建立六個核非線性PSVM分類器，并將步驟4獲得的集成特征向量作為核非線性PSVM分類器的輸入；

步驟5-2、運用多數優先投票原則對上述六個核非線性PSVM分類器進行投票，得到最終情感識別結果。

2.根據權利要求1所述的基于深度信念網絡和核非線性PSVM的語音情感識別方法，其特征在于：步驟1所述情感信號獲取時，利用麥克風輸入語音數據后，再通過采樣量化獲得相應的語音信號；

所述的采樣量化的采樣頻率為16kHz、量化精度為16bit。

3.根據權利要求1所述的基于深度信念網絡和核非線性PSVM的語音情感識別方法，其特征在于：步驟2所述預加重采用一階數字預加重濾波器實現，預加重濾波器的系數取值為0.93～0.97；分幀以幀長256點的標準進行，并對分幀后的數據加漢明窗處理；所述端點檢測利用短時能零積法進行。

4.根據權利要求1所述的基于深度信念網絡和核非線性PSVM的語音情感識別方法，其特征在于：步驟3-2所述深度信念網絡包括四個隱含層，每層的每個單元連接到每個相鄰層中的每個單元，沒有層內連接；

所述訓練深度信念網絡的具體方法為：

1)訓練第一個受限玻爾茲曼機，其聯合概率分布由能量函數指定，如下公所示：

其中，v為M維的可見層向量，M是可見層的神經元個數，h為N維的隱含層向量，N是隱含層的神經元個數，θ＝{a，b，W}，W為權重矩陣，b為可見層的偏置向量，a為隱含層的偏置向量，Z(θ)為配分函數的歸一化常數，如下公式所示：

其中，E(v，h；θ)為能量函數，公式為：

其中，W_ij是可見層的第i個神經元和隱含層的第j個神經元之間的對稱權值，b_i是第i個可見層的神經元的偏置，a_j是第j個隱含層的神經元的偏置，v_i是可見層向量的第i個元素，h_j是隱含層向量的第j個元素；

2)訓練第二個受限玻爾茲曼機，將第一個受限玻爾茲曼機的隱含層作為第二個受限玻爾茲曼機的可見層，并依此添加任意多層繼續擴展，其中每個新的受限玻爾茲曼機對前一個受限玻爾茲曼機的樣本建模。

5.根據權利要求1所述的基于深度信念網絡和核非線性PSVM的語音情感識別方法，其特征在于：步驟5-1所述六個核非線性PSVM分類器中任一個分類器的建立過程具體如下：

(1)用m個n維數據樣本的集成特征向量來構成m×n的集成特征矩陣A；

(2)定義對角矩陣D；

(3)計算高斯核K(A，A′)；

(4)計算拉格朗日乘子向量l；

(5)建立核非線性PSVM分類器；

所述構成的集成特征矩陣A，A_i′為矩陣A的行向量，i′＝1、2、…、m，m為樣本個數，n為特征個數；定義的對角矩陣D是m×m的對角矩陣，并且僅在對角線上的元素值是+1或-1，其他元素均為0，即如果A_i′為正類，則D_i′i′＝+1，如果A_i′為負類，則D_i′i′＝-1；計算的高斯核K(A，A′)中，A′是A的轉置；計算的拉格朗日乘子向量其中q是常數，I是單位矩陣，G＝D[K(A，A′)-e]，G′是G的轉置，e是單位向量；建立的核非線性PSVM分類器，如下公式所示：

其中，x′為待識別新樣本的集成特征向量x的轉置，K(x′，A′)是高斯核，A+和A-均為類別標識。