[發明專利]一種基于局部懲罰隨機譜回歸的語音信號情感識別方法

有效

• 申請號: 201711055574.9
• 申請日: 2017-10-31
• 公開（公告）號: CN107886942B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 趙力;徐新洲;鄭文明;鄧軍;黃程韋;魏昕;李燕;吳塵;塔什甫拉提.尼扎木丁;趙突;余華;鄒采榮
• 申請（專利權）人: 東南大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/08;G10L15/10;G10L25/63
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 呂朦

本發明公開了一種基于局部懲罰隨機譜回歸的語音信號情感識別方法，對帶有情感信息的語段信號樣本進行副語言特征提取、數據映射、局部懲罰嵌入圖設計和圖分解、回歸、分類器分類判決。其中在數據映射階段，使用了隨機生成點進行非線性特征映射；在局部懲罰嵌入圖設計和圖分解階段，使用了局部懲罰嵌入圖，以加大對類間邊緣樣本對之間的懲罰權重，生成訓練樣本的虛擬坐標。與現有方法相比，本發明的方法在語音信號情感識別方面，能夠有效地提升系統的識別性能。

技術領域

本發明屬于語音信號情感識別領域，特別是涉及一種基于局部懲罰隨機譜回歸的語音信號情感識別方法。

背景技術

聲信號人類感知外界世界，并與之交流的一個主要載體，在很多領域內具有重要的研究價值。而語音信號作為一類特殊的聲信號，能夠承載說話人的類型、語義、情緒、狀態、個性、健康等豐富的信息。語音信號的智能處理是在以語音信號作為載體的基礎上，使用智能化的方法讓機器能夠更感知、以一定的目標學習語音信號中的有用特征，構建自動化處理語音信號的系統。語音信號智能處理的一個重要的分支就是語音信號的情感信息處理，在人機交互、心理疾病診斷和預防、極端條件下作業人員的情緒監測等方面有著廣泛的應用背景。而語音信號情感識別則是其中被研究最多的一種情況，旨在研究給定語段信號的情感分類情況。

譜回歸(Spectral Regression，簡稱SR)方法在圖像處理與模式識別中得到了廣泛的應用，在節省算法的計算量、提升訓練學習性能方面起到較好的作用，能夠較好地解決直接求解優化問題中的奇異值問題。傳統的譜回歸算法包括譜圖學習(Spectral GraphLearning)和回歸擬合(Regression)兩個階段，通過譜圖學習得到訓練樣本的譜數據，并進行線性或非線性建模回歸運算，得到數據特征的投影模型。所以，譜回歸相關方法可以用于語音信號情感識別系統性能的進一步提升。

而當前的研究中存在著以下兩個方面的問題：一是對于常用于語音情感信號識別的副語言特征，需要構建適用于這些特征的圖表示，用于譜圖學習；二是在目前的譜回歸方法中，從線性模型過渡到非線性模型的主要方法為核方法(Kernel Tricks)，這種方法相對單一，無法較好地描述目前日趨復雜的特征結構和樣本集。

發明內容

要解決的技術問題：針對現有技術的不足，解決現有技術中，當目標為識別語音信號中的情感信息時，副語言特征對于當前的譜回歸方法不適用；以及已有譜回歸方法中非線性變換方式單一的問題，本發明提出一種基于局部懲罰隨機譜回歸(Locally PenalizedRandom Spectral Regression)的語音信號情感識別方法。

技術方案：為解決上述技術問題，本發明采用以下技術方案：

一種基于局部懲罰隨機譜回歸的語音信號情感識別方法，建立語音情感數據庫，語音情感數據庫包括若干語段樣本，將語音情感數據庫中的若干語段樣本采用說話人獨立的方式，劃分為訓練樣本集和測試樣本集，即訓練樣本集中樣本對應的說話人不出現在測試樣本集對應的說話人中，測試樣本集中樣本對應的說話人也不出現在訓練樣本集對應的說話人中；每個樣本都擁有情感類別標簽，所述情感類別標簽包括愉悅、生氣、悲傷，假設訓練樣本集中每個樣本對應的情感類別標簽為已知且唯一，該方法包括順序執行以下步驟：

步驟一、提取生成N維原始特征：對訓練樣本集和測試樣本集中的每個語段樣本，分別經過處理，提取出對應的副語言特征，作為原始特征，并對原始特征做規整化處理，得到N個訓練樣本對應的規整化特征X＝[x₁，x₂，...，x_N]；

步驟二、對原始特征進行數據映射處理：依0-1間的均勻分布，隨機生成多組和原始特征維數相同的N^A個隨機向量對每個樣本，使用這些隨機向量，生成N個訓練樣本經過數據映射K得到的N^A維新特征其中Ω的每列對應一個訓練樣本的數據映射新特征；