[發明專利]一種基于局部懲罰隨機譜回歸的語音信號情感識別方法

有效

• 申請號: 201711055574.9
• 申請日: 2017-10-31
• 公開（公告）號: CN107886942B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 趙力;徐新洲;鄭文明;鄧軍;黃程韋;魏昕;李燕;吳塵;塔什甫拉提.尼扎木丁;趙突;余華;鄒采榮
• 申請（專利權）人: 東南大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/08;G10L15/10;G10L25/63
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 呂朦

1.一種基于局部懲罰隨機譜回歸的語音信號情感識別方法，其特征在于：

建立語音情感數據庫，語音情感數據庫包括若干語段樣本，將語音情感數據庫中的若干語段樣本采用說話人獨立的方式，劃分為訓練樣本集和測試樣本集，即訓練樣本集中樣本對應的說話人不出現在測試樣本集對應的說話人中，測試樣本集中樣本對應的說話人也不出現在訓練樣本集對應的說話人中；每個樣本都擁有情感類別標簽，所述情感類別標簽包括愉悅、生氣、悲傷，所述訓練樣本集中每個樣本對應的情感類別標簽為已知且唯一，該方法包括順序執行以下步驟：

步驟一、提取生成N維原始特征：對訓練樣本集和測試樣本集中的每個語段樣本，分別經過處理，提取出對應的副語言特征，作為原始特征，并對原始特征做規整化處理，得到N個訓練樣本對應的規整化特征X＝[x₁,x₂,...,x_N]；

步驟二、使用隨機向量對原始特征進行數據映射處理：依0-1間的均勻分布，隨機生成多組和原始特征維數相同的N^A個隨機向量對每個樣本，使用這些隨機向量，生成N個訓練樣本經過數據映射K得到的N^A維新特征其中Ω的每列對應一個訓練樣本的數據映射新特征；

步驟三、通過嵌入圖設計和嵌入圖分解進行譜圖學習處理：使用訓練樣本的情感類別標簽以及訓練樣本經過規整化的原始特征，構建以各訓練樣本為結點的圖結構，并進行譜圖學習分解得到N個訓練樣本的d維虛擬坐標

進行譜圖學習時包括順序執行的以下步驟：

(1)訓練樣本的嵌入圖設計：

設L^(I)為譜圖學習中本征嵌入圖對應的拉普拉斯矩陣，取為Fisher判別分析本征圖的拉普拉斯矩陣，且L^(I)＝D^(I)-W^(I)；

其中，N×N對角陣D^(I)中第i行j列的元素的形式為W^(I)為線性判別分析的本征圖鄰接陣，且其中n_c為類c中的訓練樣本數，N₀為類數，對于N維列向量e^c的任一元素，其對應的訓練樣本屬于類c時該元素為1，否則該元素為0；

設L^(P)為譜圖學習中懲罰嵌入圖對應的拉普拉斯矩陣，L^(P)＝D^(P)-W^(P)；

其中，N×N對角陣D^(P)中第i行j列的元素的形式為其中

其中，e為全部元素均為1的N維列向量；局部懲罰權重δ₀取值在0至1之間；訓練樣本標簽矩陣運算符表示矩陣間按元素相乘；W_kNN表示k近鄰圖，即：元素(W_kNN)_ij在樣本i、j互為近鄰時取為1，否則為0；

(2)嵌入圖分解：

選擇優化目標為：

其中，L^(I)和L^(P)分別為譜圖學習中本征嵌入圖和懲罰嵌入圖對應的拉普拉斯矩陣；I為N×N的單位陣；γ₁＞0、γ₂＞0為防止產生奇異值的附加項權重，γ₁、γ₂取值小于10^-6；

該優化形式通過廣義特征值問題求解，求解得到d組最優值，經過正交規范化處理后，組成

步驟四、通過虛擬坐標及新特征進行回歸處理：結合譜圖學習生成的虛擬坐標，和樣本經過數據映射得到的新特征，進行線性回歸運算，投影得到訓練樣本，線性投影系數為

步驟五、訓練分類器：選用1NN分類器，直接使用步驟四中得到的與步驟二得到的Ω相乘，得到訓練樣本的投影特征，組成1NN分類器；

步驟六、測試：對于每個測試樣本，使用經步驟五得到的分類器對每個測試樣本進行測試；

步驟四中的回歸處理具體方法為：

對每一個求解回歸優化形式：

其中，γ為投影ω的范數最小化優化項權重，

得到維度i對應的最優投影方向：