[發(fā)明專利]面向情感語音識(shí)別的情感維度PAD預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810868027.0
• 申請(qǐng)日: 2018-08-01
• 公開（公告）號(hào): CN109036466B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計(jì)）人: 孫穎;張雪英;胡艷香;王少玄;李鳳蓮
• 申請(qǐng)（專利權(quán)）人: 太原理工大學(xué)
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L15/02;G10L15/06
• 代理公司: 太原晉科知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 14110
• 代理人: 任林芳

1.一種面向情感語音識(shí)別的情感維度PAD預(yù)測(cè)方法，其特征在于：包括以下步驟，

S100～采集數(shù)據(jù)，對(duì)情感語音數(shù)據(jù)庫(kù)進(jìn)行PAD維度值的標(biāo)注，確定樣本訓(xùn)練集與測(cè)試集；

S200～特征選擇，對(duì)情感語音數(shù)據(jù)庫(kù)提取情感特征；通過對(duì)訓(xùn)練集的情感特征與人工標(biāo)注PAD進(jìn)行GRA關(guān)聯(lián)度分析選擇關(guān)聯(lián)性大的主要情感特征；對(duì)主要情感特征進(jìn)行PCA降維，得到最優(yōu)特征，

所述的S200包括以下步驟，

S201～對(duì)情感語音數(shù)據(jù)庫(kù)提取情感特征；從兩個(gè)方面選擇特征，針對(duì)語音信號(hào)的短時(shí)平穩(wěn)特性提取聲學(xué)特征，即MFCC特征和韻律特征，以及針對(duì)語音的混沌特性提取非線性特征，將它們?nèi)诤虾?，得?21維的特征集；

S202～通過對(duì)訓(xùn)練集的情感特征與人工標(biāo)注PAD進(jìn)行GRA關(guān)聯(lián)度分析選擇關(guān)聯(lián)性大的主要情感特征；計(jì)算步驟如下：

1)確定影響因素和研究對(duì)象，設(shè)研究對(duì)象為y₀＝{y₀(k)|k＝1,2,…,n}；影響因素為y_i＝{y_i(k)|i＝1,2,…,m}，研究對(duì)象為語音情感維度P、A、D，n為情感維度序列長(zhǎng)度；影響因素為語音情感特征，m為情感特征維數(shù)；

2)原始數(shù)據(jù)的無量綱化，采用初值化法對(duì)原始數(shù)據(jù)進(jìn)行處理，對(duì)y_i作初值化處理得x_i，x_i即為情感語音特征初值化結(jié)果；

3)計(jì)算關(guān)聯(lián)系數(shù)，對(duì)研究對(duì)象x₀和影響因素x₁,x₂,…,x_n采用式(2)計(jì)算關(guān)聯(lián)系數(shù)；

式中ρ∈(0,1)是分辨系數(shù)，ξ_i(k)為第i維情感特征與情感維度的關(guān)聯(lián)性；x₀(k)為第k條語句的情感維度初值化結(jié)果；x_i(k)為第k條語句第i維情感特征的初值化結(jié)果；

4)計(jì)算關(guān)聯(lián)度，將關(guān)聯(lián)系數(shù)集求平均得到關(guān)聯(lián)度，公式如下：

式中γ_i即為情感特征對(duì)情感維度的關(guān)聯(lián)度，γ_i越大，說明情感特征對(duì)情感維度的影響越大；

S203～對(duì)主要情感特征進(jìn)行PCA降維，得到最優(yōu)特征，其主要步驟如下：

對(duì)原始數(shù)據(jù)標(biāo)準(zhǔn)化處理，建立原始樣本矩陣

式中X為原始樣本矩陣，x_ij為第i條語句的第j維特征；n為情感維度序列長(zhǎng)度；m為情感特征維數(shù)；

式中表示矩陣第j列的均值，即第j維特征的平均值；為矩陣X中第j列的方差；x^*_ij為情感特征標(biāo)準(zhǔn)化后的數(shù)值；

計(jì)算樣本經(jīng)過標(biāo)準(zhǔn)化處理后的相關(guān)系數(shù)矩陣；

式中r_ij＝cov(x_i,x_j),n＞1為矩陣X中第i列特征方差與第j列特征方差的協(xié)方差；R為原始特征矩陣X的相關(guān)系數(shù)矩陣；

計(jì)算相關(guān)系數(shù)矩陣R的特征值λ₁，λ₂，…λ_m，和相應(yīng)的特征向量a_i＝(a_i1,a_i2,…,a_im),i＝1,2,…,m；

根據(jù)情感特征對(duì)情感維度的累積貢獻(xiàn)選擇前p個(gè)因素，累積貢獻(xiàn)率公式為：

式中λ_i為矩陣R的特征值；η為累積貢獻(xiàn)率，前p個(gè)情感特征向量組成的降維矩陣U,U＝[a₁,a₂,…,a_p]；

將m維情感特征降維成p維情感特征，即X'＝X·U,X'為降維后的特征矩陣；

S300～PAD維度預(yù)測(cè)，利用LSSVM回歸模型，基于選擇后的情感特征實(shí)現(xiàn)對(duì)情感維度P、A、D的預(yù)測(cè)；

S400～PAD維度情感識(shí)別，采用從心理學(xué)角度描述情感的、客觀預(yù)測(cè)的連續(xù)情感維度PAD進(jìn)行語音情感識(shí)別。