[發(fā)明專(zhuān)利]一種用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510450338.1
• 申請(qǐng)日: 2015-07-28
• 公開(kāi)（公告）號(hào): CN105047194B
• 公開(kāi)（公告）日: 2018-08-28
• 發(fā)明（設(shè)計(jì)）人: 趙力;陶華偉;魏昕;梁瑞宇;查誠(chéng);張昕然
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東南大學(xué)
• 主分類(lèi)號(hào): G10L15/10
• 分類(lèi)號(hào): G10L15/10;G10L15/20
• 代理公司: 南京瑞弘專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 陳國(guó)強(qiáng)

1.一種用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：包括以下步驟：

(1)、對(duì)已知情感的標(biāo)準(zhǔn)語(yǔ)料庫(kù)中的語(yǔ)音進(jìn)行預(yù)處理，得到量化后的語(yǔ)譜圖灰度圖像；

(2)、計(jì)算步驟(1)所得到的語(yǔ)譜圖灰度圖像的Gabor語(yǔ)譜圖；

(3)、采用可辨別特征學(xué)習(xí)算法對(duì)步驟(2)提取到的LBP統(tǒng)計(jì)直方圖進(jìn)行訓(xùn)練，構(gòu)建不同尺度、不同方向下的全局顯著性模式集合，記為

(4)、采用步驟(3)中的全局顯著性模式對(duì)語(yǔ)音不同尺度、不同方向下Gabor圖譜的LBP統(tǒng)計(jì)直方圖進(jìn)行特征選擇，得到處理后的統(tǒng)計(jì)直方圖將N個(gè)統(tǒng)計(jì)直方圖級(jí)聯(lián)得到適合情感分類(lèi)的語(yǔ)音情感特征。

2.如權(quán)利要求1所述的用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：所述步驟(1)的具體步驟為：

(11)、對(duì)語(yǔ)音進(jìn)行分幀、加窗，計(jì)算離散傅里葉變換，得到語(yǔ)譜圖X；

(12)、通過(guò)下式求取線性語(yǔ)譜圖：

L_Linear(i,j)＝|X(i,j)|

(13)、通過(guò)下式得到歸一化語(yǔ)音圖譜：

式中max，min表示語(yǔ)譜圖灰度級(jí)中的最大最小值；

(14)、歸一化后的語(yǔ)譜圖乘以255，并進(jìn)行量化處理，得灰度級(jí)為0-255的語(yǔ)譜圖灰度圖像。

3.如權(quán)利要求1所述的用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：所述步驟(2)的具體步驟為：

(21)、將語(yǔ)譜圖灰度圖像與Gabor小波的卷積，經(jīng)過(guò)卷積后，每張語(yǔ)譜圖灰度圖像可以得到N＝A×B張Gabor圖譜，記為其中A表示Gabor核方向數(shù)目，其中B表示Gabor核尺度數(shù)目，Gabor小波的核函數(shù)定義如下：

其中，μ表示Gabor的核方向，ν表示核尺度，是像素點(diǎn)的空間位置，σ表示高斯函數(shù)的半徑，其中k_v＝k_max/f_v，k_max＝π/2，φ_μ＝πμ/8；

(22)、采用局部二值模式(Local binary pattern，LBP)對(duì)Gabor圖譜的進(jìn)行編碼，編碼后的圖譜不進(jìn)行旋轉(zhuǎn)不變及一致模式映射，并直接計(jì)算統(tǒng)計(jì)直方圖，每條情感語(yǔ)音Gabor圖譜的統(tǒng)計(jì)直方圖，記為

4.如權(quán)利要求1所述的用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：所述步驟(3)的具體步驟為：

(31)、依據(jù)不同方向、尺度的Gabor圖譜，將所有語(yǔ)音的Gabor圖譜提取到的LBP特征分為N個(gè)不同的集合，設(shè)方向?yàn)関，尺度為μ的Gabor圖譜LBP直方圖組成的集合為其中M表示訓(xùn)練樣本總數(shù)；

(32)、采用可辨別特征學(xué)習(xí)算法對(duì)訓(xùn)練學(xué)習(xí)，得到全局顯著性模式集合

(33)、由于i＝1,2,…,N，最終得到N個(gè)全局顯著性模式集合

5.如權(quán)利要求1或4所述的用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：所述步驟(3)中，可辨別特征學(xué)習(xí)算法步驟如下：

(a)計(jì)算每個(gè)特征直方圖的顯著性模式集合；

(b)計(jì)算不同類(lèi)別的可區(qū)別顯著性模式集合：

計(jì)算同一類(lèi)情感特征顯著性模式集合交集，得到不同類(lèi)別的可區(qū)別顯著性模式集合；

(c)構(gòu)建全局顯著性模式集合：

計(jì)算不同類(lèi)別可區(qū)別顯著性模式集合的并集，得到全局顯著性模式集合J_global。

6.如權(quán)利要求5所述的用于語(yǔ)音情感識(shí)別的自學(xué)習(xí)語(yǔ)譜圖特征提取方法，其特征在于：所述步驟(a)包括以下步驟：

(a1)首先，設(shè)f^v,μ為L(zhǎng)BP統(tǒng)計(jì)直方圖，n為顯著性模式集合閾值；

(a2)然后，對(duì)f^v,μ進(jìn)行降序排列，結(jié)果記為按照降序后的順序改變的排列，結(jié)果記為保留的前k項(xiàng)，存入向量中，k值通過(guò)下述公式求得：

(a3)最后，對(duì)所有LBP統(tǒng)計(jì)直方圖進(jìn)行上述步驟(a1)和(a2)，得到特征直方圖的顯著性模式集合