[發(fā)明專(zhuān)利]音頻數(shù)據(jù)可視化方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611183228.4
• 申請(qǐng)日: 2016-12-20
• 公開(kāi)（公告）號(hào): CN106649703B
• 公開(kāi)（公告）日: 2019-11-19
• 發(fā)明（設(shè)計(jì)）人: 謝旭榮;王嵐
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06F16/783
• 分類(lèi)號(hào): G06F16/783;G06F16/738
• 代理公司: 44237 深圳中一專(zhuān)利商標(biāo)事務(wù)所
• 代理人: 陽(yáng)開(kāi)亮<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入

1.一種音頻數(shù)據(jù)可視化方法，其特征在于，包括：

接收音頻數(shù)據(jù)并提取所述音頻數(shù)據(jù)的聲學(xué)特征；

通過(guò)情感分類(lèi)模型得出所述音頻數(shù)據(jù)的與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征，包括：通過(guò)基于隱馬爾科夫模型的情感分類(lèi)模型，計(jì)算所述音頻數(shù)據(jù)的每一可發(fā)射隱藏狀態(tài)的后驗(yàn)概率；將所述音頻數(shù)據(jù)的各個(gè)可發(fā)射隱藏狀態(tài)的后驗(yàn)概率形成特征向量，所述特征向量為所述音頻數(shù)據(jù)的情感特征；

通過(guò)模式特征生成模型生成所述音頻數(shù)據(jù)的與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征，包括：對(duì)于所述音頻數(shù)據(jù)的情感特征，通過(guò)基于混合密度網(wǎng)絡(luò)的模式特征生成模型，確定所述音頻數(shù)據(jù)的高斯混合模型參數(shù)；對(duì)所述高斯混合模型，通過(guò)最大似然參數(shù)生成算法生成模式特征；

通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示，所述預(yù)設(shè)數(shù)據(jù)庫(kù)中存儲(chǔ)有多對(duì)一一對(duì)應(yīng)的模式特征和預(yù)設(shè)可視化信息。

2.根據(jù)權(quán)利要求1所述的音頻數(shù)據(jù)可視化方法，其特征在于，

在所述通過(guò)情感分類(lèi)模型獲取與所述聲學(xué)特征對(duì)應(yīng)的情感特征之前，還包括：

通過(guò)第一樣本數(shù)據(jù)對(duì)所述情感分類(lèi)模型進(jìn)行訓(xùn)練，確定所述情感分類(lèi)模型的參數(shù)；所述情感分類(lèi)模型為基于隱馬爾科夫模型的情感分類(lèi)模型；所述第一樣本數(shù)據(jù)包括音頻段落的聲學(xué)特征和與所述音頻段落的聲學(xué)特征在時(shí)序上對(duì)應(yīng)的情感標(biāo)簽；

在所述通過(guò)模式特征生成模型生成與所述情感特征對(duì)應(yīng)的模式特征之前，還包括：

通過(guò)第二樣本數(shù)據(jù)對(duì)所述模式特征生成模型進(jìn)行訓(xùn)練，確定所述模式特征生成模型的參數(shù)；所述模式特征生成模型為基于混合密度網(wǎng)絡(luò)的模式特征生成模型；所述第二樣本數(shù)據(jù)包括音頻段落的情感特征和與所述音頻段落的情感特征在時(shí)序上對(duì)應(yīng)的模式特征。

3.根據(jù)權(quán)利要求1或2的音頻數(shù)據(jù)可視化方法，其特征在于，所述提取所述音頻數(shù)據(jù)的聲學(xué)特征包括：

按照預(yù)設(shè)條件將所述音頻數(shù)據(jù)切分成多段子音頻數(shù)據(jù)；所述預(yù)設(shè)條件包括預(yù)設(shè)時(shí)長(zhǎng)間隔；

對(duì)每段所述子音頻數(shù)據(jù)提取聲學(xué)特征。

4.一種音頻數(shù)據(jù)可視化裝置，其特征在于，包括：

聲學(xué)特征提取模塊，用于接收音頻數(shù)據(jù)并提取所述音頻數(shù)據(jù)的聲學(xué)特征；

情感特征獲取模塊，用于通過(guò)情感分類(lèi)模型得出與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征；

模式生成模塊，用于通過(guò)模式特征生成模型生成與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征；

可視化模塊，用于通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示；所述預(yù)設(shè)數(shù)據(jù)庫(kù)中存儲(chǔ)有多對(duì)一一對(duì)應(yīng)的模式特征和預(yù)設(shè)可視化信息；

所述情感特征獲取模塊包括：

計(jì)算單元，用于通過(guò)基于隱馬爾科夫模型的情感分類(lèi)模型，計(jì)算所述音頻數(shù)據(jù)的每一可發(fā)射隱藏狀態(tài)的后驗(yàn)概率；

情感特征生成單元，用于將所述音頻數(shù)據(jù)的各個(gè)可發(fā)射隱藏狀態(tài)的后驗(yàn)概率形成特征向量，所述特征向量為所述音頻數(shù)據(jù)的情感特征；

所述模式生成模塊包括：

參數(shù)確定單元，用于對(duì)于所述音頻數(shù)據(jù)的情感特征，通過(guò)基于混合密度網(wǎng)絡(luò)的模式特征生成模型，確定所述音頻數(shù)據(jù)的高斯混合模型參數(shù)；

模式生成單元，用于對(duì)所述高斯混合模型，通過(guò)最大似然參數(shù)生成算法生成模式特征。

5.根據(jù)權(quán)利要求4所述的音頻數(shù)據(jù)可視化裝置，其特征在于，還包括：

情感分類(lèi)模型參數(shù)確定模塊，用于通過(guò)第一樣本數(shù)據(jù)對(duì)所述情感分類(lèi)模型進(jìn)行訓(xùn)練，確定所述情感分類(lèi)模型的參數(shù)；所述情感分類(lèi)模型為基于隱馬爾科夫模型的情感分類(lèi)模型；所述第一樣本數(shù)據(jù)包括音頻段落的聲學(xué)特征和與所述音頻段落的聲學(xué)特征在時(shí)序上對(duì)應(yīng)的情感特征；

模式特征生成模型參數(shù)確定模塊，用于通過(guò)第二樣本數(shù)據(jù)對(duì)所述模式特征生成模型進(jìn)行訓(xùn)練，確定所述模式特征生成模型的參數(shù)；所述模式特征生成模型為基于混合密度網(wǎng)絡(luò)的模式特征生成模型；所述第二樣本數(shù)據(jù)包括音頻段落的情感特征和與所述音頻段落的情感特征在時(shí)序上對(duì)應(yīng)的模式特征。

6.根據(jù)權(quán)利要求4或5的音頻數(shù)據(jù)可視化裝置，其特征在于，所述聲學(xué)特征提取模塊包括：

音頻切分單元，用于按照預(yù)設(shè)條件將所述音頻數(shù)據(jù)切分成多段子音頻數(shù)據(jù)；所述預(yù)設(shè)條件包括預(yù)設(shè)時(shí)長(zhǎng)間隔；

聲學(xué)特征提取單元，用于對(duì)每段所述子音頻數(shù)據(jù)提取聲學(xué)特征。