[發(fā)明專利]語(yǔ)音數(shù)據(jù)情感檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110791641.3
• 申請(qǐng)日: 2021-07-13
• 公開(kāi)（公告）號(hào): CN113689886B
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 李建強(qiáng);張碩;付光暉
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 聶俊偉

本發(fā)明提供一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：將語(yǔ)音數(shù)據(jù)輸入至情感檢測(cè)模型，得到情感檢測(cè)模型輸出的情感檢測(cè)結(jié)果；其中，情感檢測(cè)模型用于在提取語(yǔ)音數(shù)據(jù)的語(yǔ)音特征后，將語(yǔ)音特征劃分為多個(gè)候選感情區(qū)域特征，并基于非極大抑制從多個(gè)候選感情區(qū)域特征中確定目標(biāo)感情區(qū)域特征，以及對(duì)各目標(biāo)感情區(qū)域特征進(jìn)行情感分類，得到情感檢測(cè)結(jié)果。由于各候選感情區(qū)域特征對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)為一個(gè)或多個(gè)完整語(yǔ)句，從而可以基于完整語(yǔ)句進(jìn)行情感檢測(cè)，避免傳統(tǒng)方法中對(duì)每句對(duì)話進(jìn)行感情分類，沒(méi)有考慮每種感情產(chǎn)生的起止位置，忽略感情表達(dá)的過(guò)程性和階段性導(dǎo)致無(wú)法準(zhǔn)確進(jìn)行情感檢測(cè)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

語(yǔ)音數(shù)據(jù)情感檢測(cè)就是對(duì)原始的音頻信息進(jìn)行分析得到該段音頻中說(shuō)話人所表達(dá)的感情信息。語(yǔ)音記錄了說(shuō)話者完整的聲音信息，它包含了說(shuō)話人的語(yǔ)言內(nèi)容、語(yǔ)音語(yǔ)調(diào)等信息。說(shuō)話人往往是通過(guò)說(shuō)話的內(nèi)容和語(yǔ)音語(yǔ)調(diào)共同作用來(lái)表達(dá)出內(nèi)心的感情的，因此相比于通過(guò)文字進(jìn)行感情分析，使用語(yǔ)音進(jìn)行感情分析更有優(yōu)勢(shì)。

在生活中，長(zhǎng)時(shí)連續(xù)的對(duì)話語(yǔ)音十分常見(jiàn)，比如客服熱線、心理援助熱線等服務(wù)、救助場(chǎng)景，通過(guò)對(duì)長(zhǎng)對(duì)話語(yǔ)音感情分析獲得的來(lái)電者的感情變化，并最終得到一個(gè)整體評(píng)價(jià)。目前對(duì)長(zhǎng)時(shí)連續(xù)對(duì)話的感情分析的主要方法是對(duì)每句對(duì)話進(jìn)行感情分類，然而心理感情的表達(dá)是一個(gè)時(shí)序過(guò)程，是需要多句話按時(shí)間順序依次表達(dá)得出的一個(gè)累計(jì)結(jié)果，而判斷這個(gè)感情所需要的話語(yǔ)數(shù)量往往是難以確定的，因此該方法由于沒(méi)有考慮每種感情產(chǎn)生的起止位置，忽略了感情表達(dá)的過(guò)程性和階段性，從而無(wú)法準(zhǔn)確進(jìn)行情感檢測(cè)。

發(fā)明內(nèi)容

本發(fā)明提供一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中語(yǔ)音數(shù)據(jù)情感檢測(cè)精度較低的缺陷。

本發(fā)明提供一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法，包括：

確定待檢測(cè)的語(yǔ)音數(shù)據(jù)，所述語(yǔ)音數(shù)據(jù)包括至少一個(gè)完整語(yǔ)句；

將所述語(yǔ)音數(shù)據(jù)輸入至情感檢測(cè)模型，得到所述情感檢測(cè)模型輸出的情感檢測(cè)結(jié)果；

其中，所述情感檢測(cè)模型是基于包含至少一個(gè)完整語(yǔ)句的樣本語(yǔ)音數(shù)據(jù)及其對(duì)應(yīng)的樣本情感檢測(cè)結(jié)果訓(xùn)練得到的；所述情感檢測(cè)模型用于在提取所述語(yǔ)音數(shù)據(jù)的語(yǔ)音特征后，將所述語(yǔ)音特征劃分為多個(gè)候選感情區(qū)域特征，并基于非極大抑制從多個(gè)候選感情區(qū)域特征中確定目標(biāo)感情區(qū)域特征，以及對(duì)各目標(biāo)感情區(qū)域特征進(jìn)行情感分類，得到所述情感檢測(cè)結(jié)果；各候選感情區(qū)域特征對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)為一個(gè)或多個(gè)完整語(yǔ)句。

根據(jù)本發(fā)明提供的一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法，所述將所述語(yǔ)音數(shù)據(jù)輸入至情感檢測(cè)模型，得到所述情感檢測(cè)模型輸出的情感檢測(cè)結(jié)果，包括：

將所述語(yǔ)音數(shù)據(jù)輸入至所述情感檢測(cè)模型的特征提取層，得到所述特征提取層輸出的所述語(yǔ)音數(shù)據(jù)的語(yǔ)音特征；

將所述語(yǔ)音特征輸入至所述情感檢測(cè)模型的候選區(qū)域檢測(cè)層，得到所述候選區(qū)域檢測(cè)層輸出的所述多個(gè)候選感情區(qū)域特征；

將所述多個(gè)候選感情區(qū)域特征輸入至所述情感檢測(cè)模型的目標(biāo)區(qū)域檢測(cè)層，由所述目標(biāo)區(qū)域檢測(cè)層對(duì)所述多個(gè)候選感情區(qū)域特征進(jìn)行非極大抑制處理，得到所述目標(biāo)區(qū)域檢測(cè)層輸出的所述目標(biāo)感情區(qū)域特征；

將所述目標(biāo)感情區(qū)域特征輸入至所述情感檢測(cè)模型的情感分類層，得到所述情感分類層輸出的所述情感檢測(cè)結(jié)果。

根據(jù)本發(fā)明提供的一種語(yǔ)音數(shù)據(jù)情感檢測(cè)方法，所述將所述語(yǔ)音數(shù)據(jù)輸入至所述情感檢測(cè)模型的特征提取層，得到所述特征提取層輸出的所述語(yǔ)音數(shù)據(jù)的語(yǔ)音特征，包括：

將所述語(yǔ)音數(shù)據(jù)輸入至所述特征提取層的聲譜圖轉(zhuǎn)換層，得到所述聲譜圖轉(zhuǎn)換層輸出的所述語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的聲譜圖；