[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的語音情感識別方法

有效

• 申請?zhí)枺?/td>: 202110990439.3
• 申請日: 2021-08-26
• 公開（公告）號: CN113903362B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 張悅;黃逸軒
• 申請（專利權(quán)）人: 電子科技大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G06N3/0464;G06N3/0455;G06N3/048;G06F16/35;G06F40/279
• 代理公司: 成都玖和知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51238
• 代理人: 胡琳梅

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的語音情感識別方法，首先將目標語音信號分類為高興、悲傷、中性以及生氣四類情感，再提取語音信號的基于濾波器組的特征，然后將特征分別送入所述卷積神經(jīng)網(wǎng)絡(luò)和所述時延神經(jīng)網(wǎng)絡(luò)來自動提取情感特征，使用歸一化指數(shù)函數(shù)分類器得到屬于每一類情感的概率值，選取最大概率值對應(yīng)的情感作為該段語音的情感類別；再將所述目標語音信號識別為文本，送入雙向編碼器預(yù)訓練模型獲取文本情感類別，融合以上三種模型后獲得最終情感類別，解決了現(xiàn)有技術(shù)中模型融合以及多模態(tài)情感識別訓練困難，準確率提升不大的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及語音情感識別技術(shù)領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)的語音情感識別方法。

背景技術(shù)

語音情感識別的很多方法是采用將不同的語音情感分類模型進行融合，然而由于都是語音信息，模型的相關(guān)性比較高，模型融合的效果提升不大；也有使用不同模型提取特征的方法，然后不同模型按照相同的權(quán)重進行融合，同樣存在效果提升不大的問題。

當前還有文本情感識別和語音情感識別的多模態(tài)方法，但采用的是特征融合，由于不同模型的學習速度不同，特征融合不能很好的發(fā)揮不同模態(tài)信息優(yōu)勢互補的作用。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于神經(jīng)網(wǎng)絡(luò)的語音情感識別方法，旨在解決現(xiàn)有技術(shù)中模型融合以及多模態(tài)情感識別訓練困難，準確率提升不大的問題。

為實現(xiàn)上述目的，本發(fā)明采用一種基于神經(jīng)網(wǎng)絡(luò)的語音情感識別方法，包括下列步驟：

提取語音特征并送入卷積神經(jīng)網(wǎng)絡(luò)，獲得卷積情感類別；

所述語音特征送入時延神經(jīng)網(wǎng)絡(luò)，獲得時延情感類別；

識別語音文本并送入雙向編碼器預(yù)訓練模型，獲得文本情感類別；

模型融合獲得最終情感類別。

其中，所述語音特征為目標語音信號的基于濾波器組的特征。

其中，所述目標語音信號的情感特征分為高興、悲傷、中性和生氣四類，所述卷積情感類別、所述時延情感類別、所述文本情感類別和所述最終情感類別是四類中的任意一類。

其中，在提取語音特征并送入卷積神經(jīng)網(wǎng)絡(luò)，獲得卷積情感類別的過程中，所述卷積神經(jīng)網(wǎng)絡(luò)自動提取所述語音特征包含的情感特征，再使用歸一化指數(shù)函數(shù)分類器獲得屬于每一類所述情感特征的概率值，選取最大概率值對應(yīng)的情感特征作為卷積情感類別。

其中，在所述語音特征送入時延神經(jīng)網(wǎng)絡(luò)，獲得時延情感類別的過程中，所述時延神經(jīng)網(wǎng)絡(luò)自動提取所述語音特征包含的情感特征，再使用歸一化指數(shù)函數(shù)分類器獲得屬于每一類所述情感特征的概率值，選取最大概率值對應(yīng)的情感特征作為時延情感類別。

其中，識別語音文本并送入雙向編碼器預(yù)訓練模型，獲得文本情感類別，包括下列步驟：

利用語音識別技術(shù)識別所述目標語音信號對應(yīng)的文本，獲得語音文本；

將所述語音文本中文字映射為相應(yīng)的標號，形成標號序列；

將所述標號序列送入雙向編碼器預(yù)訓練模型，提取文本包含的情感特征；

使用歸一化指數(shù)函數(shù)分類器獲得屬于每一類所述情感特征的概率值，選取最大概率值對應(yīng)的情感特征作為文本情感類別。

其中，在模型融合獲得最終情感類別的過程中，對所述卷積情感類別、所述時延情感類別和所述文本情感類別各自歸一化指數(shù)函數(shù)之后的概率值進行線性相加，選取最大值對應(yīng)的情感特征作為最終情感類別。

其中，進行所述線性相加的過程中，不同模型的權(quán)重值設(shè)置為相同或不相同。