[發明專利]一種基于交互式注意力模型的語音情感識別方法

有效

• 申請號: 202011521398.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112700796B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 陳仙紅;鮑長春
• 申請（專利權）人: 北京工業大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/24;G10L25/30;G10L25/45;G10L25/03;G06F40/268;G06F40/284
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

本發明提出一種基于交互式注意力模型的語音情感識別方法，屬于語音信號處理、情感識別與機器學習領域。文本信息和聲學信息是語音包含的兩種重要信息，這兩種信息對情感識別有重要作用。與現有語音情感識別技術相比，本發明同時利用文本和聲學兩個模態進行情感識別，包括語音預處理、語音識別、詞向量提取、強制對齊、詞級別聲學特征提取、表示學習、模態融合、情感分類幾個步驟。表示學習階段提出交互式注意力模型，在詞層面用一個模態的信息來幫助學習另一個模態的情感表示。模態融合階段，在語句層面學習文本和模態的互補信息。本發明充分利用兩個模態不同層次的互補信息進行情感識別，有效地提高語音情感識別的準確率。

技術領域

本發明屬于語音信號處理、情感識別與機器學習領域，特別地涉及一種基于交互式注意力模型的語音情感識別方法。

背景技術

語音情感識別，即從說話人的語音信號中識別出說話人即時的情緒狀態，比如高興、悲傷、生氣、吃驚、厭惡與恐懼。

近年來，語音情感識別在教育、安全、語音交互、心理指導等領域發揮著越來越重要的作用。在教育領域，語音情感識別能夠捕捉學生學習過程中的情緒變化，進而推斷其學習效率與積極性，輔助教師進行指導；在安全領域，例如在審訊情境中，語音情感識別能夠從被審訊人的語音中窺見其情緒及內心的真實想法，從而輔助審訊官做出更合理的決策；在人機交互領域，語音情感識別能夠為交互增加更多人情味，提高用戶體驗；在心理指導領域，語音情感識別也能夠為心理健康診斷提供輔助性的建議，減少醫護人員的負擔。雖然語音情感識別應用廣泛，但是語音情感識別的性能還有待提高。

較早的語音情感識別方法一般根據聲學信息提取手工特征，然后使用經典的分類器(例如支持向量機、梯度提升決策樹、極限學習機等)輸出某個情感標簽。近年來，神經網絡在語音識別、計算機視覺等領域得到廣泛應用，并表現出強大的特征提取能力。因此，一些語音情感識別方法將手工特征或者原始聲學特征送入這些神經網絡獲得合適的表示，再使用后端分類器進行判決。由于這些方法只用到語音的聲學信息，但是語音中的文本信息也從不同角度透露出情感狀態，因此一些語音情感識別方法將語音中的聲學和文本兩個模態進行融合。

傳統情感識別采用的模態融合策略主要分為特征拼接和表示融合。特征拼接首先提取各個模態各自的原始特征，將這些特征進行拼接后輸入到統一的模型進行識別，得到結果。該方法可以學到兩個模態之間的相互作用，但是不同模態不能使用各自最適合的模型。表示融合用各個模態各自的最適合的模型來提取該模態的語句層面的表示，然后再將兩個模態的語句層面的表示輸入到一個統一的模型進行識別。該方法既考慮了模態間的相互作用，又可以對不同模態用不同的模型進行處理。但是表示融合仍然存在一些問題：1.默認不同模態之間的相互作用只存在于語句層面。2.模態融合在語句層進行，其粒度比較大，不能學習到模態間比較細膩的相互作用信息。因此，表示融合沒有充分學習兩個模態的互補信息來進行情感識別。

針對傳統語音情感識別方法存在的問題，本項目提出基于交互式注意力模型的語音情感識別方法。一方面，本發明采用聲學和文本兩個模態進行語音情感識別，充分利用語音中同時存在的對情感識別起到互補作用的聲學和文本信息。另一方面，本發明提出交互式注意力模型并應用于語音情感識別，在表示學習階段，在詞層面利用一個模態的信息來幫助學習另一個模態的情感表示，使每個詞對應的來自文本和聲學的情感表示更準確；接著在語句層對學習到的兩個模態的情感表示進行模態融合。本發明不僅可以在詞層面和語句層面學到兩個模態不同層次的相互作用，還可以讓每個模態由各自最適合的模型進行處理。因此，本發明能有效提高語音情感識別的準確率。

發明內容