[發明專利]一種基于序列卷積的語音情感識別方法及裝置

在審

• 申請號: 202011169102.8
• 申請日: 2020-10-28
• 公開（公告）號: CN112489687A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 陳海波;其他發明人請求不公開姓名
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張懷陽

本發明公開了一種基于序列卷積的語音情感識別方法及裝置，該方法包括獲取待識別的語音信息，對語音信息進行提取得到所述語音信息的描述子向量，將描述子向量輸入到序列卷積模型，得到語音信息的序列，對語音信息的序列進行處理，得到語音信息的序列特征以及局部特征，根據語音信息的序列特征和局部特征識別所述語音信息的情感。通過并列地使用局部特征和序列特征的方式來進行語音情感特征的識別，區別于傳統上單獨地使用局部特征或在局部特征的基礎上獲得時序特征來進行情感的識別方式，可以提高識別準確率。同時使用序列卷積的步長的設置來實現語音情感識別中的跳幀，來減少信息的冗余性。

技術領域

本發明涉及語音識別技術領域，尤其涉及一種基于序列卷積的語音情感識別方法及裝置。

背景技術

語音情感識別的一個方案是采用卷積的方式提取局部特征，然后在時間維度上對得到的局部特征進行最大池化，最大池化后得到的特征便是神經網絡所使用的語音序列的特征，最后利用該特征進行情感識別。這種方式得到的特征不具有時序特征。語音情感識別的另一方式就是將語音序列輸入循環神經網絡(一般使用LSTM等)，然后使用循環神經網絡的輸出得到該語音序列的特征。循環神經網絡多使用長短時間記憶網絡(LSTM)，該網絡計算復雜，且對歷史信息的掌握具有不可控性，當語音序列較長時，該網絡可能丟失一些歷史的記憶，進而影響對情感的識別。

發明內容

本發明實施例提供一種基于序列卷積的語音情感識別方法及裝置，用以使得輸出的語音序列的特征具有時序性，且提高語音情感識別的準確率。

第一方面，本發明實施例提供一種基于序列卷積的語音情感識別方法，包括：

獲取待識別的語音信息；

對所述語音信息進行提取得到所述語音信息的描述子向量；

將所述描述子向量輸入到序列卷積模型，得到所述語音信息的序列；

對所述語音信息的序列進行處理，得到所述語音信息的序列特征以及局部特征；

根據所述語音信息的序列特征和局部特征識別所述語音信息的情感。

上述技術方案中，通過并列地使用局部特征和序列特征的方式來進行語音情感特征的識別，區別于傳統上單獨地使用局部特征或在局部特征的基礎上獲得時序特征來進行情感的識別方式，可以提高識別準確率。同時使用序列卷積的步長的設置來實現語音情感識別中的跳幀，來減少信息的冗余性。

可選的，所述對所述語音信息進行提取得到所述語音信息的描述子向量，包括：

以預設時長的滑窗在所述語音信息上沿時間軸滑動，把所述語音信息切分為具有重疊部分的音頻段，得到所述語音信息的描述子向量。

可選的，所述對所述語音信息的序列進行處理，得到所述語音信息的序列特征以及局部特征，包括：

將所述語音信息的序列進行矩陣分割，得到多個子序列；

將所述多個子序列分別提取特征并進行特征合并，得到所述語音信息的序列特征；

將所述多個子序列分別輸入到第一激活函數后進行池化處理，得到所述語音信息的局部特征。

可選的，所述根據所述語音信息的序列特征和局部特征識別所述語音信息的情感，包括：

將所述語音信息的序列特征和局部特征進行聯合后得到聯合特征；

將所述聯合特征輸入到第二激活函數中，得到所述語音信息的情感概率；

根據所述語音信息的情感概率，將最大情感概率對應的情感確定為所述語音信息的情感。

可選的，所述將所述語音信息的序列特征和局部特征進行聯合后得到聯合特征，包括：