[發明專利]一種基于序列卷積的語音情感識別方法及裝置

在審

• 申請號: 202011169102.8
• 申請日: 2020-10-28
• 公開（公告）號: CN112489687A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 陳海波;其他發明人請求不公開姓名
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張懷陽

1.一種基于序列卷積的語音情感識別方法，其特征在于，包括：

獲取待識別的語音信息；

對所述語音信息進行提取得到所述語音信息的描述子向量；將所述描述子向量輸入到序列卷積模型，得到所述語音信息的序列；

對所述語音信息的序列進行處理，得到所述語音信息的序列特征以及局部特征；

根據所述語音信息的序列特征和局部特征識別所述語音信息的情感。

2.如權利要求1所述的方法，其特征在于，所述對所述語音信息進行提取得到所述語音信息的描述子向量，包括：

以預設時長的滑窗在所述語音信息上沿時間軸滑動，把所述語音信息切分為具有重疊部分的音頻段，得到所述語音信息的描述子向量。

3.如權利要求1所述的方法，其特征在于，所述對所述語音信息的序列進行處理，得到所述語音信息的序列特征以及局部特征，包括：

將所述語音信息的序列進行矩陣分割，得到多個子序列；

將所述多個子序列分別提取特征并進行特征合并，得到所述語音信息的序列特征；

將所述多個子序列分別輸入到第一激活函數后進行池化處理，得到所述語音信息的局部特征。

4.如權利要求1至3任一項所述的方法，其特征在于，所述根據所述語音信息的序列特征和局部特征識別所述語音信息的情感，包括：

將所述語音信息的序列特征和局部特征進行聯合后得到聯合特征；

將所述聯合特征輸入到第二激活函數中，得到所述語音信息的情感概率；

根據所述語音信息的情感概率，將最大情感概率對應的情感確定為所述語音信息的情感。

5.如權利要求4所述的方法，其特征在于，所述將所述語音信息的序列特征和局部特征進行聯合后得到聯合特征，包括：

將所述語音信息的序列特征和局部特征進行鏈接，并對鏈接結果進行隨機丟棄操作后，輸入到全連接層得到所述聯合特征。

6.一種基于序列卷積的語音情感識別裝置，其特征在于，包括：

獲取單元，用于獲取待識別的語音信息；

處理單元，用于對所述語音信息進行提取得到所述語音信息的描述子向量；將所述描述子向量輸入到序列卷積模型，得到所述語音信息的序列；對所述語音信息的序列進行處理，得到所述語音信息的序列特征以及局部特征；根據所述語音信息的序列特征和局部特征識別所述語音信息的情感。

7.如權利要求6所述的裝置，其特征在于，所述處理單元具體用于：

以預設時長的滑窗在所述語音信息上沿時間軸滑動，把所述語音信息切分為具有重疊部分的音頻段，得到所述語音信息的描述子向量。

8.如權利要求6所述的裝置，其特征在于，所述處理單元具體用于：

將所述語音信息的序列進行矩陣分割，得到多個子序列；

將所述多個子序列分別提取特征并進行特征合并，得到所述語音信息的序列特征；

將所述多個子序列分別輸入到第一激活函數后進行池化處理，得到所述語音信息的局部特征。

9.如權利要求6至8任一項所述的裝置，其特征在于，所述處理單元具體用于：

將所述語音信息的序列特征和局部特征進行聯合后得到聯合特征；

將所述聯合特征輸入到第二激活函數中，得到所述語音信息的情感概率；

根據所述語音信息的情感概率，將最大情感概率對應的情感確定為所述語音信息的情感。

10.如權利要求9所述的裝置，其特征在于，所述處理單元具體用于：

將所述語音信息的序列特征和局部特征進行鏈接，并對鏈接結果進行隨機丟棄操作后，輸入到全連接層得到所述聯合特征。

11.一種計算設備，其特征在于，包括：

存儲器，用于存儲程序指令；

處理器，用于調用所述存儲器中存儲的程序指令，按照獲得的程序執行權利要求1至5任一項所述的方法。

12.一種計算機可讀非易失性存儲介質，其特征在于，包括計算機可讀指令，當計算機讀取并執行所述計算機可讀指令時，使得計算機執行如權利要求1至5任一項所述的方法。