[發明專利]語音情緒識別方法、裝置、介質及電子設備

在審

• 申請號: 202010138561.3
• 申請日: 2020-03-03
• 公開（公告）號: CN111429946A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 王德勛;徐國強
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/03;G10L15/26
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 孫強

1.一種語音情緒識別方法，其特征在于，包括：

當接收到用戶語音，提取所述用戶語音的多類音頻特征；

分別將所述音頻特征與情緒特征庫中的特征樣本進行匹配，得到與每個所述音頻特征匹配的特征樣本相應的情緒標簽；

基于所述音頻特征及所述匹配的特征樣本相應的情緒標簽，構建所述用戶語音的特征標簽矩陣；

將所述特征標簽矩陣輸入多情緒識別模型，得到多個情緒集及每個所述情緒集對應的場景標簽；

獲取所述用戶語音的語音場景所匹配的場景標簽，以將所述匹配的場景標簽對應的情緒集確定為識別出的用戶語音情緒。

2.根據權利要求1所述的方法，其特征在于，所述當接收到用戶語音，提取所述用戶語音的多類音頻特征，包括：

當接收到用戶語音，將所述用戶語音轉化為文本；

將所述文本與特征提取類別數據庫中的文本樣本匹配，得到與所述文本匹配的文本樣本；

從所述用戶語音，提取與所述文本樣本關聯的多個特征類別的音頻特征。

3.根據權利要求1所述的方法，其特征在于，所述分別將所述音頻特征與情緒特征庫中的特征樣本進行匹配，得到與每個所述音頻特征匹配的特征樣本相應的情緒標簽，包括：

分別將所述音頻特征與情緒特征庫中的特征樣本進行對比，得到與每個所述音頻特征相似度超過預定閾值的多個特征樣本，所述預定閾值與所述音頻特征的個數對應；

從所述情緒特征庫中獲取每個所述特征樣本對應的情緒標簽。

4.根據權利要求1所述的方法，其特征在于，所述基于所述音頻特征及所述匹配的特征樣本相應的情緒標簽，構建所述用戶語音的特征標簽矩陣，包括：

將所述音頻特征添加到矩陣的第一行；

將每個所述音頻特征相應的所述情緒標簽，按照每個所述特征樣本與所述音頻特征的相似度由高到低的順序，添加到每個所述音頻特征對應的列得到所述特征標簽矩陣，其中，所述矩陣每行對應于一個相似度范圍。

5.根據權利要求1所述的方法，其特征在于，所述多情緒識別模型的構建方法，包括：

利用AISHELL中文聲紋數據庫訓練restnet34模型，訓練結束后取出前n層網絡作為預訓練模型；

為所述預訓練模型接入多層全連接層作為分類器，得到識別模型，以使用標注好的語音情緒數據集對所述識別模型進行訓練得到多情緒識別模型。

6.根據權利要求5所述的方法，其特征在于，還包括：

同時初始化第一多情緒識別模型和第二多情緒識別模型，并使用有標簽混合無標簽的原始數據在所述第一多情緒識別模型上進行訓練得到第一預測值，并得到有標簽數據部分的分類誤差損失值；

利用指數滑動平均更新所述第二多情緒識別模型，并將加上噪聲的數據輸入更新后的所述第二多情緒識別模型訓練得到第二預測值；

計算所述第一預測值和所述第二預測值之間的誤差作為一致性損失值；

利用所述分類誤差損失值與所述一致性損失值之和更新所述第一多情緒識別模型。

7.根據權利要求1或2所述的方法，其特征在于，所述多類音頻特征至少包括過零率特征、短時能量特征、短時平均幅度差特征、發音幀數特征、基音頻率特征、共振峰特征、諧波噪聲比特征以及梅爾倒譜系數特征中三個。

8.一種語音情緒識別裝置，其特征在于，包括：

提取模塊，用于當接收到用戶語音，提取所述用戶語音的多類音頻特征；

匹配模塊，用于分別將所述音頻特征與情緒特征庫中的特征樣本進行匹配，得到與每個所述音頻特征匹配的特征樣本相應的情緒標簽；

構建模塊，用于基于所述音頻特征及所述匹配的特征樣本相應的情緒標簽，構建所述用戶語音的特征標簽矩陣；

預測模塊，用于將所述特征標簽矩陣輸入多情緒識別模型，得到多個情緒集及每個所述情緒集對應的場景標簽；

確定模塊，用于獲取所述用戶語音的語音場景所匹配的場景標簽，以將所述匹配的場景標簽對應的情緒集確定為識別出的用戶語音情緒。