[發明專利]基于語音數據的情緒識別方法、裝置及存儲介質

在審

• 申請號: 202110575150.5
• 申請日: 2021-05-26
• 公開（公告）號: CN113314150A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 鄧真
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/51;G10L15/22;G10L15/26;G10L25/27;G10L25/30
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于語音數據的情緒識別方法，其特征在于，包括下述步驟：

獲取用戶的語音數據；

將所述語音數據轉換為文本數據；

采用預設的語音情緒模型對所述語音數據進行情緒識別，輸出語音情緒標簽，所述語音情緒模型為包括極端梯度提升Xgboost模型和長短期記憶網絡LSTM模型的組合模型；

采用預設的文本情緒模型對所述文本數據進行情緒識別，輸出文本情緒標簽；

根據所述語音情緒標簽和所述文本情緒標簽，確定綜合情緒標簽。

2.根據權利要求1所述的情緒識別方法，其特征在于，在所述采用預設的文本情緒模型對所述文本數據進行情緒識別，輸出文本情緒標簽的步驟之后，所述情緒識別方法還包括：

根據所述語音情緒標簽判斷所述語音數據是否存在違規；

根據所述文本情緒標簽判斷所述語音數據是否存在違規；

根據所述語音情緒標簽和所述文本情緒標簽分別指示的違規判定結果，確定所述語音數據的違規程度。

3.根據權利要求2所述的情緒識別方法，其特征在于，所述文本情緒模型包括XLnet模型，所述采用預設的文本情緒模型對所述文本數據進行情緒識別，輸出文本情緒標簽的步驟具體包括：

采用所述XLnet模型對所述文本數據進行情緒識別，輸出文本情緒標簽。

4.根據權利要求3所述的情緒識別方法，其特征在于，所述根據所述文本情緒標簽判斷所述語音數據是否存在違規的步驟具體包括：

在所述文本情緒標簽為違規情緒標簽時，則對所述文本數據進行軟暴力詞匯匹配，在確定所述文本數據中存在所述軟暴力詞匯時，確定所述語音數據存在違規；

在所述文本情緒標簽不為違規情緒標簽，或者為違規情緒標簽但未在所述文本數據中匹配到所述軟暴力詞匯時，確定所述語音數據不存在違規。

5.根據權利要求2所述的情緒識別方法，其特征在于，所述文本情緒模型包括XLnet模型和HAN模型，所述采用預設的文本情緒模型對所述文本數據進行情緒識別，輸出文本情緒標簽的步驟具體包括：

采用所述XLnet模型對所述文本數據進行情緒識別，輸出第一文本情緒標簽；

若所述第一文本情緒標簽為違規情緒標簽，則將所述文本數據以及上下文文本數據輸入多層注意力模型HAN模型，輸出第二文本情緒標簽；

所述根據所述文本情緒標簽判斷所述語音數據是否存在違規的步驟具體包括：

根據所述第二文本情緒標簽確定所述語音數據是否存在違規。

6.根據權利要求1所述的情緒識別方法，其特征在于，

所述獲取用戶的語音數據的步驟具體包括：

獲取對話機器人與用戶的對話中，用戶的語音數據；

在所述根據所述語音情緒標簽和所述文本情緒標簽，確定綜合情緒標簽的步驟之后，所述情緒識別方法還包括：

根據所述綜合情緒標簽生成回復語句。

7.根據權利要求1-6中任一項所述的情緒識別方法，其特征在于，所述根據所述語音情緒標簽和所述文本情緒標簽，確定綜合情緒標簽步驟，具體包括：

根據預先設置的對應規則，確定與所述語音情緒標簽和所述文本情緒標簽的組合對應的綜合情緒標簽，所述對應規則包括不同語音情緒標簽和不同文本情緒標簽的組合與綜合情緒標簽的對應關系。

8.一種基于語音數據的情緒識別裝置，其特征在于，包括：

獲取單元，用于獲取用戶的語音數據；

轉換單元，用于將所述語音數據轉換為文本數據；

第一情緒識別單元，用于采用預設的語音情緒模型對所述語音數據進行情緒識別，輸出語音情緒標簽，所述語音情緒模型為包括Xgboost模型和LSTM模型的組合模型；

第二情緒識別單元，用于采用預設的文本情緒模型對所述文本數據進行情緒識別，輸出文本情緒標簽；

第三情緒識別單元，用于根據所述語音情緒標簽和所述文本情緒標簽，確定綜合情緒標簽。