[發明專利]語音交互方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011254837.0
• 申請日: 2020-11-11
• 公開（公告）號: CN112382287A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 李循;袁俊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/30;G10L13/04;G10L13/10;G10L25/63
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種語音交互方法，包括：

獲取用戶語音；

根據對用戶語音識別得到的交互上文，從語料庫中確定用于回復所述交互上文的交互下文；

獲取所述交互下文對應的情感類型；

根據所述情感類型和設定音色，對所述交互下文進行語音合成，以得到回復語音；

采用所述回復語音進行語音交互。

2.根據權利要求1所述的語音交互方法，其中，所述根據所述情感類型，和設定音色，對所述交互下文進行語音合成，以得到回復語音，包括：

將所述情感類型對應語音的第一梅爾譜mel特征和所述設定音色對應語音的第二梅爾譜mel特征、以及所述交互下文輸入經過訓練的語音合成模型，以得到所述回復語音。

3.根據權利要求2所述的語音交互方法，其中，所述語音合成模型，包括：

風格編碼器，用于輸入所述第一mel特征以得到風格編碼；

音色編碼器，用于輸入所述第二mel特征以得到音色編碼；

文本編碼器，用于輸入所述交互下文以得到文本編碼；

解碼器，用于輸入所述文本編碼、所述風格編碼和所述音色編碼以得到目標mel特征；

聲碼器，用于輸入所述目標mel特征以得到所述回復語音。

4.根據權利要求2所述的語音交互方法，其中，所述語音合成模型分別采用第一訓練樣本和第二訓練樣本訓練得到；

其中，所述第一訓練樣本，用于對所述語音合成模型進行第一階段訓練；所述第一訓練樣本包括采用至少一種音色錄制的多種情感類型的第一語音，以及所述第一語音對應的文本；

所述第二訓練樣本，用于對所述語音合成模型進行第二階段訓練；所述第二訓練樣本包括采用所述設定音色錄制的第二語音，以及所述第二語音對應的文本和情感類型。

5.根據權利要求1-4任一項所述的方法，其中，所述獲取所述交互下文對應的情感類型，包括：

查詢所述交互下文對應的情感標簽；其中，所述情感標簽是采用情感分類模型對所述交互下文進行分類得到的；

根據所述情感標簽，確定所述情感類型。

6.一種語音交互裝置，包括：

第一獲取模塊，用于獲取用戶語音；

確定模塊，用于根據對用戶語音識別得到的交互上文，從語料庫中確定用于回復所述交互上文的交互下文；

第二獲取模塊，用于獲取所述交互下文對應的情感類型；

合成模塊，用于根據所述情感類型和設定音色，對所述交互下文進行語音合成，以得到回復語音；

交互模塊，用于采用所述回復語音進行語音交互。

7.根據權利要求6所述的語音交互裝置，其中，所述合成模塊，用于：

將所述情感類型對應語音的第一mel特征和所述設定音色對應語音的第二mel特征、以及所述交互下文輸入經過訓練的語音合成模型，以得到所述回復語音。

8.根據權利要求7所述的語音交互裝置，其中，所述語音合成模型，包括：

風格編碼器，用于輸入所述第一mel特征以得到風格編碼；

音色編碼器，用于輸入所述第二mel特征以得到音色編碼；

文本編碼器，用于輸入所述交互下文以得到文本編碼；

解碼器，用于輸入所述文本編碼、所述風格編碼和所述音色編碼以得到目標mel特征；

聲碼器，用于輸入所述目標mel特征以得到所述回復語音。

9.根據權利要求7所述的語音交互裝置，其中，所述語音合成模型分別采用第一訓練樣本和第二訓練樣本訓練得到；

其中，所述第一訓練樣本，用于對所述語音合成模型進行第一階段訓練；所述第一訓練樣本包括采用至少一種音色錄制的多種情感類型的第一語音，以及所述第一語音對應的文本；

所述第二訓練樣本，用于對所述語音合成模型進行第二階段訓練；所述第二訓練樣本包括采用所述設定音色錄制的第二語音，以及所述第二語音對應的文本和情感類型。