[發明專利]語音交互的方法、語音交互的裝置和計算機可讀存儲介質

在審

• 申請號: 202211065134.2
• 申請日: 2022-09-01
• 公開（公告）號: CN115424606A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 林琦;謝園園;唐雄飛;李健;陳明;武衛東
• 申請（專利權）人: 北京捷通華聲科技股份有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/26;G10L15/18;G10L15/16;G10L25/24
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 霍文娟

1.一種語音交互的方法，其特征在于，包括：

獲取說話者的語音信息，所述語音信息是指所述說話者在說話的過程中發出的語音的信息；

對所述語音信息進行識別，確定所述語音信息對應的目標方言；

至少根據所述語音信息，確定與所述說話者匹配的講話風格，所述講話風格是指所述說話者的口語習慣的風格；

根據所述講話風格和所述語音信息生成回復信息，并控制音頻播報設備播放所述回復信息對應的語音，其中，所述回復信息是對應所述說話者的所述語音信息的回復內容的信息，控制所述音頻播報設備播放所述回復信息對應的語音是采用所述目標方言進行播報的。

2.根據權利要求1所述的方法，其特征在于，對所述語音信息進行識別，確定所述語音信息對應的目標方言，包括：

采集初始語音數據，根據所述初始語音數據構建方言庫，所述初始語音數據包括多個地區的方言的語音數據，一個所述方言庫包括一種方言的語音數據；

對所述初始語音數據進行預處理，得到訓練語音數據，所述預處理包括以下至少之一：分詞處理、過濾非方言數據處理、去停用詞處理；

構建方言識別模型，其中，所述方言識別模型是使用多組訓練數據訓練得到的，所述多組訓練數據中的每一組訓練數據均包括所述訓練語音數據和所述訓練語音數據對應的方言；

將所述語音信息輸入至所述方言識別模型中進行識別，得到識別結果，其中，所述識別結果是指所述語音信息對應的所述目標方言。

3.根據權利要求2所述的方法，其特征在于，將所述語音信息輸入至所述方言識別模型中進行識別，得到識別結果，包括：

從多個所述方言中選取出與所述語音信息相似度大于或者等于相似度閾值的多個初始方言；

從多個所述初始方言中選取出所述相似度最大的所述目標方言，得到目標識別結果。

4.根據權利要求1所述的方法，其特征在于，至少根據所述語音信息，確定與所述說話者匹配的講話風格，包括：

獲取預先輸入的所述說話者的特征信息，所述特征信息包括以下至少之一：性別、年齡、職業、民族、地區、興趣；

根據所述說話者的所述特征信息構建用戶畫像；

將所述說話者的所述語音信息轉換為目標文本信息，所述目標文本信息是指目標語言的所述語音信息對應的文本信息；

根據所述用戶畫像、所述目標文本信息和所述語音信息，確定與所述說話者匹配的所述講話風格。

5.根據權利要求4所述的方法，其特征在于，根據所述用戶畫像、所述目標文本信息和所述語音信息，確定與所述說話者匹配的所述講話風格，包括：

根據所述目標文本信息進行語義識別，確定所述說話者的行為偏好信息；

根據所述語音信息中的聲紋特征，確定所述說話者的情緒信息；

獲取歷史對話信息，所述歷史對話信息是指歷史時間段內語音交互的信息；

根據所述用戶畫像、所述行為偏好信息、所述情緒信息和所述歷史對話信息，構建向量矩陣，采用所述向量矩陣向量化表示所述說話者的用戶特征，并確定所述講話風格。

6.根據權利要求4所述的方法，其特征在于，根據所述講話風格和所述語音信息生成回復信息，包括：

對所述目標文本信息進行語義識別，確定所述目標文本信息對應的語義識別結果；

從數據庫中獲取多個問答對，一個所述問答對包括一個問題與一個答案；

確定多個所述問題中與所述語義識別結果的相似度最高的目標問題；

基于所述目標問題對應的目標答案，采用所述講話風格，生成符合所述講話風格的所述回復信息。

7.根據權利要求6所述的方法，其特征在于，在生成符合所述講話風格的所述回復信息之后，所述方法還包括：

使用生成式對抗網絡中的判別模型對所述回復信息進行識別，以確定所述回復信息是否為真實文本，得到分類結果；

在所述分類結果表征所述回復信息是所述真實文本的情況下，確定所述回復信息為目標回復信息。