[發明專利]多人對話語音實時翻譯方法、裝置、設備及存儲介質

在審

• 申請號: 202110835277.6
• 申請日: 2021-07-23
• 公開（公告）號: CN113505612A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 盧春曦;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/289;G06K9/62;G06N3/04;G06N3/08;G10L15/00;G10L15/06;G10L15/16;G10L15/26;G10L21/0272
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種多人對話語音實時翻譯方法，其特征在于，包括下述步驟：

接收待翻譯的對話語音，所述對話語音包含N個人聲，N為大于1的整數；

將所述對話語音輸入到預設的語音分離模型進行語音分離，得到N個子音頻；

將所述子音頻通過ASR算法進行語音識別，得到所述子音頻對應的文本；

將所述子音頻對應的文本輸入到預設的翻譯引擎進行翻譯，得到所述子音頻對應的目標語言翻譯結果。

2.根據權利要求1所述的多人對話語音實時翻譯方法，其特征在于，所述將所述對話語音輸入到預設的語音分離模型進行語音分離，得到N個子音頻的步驟之前還包括：

獲取訓練樣本，所述訓練樣本為混合了N個人聲真實音頻的對話語音；

將所述訓練樣本輸入到預設的卷積神經網絡模型中，獲得所述卷積神經網絡模型響應所述訓練樣本預測的N個人聲預測音頻；

調整所述卷積神經網絡模型各節點的參數，至所述N個人聲預測音頻與所述N個人聲真實音頻之間的信噪比達到最大值時結束，得到訓練好的語音分離模型。

3.根據權利要求1所述的多人對話語音實時翻譯方法，其特征在于，所述預設的翻譯引擎為M個，且每個翻譯引擎對應不同的目標語種，所述將所述子音頻對應的文本輸入到預設的翻譯引擎進行翻譯，得到所述子音頻對應的目標語言翻譯結果的步驟具體包括：

獲取所述子音頻的翻譯目標語種；

根據所述翻譯目標語種匹配與所述翻譯目標語種對應的翻譯引擎；

將所述子音頻對應的文本輸入到所述翻譯引擎中進行翻譯，得到所述子音頻對應的目標語言翻譯結果。

4.根據權利要求1所述的多人對話語音實時翻譯方法，其特征在于，當所述目標語言翻譯結果為文本時，在所述將所述子音頻對應的文本輸入到預設的翻譯引擎進行翻譯，得到所述子音頻對應的目標語言翻譯結果的步驟之后，還包括：

將所述目標語言翻譯結果輸入到預設的文字-語音轉換模型中進行語音轉換，獲得所述目標語言翻譯結果的音頻輸出。

5.根據權利要求1所述的多人對話語音實時翻譯方法，其特征在于，在所述將所述子音頻通過ASR算法進行語音識別，得到所述子音頻對應的文本的步驟之后還包括：

將所述子音頻對應的文本輸入到預先訓練的文本糾錯模型中進行文本糾錯，得到校正后的文本；

將所述校正后的文本輸入到預設的翻譯引擎進行翻譯，得到所述子音頻對應的目標語言翻譯結果。

6.根據權利要求5所述的多人對話語音實時翻譯方法，其特征在于，在所述將所述子音頻對應的文本輸入到預先訓練的文本糾錯模型中進行文本糾錯，得到校正后的文本的步驟中，具體包括：

將所述子音頻對應的文本進行分詞，得到分詞結果；

將所述分詞結果根據預設的規則組成短文本；

計算所述短文本與預設的語料庫中各文本的編輯距離；

用所述語料庫中與所述短文本之間編輯距離最小的文本替換所述短文本，得到校正后的文本。

7.一種多人對話語音實時翻譯裝置，其特征在于，包括：

接收模塊，用于接收待翻譯的對話語音，所述對話語音包含N個人聲，N為大于1的整數；

分離模塊，用于將所述對話語音輸入到預設的語音分離模型進行語音分離，得到N個子音頻；

識別模塊，用于將所述子音頻通過ASR算法進行語音識別，得到所述子音頻對應的文本；

翻譯模塊，用于將所述子音頻對應的文本輸入到預設的翻譯引擎進行翻譯，得到所述子音頻對應的目標語言翻譯結果。