[發明專利]跨語言語音轉換系統和方法

在審

• 申請號: 202011581807.0
• 申請日: 2020-12-28
• 公開（公告）號: CN113129914A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 杰瓦特·耶爾利
• 申請（專利權）人: 明日基金知識產權有限公司
• 主分類號: G10L21/007
• 分類號: G10L21/007;G10L25/30
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

1.一種由機器學習系統執行的跨語言語音轉換的方法，其特征在于，所述方法包括：

由語音特征提取器接收第一語言的第一語音音頻段和第二語言的第二語音音頻段；

由所述語音特征提取器分別從所述第一語音音頻段和所述第二語音音頻段提取音頻特征，所述音頻特征包括第一語音的與說話者相關的聲學特征和第二語音的與說話者無關的語言特征；

經由生成性對抗網絡(GAN)系統的生成器從受訓練的數據集生成第三語音候選，所述第三語音候選具有所述第一語音的與說話者相關的聲學特征和所述第二語音的與說話者無關的語言特征，其中，所述第三語音候選說所述第二語言；

經由所述GAN系統的一個或多個鑒別器將所述第三語音候選與包括所述第一語音的與說話者相關的聲學特征和所述第二語音的與說話者無關的語言特征的地面實況數據進行比較；并且

將比較步驟的結果提供回所述生成器，用于潤色所述第三語音候選。

2.根據權利要求1所述的方法，其特征在于，所述與說話者相關的聲學特征包括與聲道特征相關的短期音段特征，并且所述與說話者無關的語言特征包括與多于一個音段上的聲學特性相關的超音段特征。

3.根據權利要求1所述的方法，其特征在于，還包括生成多個第三語音候選，每個第三語音候選包括不同級別的第一語音的與說話者相關的聲學特征和第二語音的與說話者無關的語言特征。

4.根據權利要求3所述的方法，其特征在于，還包括選擇所述多個第三語音候選中的一個或多個第三語音候選，用于在語音翻譯期間使用。

5.根據權利要求4所述的方法，其特征在于，還包括將所選擇的所述一個或多個第三語音候選存儲在數據庫中，所述數據庫連接到所述機器學習系統，并且包括多個不同的受訓練的第三語音。

6.根據權利要求1所述的方法，其特征在于，所述GAN系統是變分自動編碼WassersteinGAN(VAW-GAN)系統或循環一致GAN(CycleGAN)系統。

7.根據權利要求1所述的方法，其特征在于，所述第一語音是說所述第一語言的原始演員語音，并且其中，所述第二語音是說所述第二語言的配音演員。

8.根據權利要求7所述的方法，其特征在于，在電影語音翻譯期間實施為使得能夠選擇原始版本、具有所述原始演員語音的配音版本或具有所述配音演員語音的配音版本。

9.根據權利要求8所述的方法，其特征在于，還包括：

生成多個第三語音候選，每個第三語音候選包括不同級別的第一語音的與說話者相關的聲學特征和第二語音的與說話者無關的語言特征；

在生成多個配音版本音頻文件時使用所生成的所述多個第三語音候選，所述多個配音版本音頻文件包括不同級別的所述第一語音的與說話者相關的聲學特征和所述第二語音的與說話者無關的語言特征。