[發明專利]語音翻譯方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010128882.5
• 申請日: 2020-02-28
• 公開（公告）號: CN111368559A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 王明軒;董倩倩;李磊
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N3/04;G10L15/00
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種語音翻譯方法，其特征在于，包括：

獲取待翻譯語言對應的源語音；

獲取指定的目標語言；

將所述源語音和與所述目標語言匹配的指示信息輸入到預先訓練的語音翻譯模型中，所述語音翻譯模型用于將第一語言集合中的語言翻譯成第二語言集合中的語言，所述第一語言集合包括多個語言，所述第一語言集合包括所述待翻譯語言，所述第二語言集合包括多個語言，所述第二語言集合包括所述目標語言；

獲取所述語音翻譯模型輸出的與所述目標語言對應的翻譯語音，其中，所述待翻譯語言與所述目標語言不同。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述語音翻譯模型輸出的與所述目標語言對應的翻譯語音，包括：

通過所述語音翻譯模型中的編碼器提取所述源語音中的語音特征，并進行編碼，形成所述源語音的特征向量；其中，所述語音翻譯模型為Seq2Seq模型；

通過所述語音翻譯模型中的解碼器根據所述特征向量和所述目標語言，將所述特征向量映射為目標語言的語音序列，作為翻譯語音。

3.根據權利要求2所述的方法，其特征在于，所述通過所述語音翻譯模型中的編碼器提取所述源語音中的語音特征，并進行編碼，形成所述源語音的特征向量，包括：

通過所述編碼器對所述源語音進行切分，形成至少一個源語音片段；

通過所述編碼器獲取各所述源語音片段以及所述源語音的語音特征，形成至少一個語音元素，所述語音特征包括下述至少一項：時長、頻率、音強、音色和頻譜特性；

通過所述編碼器根據各所述語音元素依次對初始向量進行變換，形成特征向量。

4.根據權利要求2所述的方法，其特征在于，所述通過所述語音翻譯模型中的解碼器根據所述特征向量和所述目標語言，將所述特征向量映射為目標語言的語音序列，包括：

通過所述解碼器對所述特征向量進行解析，確定至少一個備選翻譯語音片段；

從至少一個備選翻譯語音片段中查詢與所述目標語言匹配的目標翻譯語音片段，并拼接形成目標語言的語音序列。

5.根據權利要求1所述的方法，其特征在于，在將源語音輸入到預先訓練的語音翻譯模型中之前，還包括：

獲取樣本對集合，其中，所述樣本對集合中的各樣本對包括一個目標源語音，以及一個目標翻譯語音，所述目標翻譯語音標注有語言信息；

根據所述樣本對集合對初始模型進行訓練，形成語音翻譯模型，其中，所述樣本對集合對應的語言數量包括至少三個。

6.根據權利要求5所述的方法，其特征在于，所述樣本對中目標源語音對應的待翻譯語言數量包括至少兩個，所述目標源語音對應的至少一個待翻譯語言與所述目標翻譯語音的語言不同。

7.根據權利要求2所述的方法，其特征在于，所述編碼器和所述解碼器包括神經網絡模型。

8.一種語音翻譯裝置，其特征在于，包括：

源語音獲取模塊，用于獲取待翻譯語言對應的源語音；

目標語言指定模塊，用于獲取指定的目標語言；

語言翻譯模塊，用于將所述源語音和與所述目標語言匹配的指示信息輸入到預先訓練的語音翻譯模型中，所述語音翻譯模型用于將第一語言集合中的語言翻譯成第二語言集合中的語言，所述第一語言集合包括多個語言，所述第一語言集合包括所述待翻譯語言，所述第二語言集合包括多個語言，所述第二語言集合包括所述目標語言；

翻譯語音獲取模塊，用于獲取所述語音翻譯模型輸出的與所述目標語言對應的翻譯語音，其中，所述待翻譯語言與所述目標語言不同。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一所述的語音翻譯方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一所述的語音翻譯方法。