[發明專利]語音翻譯模型的訓練方法、語音翻譯方法、裝置及設備

在審

• 申請號: 202210319911.5
• 申請日: 2022-03-29
• 公開（公告）號: CN114822498A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉志成;童劍;趙程綺;王濤;王明軒
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/06;G10L15/20;G10L15/26;G06F40/30
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 劉欣

1.一種語音翻譯模型的訓練方法，其特征在于，所述訓練方法包括：

進入模型訓練階段后，控制語音翻譯模型執行語音翻譯訓練任務；

控制所述語音翻譯模型同時執行所述語音翻譯訓練任務的輔助訓練任務；

依據所述語音翻譯訓練任務與所述輔助訓練任務，對所述語音翻譯模型的網絡參數進行調整，得到訓練更新后的語音翻譯模型；

其中，所述語音翻譯訓練任務用于對參與語音識別的原文本進行翻譯，所述輔助訓練任務用于弱化因語音識別偏差得到的文本對語音翻譯模型產生的翻譯偏差。

2.根據權利要求1所述的方法，其特征在于，控制所述語音翻譯模型同時執行所述語音翻譯訓練任務的輔助訓練任務，包括：

依據執行語音翻譯訓練任務所需的原文本序列，確定執行輔助訓練任務所需的輔助文本序列；原文本序列包括參與語音識別的原文本；

將所述輔助文本序列輸入到語音翻譯模型執行所述語音翻譯訓練任務的輔助訓練任務，得到所述輔助訓練任務的損失函數得分；

其中，所述輔助訓練任務包括以下至少一項：對存在遮蓋的文本的進行預測、對去除標點的文本進行標點重標注以及文本語義對比學習。

3.根據權利要求2所述的方法，其特征在于，依據執行語音翻譯訓練任務所需的原文本序列，確定執行輔助訓練任務所需的輔助文本序列，包括：

對所述原文本序列中部分序列內容進行文本遮蓋處理，得到經文本遮蓋處理后的輔助文本序列；

其中，所述文本遮蓋處理包括以下至少一項：對部分序列內容進行刪除與對部分序列內容進行替換。

4.根據權利要求2或3所述的方法，其特征在于，將所述輔助文本序列輸入到語音翻譯模型執行所述語音翻譯訓練任務的輔助訓練任務，得到所述輔助訓練任務的損失函數得分，包括：

將經文本遮蓋處理后的輔助文本序列輸入到語音翻譯模型的文本編碼器；

將所述文本編碼器的輸出送入所述語音翻譯模型的多層感知器中對存在遮蓋文本的輔助文本序列執行文本預測任務；

依據對存在遮蓋文本的輔助文本序列的文本預測結果與存在遮蓋文本的輔助文本序列中刪除或替換位置處的原文本字符，確定輔助訓練任務中文本預測任務對應的損失函數得分。

5.根據權利要求2所述的方法，其特征在于，依據執行語音翻譯訓練任務所需的原文本序列，確定執行輔助訓練任務所需的輔助文本序列，包括：

對所述原文本序列中全部標點符號進行去除，得到經文本標點去除后的輔助文本序列。

6.根據權利要求2或5所述的方法，其特征在于，將所述輔助文本序列輸入到語音翻譯模型執行所述語音翻譯訓練任務的輔助訓練任務，得到所述輔助訓練任務的損失函數得分，包括：

將經文本標點去除后的輔助文本序列輸入到語音翻譯模型的文本編碼器；

將所述文本編碼器輸出的文本字符對應的隱層向量表示送入語音翻譯模型的多層感知器中對已去除標點的輔助文本序列執行文本標點重標注任務；

依據標點重標注任務所預測的標點字符位置與原文本序列的標點字符位置，確定輔助訓練任務中標點重標注任務對應的損失函數得分。

7.根據權利要求2所述的方法，其特征在于，依據執行語音翻譯訓練任務所需的原文本序列，確定執行輔助訓練任務所需的輔助文本序列，包括：

對所述原文本序列中部分序列內容進行文本遮蓋處理，將遮蓋后的文本與隨機選取文本，組成用于進行文本語義對比學習的輔助文本序列。