[發明專利]語音翻譯模型的訓練方法、語音翻譯方法、裝置及設備

在審

• 申請號: 202210319911.5
• 申請日: 2022-03-29
• 公開（公告）號: CN114822498A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉志成;童劍;趙程綺;王濤;王明軒
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/06;G10L15/20;G10L15/26;G06F40/30
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 劉欣

本公開實施例公開了一種語音翻譯模型的訓練方法、語音翻譯方法、裝置及設備。所述訓練方法包括：進入模型訓練階段后，控制語音翻譯模型執行語音翻譯訓練任務；控制所述語音翻譯模型同時執行所述語音翻譯訓練任務的輔助訓練任務；依據所述語音翻譯訓練任務與所述輔助訓練任務，對所述語音翻譯模型的網絡參數進行調整，得到訓練更新后的語音翻譯模型；采用本公開方案通過引入多個輔助訓練任務對語音翻譯任務進行輔助訓練，弱化因語音識別偏差所得文本對語音翻譯模型產生的翻譯偏差，實現對同聲傳譯場景下語音翻譯的魯棒性和泛化性進行優化，降低原文受到錯誤干擾時譯文出現漏譯、錯譯、過翻譯等情況。

技術領域

本公開實施例涉及機器翻譯技術領域，尤其涉及一種語音翻譯模型的訓練 方法、語音翻譯方法、裝置及設備。

背景技術

語音翻譯是將某種語言的語音輸入轉化成其他語言的文本或語音，是打破 語言障礙的關鍵技術之一。

語音翻譯已經得到廣泛應用，業務主要落地于日常對話聊天、大會同聲傳 譯以及視頻實時字幕等應用場景。相關語音翻譯技術，通過引入領域數據如ASR 識別文本、規則或對抗學習生成領域文本等進行翻譯增強。但是，仍然存在翻 譯質量不高、譯文連貫性不強等諸多問題，導致語音翻譯準確性不高，給用戶 交流帶來不便。

發明內容

本公開實施例中提供一種語音翻譯模型的訓練方法、語音翻譯方法、裝置、 設備及介質，以實現對語音翻譯的魯棒性和泛化性進行優化，提升語音翻譯質 量。

第一方面，本公開實施例中提供了一種語音翻譯模型的訓練方法，所述訓 練方法包括：

進入模型訓練階段后，控制語音翻譯模型執行語音翻譯訓練任務；

控制所述語音翻譯模型同時執行所述語音翻譯訓練任務的輔助訓練任務；

依據所述語音翻譯訓練任務與所述輔助訓練任務，對所述語音翻譯模型的 網絡參數進行調整，得到訓練更新后的語音翻譯模型；

其中，所述語音翻譯訓練任務用于對參與語音識別的原文本進行翻譯，所 述輔助訓練任務用于弱化因語音識別偏差得到的文本與文本語義偏差對語音翻 譯模型產生的翻譯偏差。

第二方面，本公開實施例中還提供了一種語音翻譯方法，語音翻譯模型采 用上述實施例中任一所述的語音翻譯模型的訓練方法獲得，所述語音翻譯方法 包括：

獲取待翻譯語音，并對待翻譯語音進行語音識別得到經語音識別得到的待 翻譯文本序列；

將經語音識別得到的待翻譯文本序列輸入到訓練完成的語音翻譯模型的語 音翻譯部分中，獲得所述待翻譯文本序列的譯文。

第三方面，本公開實施例中還提供了一種語音翻譯模型的訓練裝置，所述 訓練裝置包括：

翻譯任務控制模塊，用于進入模型訓練階段后，控制語音翻譯模型執行語 音翻譯訓練任務；

訓練輔助控制模塊，用于控制所述語音翻譯模型同時執行所述語音翻譯訓 練任務的輔助訓練任務；

多任務聯合模塊，用于依據所述語音翻譯訓練任務與所述輔助訓練任務， 對所述語音翻譯模型的網絡參數進行調整，得到訓練更新后的語音翻譯模型；

其中，所述語音翻譯訓練任務用于對參與語音識別的原文本進行翻譯，所 述輔助訓練任務用于弱化因語音識別偏差得到的文本與文本語義偏差對語音翻 譯模型產生的翻譯偏差。

第四方面，本公開實施例中還提供了一種語音翻譯裝置，語音翻譯模型采 用本公開實施例提供的語音翻譯模型的訓練方法獲得，所述使用裝置包括：

獲取模塊，用于獲取待翻譯語音，并對待翻譯語音進行語音識別得到經語 音識別得到的待翻譯文本序列；