[發明專利]基于語句級別概率分布的語音機器翻譯模型的構建方法

在審

• 申請號: 202111296339.7
• 申請日: 2021-11-03
• 公開（公告）號: CN114021587A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 劉宇宸;周玉
• 申請（專利權）人: 北京中科凡語科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/332;G06F16/33
• 代理公司: 北京庚致知識產權代理事務所(特殊普通合伙) 11807
• 代理人: 韓德凱

本公開提供了一種基于語句級別概率分布的語音機器翻譯模型的構建方法，包括：獲取語音機器翻譯模型的語句級別的預測概率分布；將源語言語音?目標語言文本組成的數據集中的源語言語音轉錄文本作為源語言文本構建源語言文本?目標語言文本的數據集；獲取文本機器翻譯模型的語句級別的預測概率分布；將語音機器翻譯模型的語句級別的預測概率分布與文本機器翻譯模型的語句級別的預測概率分布之間的交叉熵作為語音機器翻譯模型的最終目標函數；以及，基于最終目標函數對語音翻譯模型進行訓練，獲得構建后的語音機器翻譯模型。本公開還提供了一種語音機器翻譯裝置、電子設備以及可讀存儲介質。

技術領域

本公開涉及機器翻譯技術領域，本公開尤其涉及一種基于語句級別概率分布的語音機器翻譯模型的構建方法及語音機器翻譯裝置、電子設備及存儲介質。

背景技術

語音翻譯是將一種語言的語音翻譯成另一種語言的語音或者文本，是打破語言障礙的關鍵技術。

現有技術中的語音翻譯系統一般由語音識別模塊、機器翻譯模塊等構成。首先，語音識別模塊將源語言的語音轉換為源語言的文本，然后通過機器翻譯模塊再將源語言的文本翻譯為目標語言的文本，這種語音翻譯系統已經被廣泛使用，但是這種語音翻譯系統存在著錯誤累積、翻譯時延、計算和存儲資源占用較大等缺點，且這種語音翻譯系統將源語言的語音識別為源語言的文本再進行翻譯的做法，丟失了源語言的語音中的語氣、聲調等信息，難以避免的會導致語音翻譯的不夠準確。

本公開的系列專利申請中公開了一種基于文本機器翻譯模型的詞級別的語音翻譯模型的輔助訓練方法，雖然其在一定程度上提高了語音翻譯模型的翻譯準確程度，但是這種方法在詞序列的生成過程中序列前部產生的預測錯誤會向后傳遞。

發明內容

為了解決上述技術問題中的至少一個，本公開提供了一種基于語句級別概率分布的語音機器翻譯模型的構建方法及語音機器翻譯裝置、電子設備及存儲介質。

根據本公開的一個方面，提供一種基于語句級別概率分布的語音機器翻譯模型的構建方法，包括：

構建語音機器翻譯模型的預目標函數，所述預目標函數表征所述語音機器翻譯模型的預測概率分布與真實數據分布之間的交叉熵，所述語音機器翻譯模型的預測概率分布為語句級別的預測概率分布，基于源語言語音-目標語言文本的數據集以及所述預目標函數對語音機器翻譯模型進行訓練，獲取所述語音機器翻譯模型的語句級別的預測概率分布；

將所述源語言語音-目標語言文本組成的數據集中的源語言語音轉錄文本作為源語言文本構建源語言文本-目標語言文本的數據集；

構建文本機器翻譯模型的目標函數，所述文本機器翻譯模型的目標函數表征所述文本機器翻譯模型的預測概率分布與真實數據分布之間的交叉熵，所述文本機器翻譯模型的所述預測概率分布為語句級別的預測概率分布，基于所述源語言文本-目標語言文本的數據集以及所述文本機器翻譯模型的目標函數對所述文本機器翻譯模型進行訓練，獲取所述文本機器翻譯模型的語句級別的預測概率分布；

將所述語音機器翻譯模型的所述語句級別的預測概率分布與所述文本機器翻譯模型的所述語句級別的預測概率分布之間的交叉熵作為所述語音機器翻譯模型的最終目標函數；以及，

基于所述最終目標函數對所述語音翻譯模型進行訓練，最小化所述語音機器翻譯模型的語句級別的預測概率分布與所述文本機器翻譯模型的語句級別的預測概率分布之間的交叉熵，獲得構建后的語音機器翻譯模型。

根據本公開的至少一個實施方式的基于語句級別概率分布的語音機器翻譯模型的構建方法，所述文本機器翻譯模型的語句級別的預測輸出序列為所述文本機器翻譯模型的最優解碼結果，所述文本機器翻譯模型的所述預測概率分布為所述語句級別的預測輸出序列的概率分布。

根據本公開的至少一個實施方式的基于語句級別概率分布的語音機器翻譯模型的構建方法，所述文本機器翻譯模型的最優解碼結果為源語言文本基于柱搜索算法解碼生成。