[發明專利]機器翻譯模型構建方法、裝置以及設備

在審

• 申請號: 202011605010.X
• 申請日: 2020-12-30
• 公開（公告）號: CN112733552A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 宋銳
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/56
• 分類號: G06F40/56
• 代理公司: 北京維澳專利代理有限公司 11252
• 代理人: 常小溪;王立民

1.一種機器翻譯模型構建方法，其特征在于，包括：

預先構建多個待定翻譯模型，所述待定翻譯模型之間具有不同的結構和/或不同的參數；

利用預設的語料集分別對各所述待定翻譯模型進行獨立訓練；

每訓練預設的第一步數后，將各所述待定翻譯模型的當前最優模型予以保存；

每訓練預設的第二步數后，對各所述待定翻譯模型進行獨立訓練的同時，結合所述當前最優模型以及預設的多模型混合訓練策略，對各所述待定翻譯模型進行同步融合訓練，其中，所述第一步數小于或等于所述第二步數；

在進行若干輪同步融合訓練并直至觸發預設的訓練結束條件時，得到相應于各所述待定翻譯模型的最終模型；

將至少一個所述最終模型作為目標翻譯模型。

2.根據權利要求1所述的機器翻譯模型構建方法，其特征在于，所述多模型混合訓練策略包括：

每訓練預設的第二步數后，將每種所述待定翻譯模型經訓練更新后的當前狀態作為對應該所述待定翻譯模型的第一模型；

從所述當前最優模型中選擇若干個第二模型，所述第二模型包括：除任一所述第一模型對應的所述當前最優模型以外的其他所述當前最優模型；

利用所述第二模型的輸出指導相應的所述第一模型的訓練。

3.根據權利要求2所述的機器翻譯模型構建方法，其特征在于，所述從所述當前最優模型中選擇若干個第二模型包括：

在保存所述當前最優模型時，基于所述語料集以及預設的指標，評估各所述待定翻譯模型的當前訓練效果的優劣程度；

基于所述優劣程度以及預設的閾值，從所述當前最優模型中選擇所述第二模型。

4.根據權利要求2所述的機器翻譯模型構建方法，其特征在于，所述從所述當前最優模型中選擇若干個第二模型包括：

基于相對所述第一模型的結構差異和/或參數差異，從所述當前最優模型中選擇所述第二模型。

5.根據權利要求2～4任一項所述的機器翻譯模型構建方法，其特征在于，所述利用所述第二模型的輸出指導相應的所述第一模型的訓練包括：

使所述第一模型的輸出概率分布接近所述第二模型的輸出概率分布。

6.根據權利要求5所述的機器翻譯模型構建方法，其特征在于，所述利用所述第二模型的輸出指導相應的所述第一模型的訓練還包括：

在各所述第二步數內，利用經所述第一步數保存的當前最優第二模型的輸出指導相應的所述第一模型的訓練。

7.一種機器翻譯模型構建裝置，其特征在于，包括：

待定模型構建模塊，用于預先構建多個待定翻譯模型，所述待定翻譯模型之間具有不同的結構和/或不同的參數；

獨立訓練模塊，用于利用預設的語料集分別對各所述待定翻譯模型進行獨立訓練；

當前最優模型保存模塊，用于每訓練預設的第一步數后，將各所述待定翻譯模型的當前最優模型予以保存；

同步融合訓練模塊，用于每訓練預設的第二步數后，對各所述待定翻譯模型進行獨立訓練的同時，結合所述當前最優模型以及預設的多模型混合訓練策略，對各所述待定翻譯模型進行同步融合訓練，其中，所述第一步數小于或等于所述第二步數；

最終模型獲取模塊，用于在進行若干輪同步融合訓練并直至觸發預設的訓練結束條件時，得到相應于各所述待定翻譯模型的最終模型；

目標翻譯模型確定模塊，用于將至少一個所述最終模型作為目標翻譯模型。

8.一種機器翻譯模型構建設備，其特征在于，包括：

一個或多個處理器、存儲器以及一個或多個計算機程序，其中所述一個或多個計算機程序被存儲在所述存儲器中，所述一個或多個計算機程序包括指令，當所述指令被所述設備執行時，使得所述設備執行權利要求1～6任一項所述的機器翻譯模型構建方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，當所述計算機程序在計算機上運行時，使得計算機執行權利要求1～6任一項所述的機器翻譯模型構建方法。

10.一種計算機程序產品，其特征在于，當所述計算機程序產品被計算機執行時，用于執行權利要求1～6任一項所述的機器翻譯模型構建方法。