[發明專利]機器翻譯模型構建方法、裝置以及設備

在審

• 申請號: 202011605010.X
• 申請日: 2020-12-30
• 公開（公告）號: CN112733552A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 宋銳
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/56
• 分類號: G06F40/56
• 代理公司: 北京維澳專利代理有限公司 11252
• 代理人: 常小溪;王立民

本發明公開了一種機器翻譯模型構建方法、裝置以及設備，本發明從機器翻譯模型訓練維度，對目標翻譯模型的構建提出改進，具體是通過對多個不同結構參數的待定翻譯模型進行訓練，并記錄當前最優的各待定翻譯模型參數，同時結合各待定翻譯模型的自身訓練，利用當前最優模型對各待定翻譯模型進行同步融合訓練，經此訓練方式便可以使得不同結構參數的待定翻譯模型的知識進行交互，由此構建出的目標翻譯模型在顯著提高翻譯質量的同時，更具有較強的魯棒性。本發明在多個翻譯模型的容量、計算效率和翻譯效果之間進行均衡，使多個待定翻譯模型能夠實現在線混合學習，從而可以兼顧機器翻譯模型在實際上線時對于翻譯效果以及部署操作的雙重需求。

技術領域

本發明涉及機器翻譯領域，尤其涉及一種機器翻譯模型構建方法、裝 置以及設備。

背景技術

隨著全球化趨勢進一步發展，語言溝通成為不同語言種族群體相互交 流面臨的一個重要課題，實現任意時間、任意地點、任意語言的無障礙自 由溝通是人類追求的一個夢想。傳統語言服務行業采用人工陪同口譯、交 替口譯以及同聲傳譯等解決語言溝通障礙問題，但受限于人力不足以及綜 合成本，無法滿足普通人對不同語言溝通交流的需求。

機器翻譯是利用計算機將一種自然語言(源語言)轉換為另一種自然 語言(目標語言)的過程，其可以大幅節約翻譯時間，提高翻譯效率，滿 足諸如資訊等時效性要求較高或者海量文本的翻譯需求，極大地降低了人 力成本。而更重要的是，它讓跨語種交流變成每個人都可以擁有的能力， 語言不通不再是人們獲取信息和服務的障礙。

在當前技術條件，機器翻譯效果未達完全理想水平。現有的翻譯模型 訓練方案，主要是基于收集到的源語言和目標語言平行句對在特定模型結 構上訓練至收斂得到一個翻譯模型；且當模型上線時，由于受限于實際硬 件條件，通常僅能部署單個模型，甚至有些翻譯模型還需要進行裁剪才能 夠進行部署，現有技術尚無法在獲得較佳翻譯效果的同時，克服部署條件 限制過多等實際操作問題。

發明內容

鑒于上述，本發明旨在提供一種機器翻譯模型構建方法、裝置以及設 備，以及相應地提供了一種計算機可讀存儲介質和計算機程序產品，主要 解決前述機器翻譯模型在部署時遇到的翻譯效果不佳以及難以實操的問題。

本發明采用的技術方案如下：

第一方面，本發明提供了一種機器翻譯模型構建方法，其中包括：

預先構建多個待定翻譯模型，所述待定翻譯模型之間具有不同的結構 和/或不同的參數；

利用預設的語料集分別對各所述待定翻譯模型進行獨立訓練；

每訓練預設的第一步數后，將各所述待定翻譯模型的當前最優模型予 以保存；

每訓練預設的第二步數后，對各所述待定翻譯模型進行獨立訓練的同 時，結合所述當前最優模型以及預設的多模型混合訓練策略，對各所述待 定翻譯模型進行同步融合訓練，其中，所述第一步數小于或等于所述第二 步數；

在進行若干輪同步融合訓練并直至觸發預設的訓練結束條件時，得到 相應于各所述待定翻譯模型的最終模型；

將至少一個所述最終模型作為目標翻譯模型。

在其中至少一種可能的實現方式中，所述多模型混合訓練策略包括：

每訓練預設的第二步數后，將每種所述待定翻譯模型經訓練更新后的 當前狀態作為對應該所述待定翻譯模型的第一模型；

從所述當前最優模型中選擇若干個第二模型，所述第二模型包括：除 任一所述第一模型對應的所述當前最優模型以外的其他所述當前最優模型；

利用所述第二模型的輸出指導相應的所述第一模型的訓練。

在其中至少一種可能的實現方式中，所述從所述當前最優模型中選擇 若干個第二模型包括：