[發明專利]機器翻譯模型的自動訓練方法、平臺、電子設備、及存儲介質

有效

• 申請號: 202010170720.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111310484B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 趙程綺;李磊;周浩;王明軒;潘驍
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N20/00
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種機器翻譯模型的自動訓練方法，其特征在于，包括；

將至少一個翻譯環節進行可視化展示；

獲取用戶輸入的針對待訓練目標模型的訓練指令；

根據所述訓練指令確定至少一個待執行翻譯環節和配置信息，獲取所述至少一個待執行翻譯環節的腳本文件，并將所獲取的腳本文件根據所述配置信息進行參數配置后關聯在一起；

運行關聯后的腳本文件，以訓練所述目標模型；

所述獲取所述至少一個待執行翻譯環節的腳本文件，并將所獲取的腳本文件根據所述配置信息進行參數配置后關聯在一起，包括：

執行預定腳本以執行如下操作：

根據預定命名規則和預定路徑規則，取出各待執行翻譯環節的腳本文件；

獲取所述目標模型的訓練流程對應的關聯規則，將所取出的腳本文件根據所述配置信息進行參數配置后，將配置后的所述腳本文件根據所述關聯規則關聯在一起。

2.根據權利要求1所述的自動訓練方法，其特征在于，所述方法還包括：在運行關聯后的腳本文件的過程中，將產生的中間文件和結果文件根據所述預定命名規則進行命名，并根據所述預定路徑規則進行存儲。

3.根據權利要求2所述的自動訓練方法，其特征在于，各翻譯環節的腳本文件、中間文件和結果文件基于分布式文件系統存儲。

4.根據權利要求1所述的自動訓練方法，其特征在于，所述將至少一個翻譯環節進行可視化展示包括：

將各翻譯環節的名稱和各翻譯環節之間的順序信息進行展示。

5.根據權利要求4所述的自動訓練方法，其特征在于，所述將至少一個翻譯環節進行可視化展示還包括：

展示各翻譯環節的核心關聯文件的映射接口和/或核心關聯文件夾的資源映射接口；

所述方法還包括：

從所述核心關聯文件的映射接口接收用戶的可視化操作指令后，打開所述可視化操作指令對應的核心關聯文件；

從所述核心關聯文件夾的資源映射接口接收用戶的可視化操作指令后，打開所述可視化操作指令對應的核心關聯文件夾，以呈現所述核心關聯文件夾內部的文件和/或子文件夾。

6.根據權利要求4所述的自動訓練方法，其特征在于，所述將至少一個翻譯環節進行可視化展示還包括：

展示各翻譯環節的配置信息接口；

所述方法還包括：

接收用戶在所述配置信息接口的可視化操作，根據所述可視化操作修改對應的配置信息；

將所獲取的腳本文件根據所述配置信息進行參數配置包括：

將所獲取的腳本文件根據所述修改后的配置信息進行參數配置。

7.根據權利要求4所述的自動訓練方法，其特征在于，所述將至少一個翻譯環節進行可視化展示還包括：

展示預定翻譯環節的元數據，所述元數據包括數據文件規模或模型文件的評測結果。

8.根據權利要求1所述的自動訓練方法，其特征在于，所述運行關聯后的腳本文件，以訓練所述目標模型包括：

基于分布式文件系統和圖形處理器GPU集群技術運行關聯后的腳本文件，以訓練所述目標模型。

9.根據權利要求1-8任一項所述的自動訓練方法，其特征在于，所述各翻譯環節包括以下至少一項：

平行句對提取環節、對齊度分析環節、數據預處理環節、模型訓練環節、模型驗證環節。

10.根據權利要求1-8任一項所述的自動訓練方法，其特征在于，所述各翻譯環節包括以下至少一項：

預定義數據清洗環節、數據預處理環節、模型訓練環節、模型推斷評估環節和模型上線環節。