[發明專利]一種訓練翻譯模型的方法和設備

有效

• 申請號: 202110264866.3
• 申請日: 2021-03-12
• 公開（公告）號: CN112861549B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 陳巍華;孫見青;梁家恩
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/42
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種訓練翻譯模型的方法，其特征在于，包括：

獲取多個單語種模型及多個單領域模型；

對所有的所述單語種模型與所有的所述單領域模型分別進行裁剪，得到多個裁剪模型；

對各所述裁剪模型中的有用分支的權值賦值為第一值，且對各所述裁剪模型中的無用分支的權值賦值為第二值，以得到各所述裁剪模型的Mask矩陣；所述第一值與所述第二值不同；

匯總各所述Mask矩陣得到LDMask矩陣；

對所述LDMask矩陣進行多語種與多領域的聯合訓練，得到多語種與多領域的翻譯模型。

2.如權利要求1所述的方法，其特征在于，多個所述單語種模型是分別通過不同語種的訓練數據對同一初始翻譯模型進行訓練得到的；

多個所述單領域模型是分別通過不同領域的訓練數據對同一所述初始翻譯模型進行訓練得到的。

3.如權利要求1所述的方法，其特征在于，所述裁剪用于基于預設稀疏率去除所述無用分支。

4.如權利要求1所述的方法，其特征在于，

所述單語種模型的效果與對所述單語種模型進行裁剪后的所述裁剪模型的效果相同；

所述單領域模型的效果與對所述單領域模型進行裁剪后的所述裁剪模型的效果相同。

5.如權利要求1所述的方法，其特征在于，所述LDMask矩陣中的橫坐標對應各所述裁剪模型，所述LDMask矩陣中的縱坐標對應有用分支與無用分支兩者的權值；

所述“對所述LDMask矩陣進行多語種與多領域的聯合訓練，得到多語種與多領域的翻譯模型”，包括：

確定待訓練任務，并確定所述待訓練任務對應的所述裁剪模型；

根據確定的所述裁剪模型以及所述LDMask矩陣中權值的分布情況確定參與訓練的有用分支；

基于確定的所述有用分支進行多語種與多領域的聯合訓練，得到對應所述待訓練任務的多語種與多領域的翻譯模型。

6.一種訓練翻譯模型的設備，其特征在于，包括：

獲取模塊，用于獲取多個單語種模型及多個單領域模型；

裁剪模塊，用于對所有的所述單語種模型與所有的所述單領域模型分別進行裁剪，得到多個裁剪模型；

賦值模塊，用于對各所述裁剪模型中的有用分支的權值賦值為第一值，且對各所述裁剪模型中的無用分支的權值賦值為第二值，以得到各所述裁剪模型的Mask矩陣；所述第一值與所述第二值不同；

匯總模塊，用于匯總各所述Mask矩陣得到LDMask矩陣；

訓練模塊，用于對所述LDMask矩陣進行多語種與多領域的聯合訓練，得到多語種與多領域的翻譯模型。

7.如權利要求6所述的設備，其特征在于，多個所述單語種模型是分別通過不同語種的訓練數據對同一初始翻譯模型進行訓練得到的；

多個所述單領域模型是分別通過不同領域的訓練數據對同一所述初始翻譯模型進行訓練得到的。

8.如權利要求6所述的設備，其特征在于，所述裁剪用于基于預設稀疏率去除所述無用分支。

9.如權利要求6所述的設備，其特征在于，

所述單語種模型的效果與對所述單語種模型進行裁剪后的所述裁剪模型的效果相同；

所述單領域模型的效果與對所述單領域模型進行裁剪后的所述裁剪模型的效果相同。

10.如權利要求6所述的設備，其特征在于，所述LDMask矩陣中的橫坐標對應各所述裁剪模型，所述LDMask矩陣中的縱坐標對應有用分支與無用分支兩者的權值；

所述訓練模塊，用于：

確定待訓練任務，并確定所述待訓練任務對應的所述裁剪模型；

根據確定的所述裁剪模型以及所述LDMask矩陣中權值的分布情況確定參與訓練的有用分支；

基于確定的所述有用分支進行多語種與多領域的聯合訓練，得到對應所述待訓練任務的多語種與多領域的翻譯模型。