[發(fā)明專利]機(jī)器翻譯模型訓(xùn)練方法和裝置、及文本翻譯方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210174302.5
• 申請(qǐng)日: 2022-02-24
• 公開（公告）號(hào): CN114548123A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 張磊
• 申請(qǐng)（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06K9/62
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 景懷宇

1.一種機(jī)器翻譯模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取訓(xùn)練樣本集；所述訓(xùn)練樣本集包含源語言語料和所述源語言語料對(duì)應(yīng)的目標(biāo)語言語料；

采用第一預(yù)設(shè)算法對(duì)所述訓(xùn)練樣本集進(jìn)行第一分詞處理，得到所述源語言語料對(duì)應(yīng)的第一子詞序列、以及所述目標(biāo)語言語料對(duì)應(yīng)的樣本子詞序列；

采用第二預(yù)設(shè)算法對(duì)所述源語言語料進(jìn)行第二分詞處理，得到所述源語言語料對(duì)應(yīng)的多個(gè)第二子詞序列；

將所述源語言語料中目標(biāo)單詞在所述第一子詞序列中對(duì)應(yīng)的第一子序列，與所述目標(biāo)單詞在多個(gè)所述第二子詞序列中對(duì)應(yīng)的第二子序列進(jìn)行差異度比較，將差異度最大的第二子序列確定為所述目標(biāo)單詞對(duì)應(yīng)的目標(biāo)子序列；

在所述源語言語料對(duì)應(yīng)的第一子詞序列中，將所述目標(biāo)單詞對(duì)應(yīng)的第一子序列替換為所述目標(biāo)子序列，得到所述源語言語料對(duì)應(yīng)的樣本子詞序列；

基于所述源語言語料對(duì)應(yīng)的樣本子詞序列和所述目標(biāo)語言語料對(duì)應(yīng)的樣本子詞序列對(duì)機(jī)器翻譯模型進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于預(yù)設(shè)采樣規(guī)則，從所述源語言語料包含的單詞中確定目標(biāo)單詞。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于預(yù)設(shè)采樣規(guī)則，從所述源語言語料包含的單詞中確定目標(biāo)單詞，包括：

為所述源語言語料包含的每個(gè)單詞分配隨機(jī)數(shù)，各所述隨機(jī)數(shù)符合均勻分布；

將小于預(yù)設(shè)閾值的隨機(jī)數(shù)對(duì)應(yīng)的單詞，確定為目標(biāo)單詞。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述源語言語料中目標(biāo)單詞在所述第一子詞序列中對(duì)應(yīng)的第一子序列，與所述目標(biāo)單詞在多個(gè)所述第二子詞序列中對(duì)應(yīng)的第二子序列進(jìn)行差異度比較，將差異度最大的第二子序列確定為所述目標(biāo)單詞對(duì)應(yīng)的目標(biāo)子序列，包括：

確定所述源語言語料中目標(biāo)單詞在所述第一子詞序列中對(duì)應(yīng)的第一子序列，獲取所述第一子序列中每個(gè)子詞對(duì)應(yīng)的第一子詞向量，并根據(jù)所述第一子詞向量確定所述目標(biāo)單詞對(duì)應(yīng)的第一單詞向量；

確定所述目標(biāo)單詞在多個(gè)所述第二子詞序列中對(duì)應(yīng)的第二子序列，針對(duì)每個(gè)所述第二子序列，獲取所述第二子序列中每個(gè)子詞對(duì)應(yīng)的第二子詞向量，并根據(jù)所述第二子詞向量確定所述目標(biāo)單詞對(duì)應(yīng)的第二單詞向量；

確定每個(gè)所述第二單詞向量與所述第一單詞向量的差異度，并將差異度最大的第二單詞向量對(duì)應(yīng)的第二子序列確定為所述目標(biāo)單詞對(duì)應(yīng)的目標(biāo)子序列。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定每個(gè)所述第二單詞向量與所述第一單詞向量的差異度，包括：

根據(jù)所述機(jī)器翻譯模型的損失函數(shù)，計(jì)算所述第一子序列中每個(gè)子詞對(duì)應(yīng)的梯度向量，并根據(jù)所述每個(gè)子詞對(duì)應(yīng)的梯度向量確定所述目標(biāo)單詞對(duì)應(yīng)的梯度向量；

根據(jù)所述第一單詞向量、每個(gè)所述第二單詞向量、所述目標(biāo)單詞對(duì)應(yīng)的梯度向量，計(jì)算每個(gè)所述第二單詞向量與所述第一單詞向量的差異度。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取訓(xùn)練樣本集，包括：

獲取初始訓(xùn)練樣本集，并對(duì)所述初始訓(xùn)練樣本集添加擾動(dòng)信息，得到訓(xùn)練樣本集。

7.一種文本翻譯方法，其特征在于，所述方法包括：

獲取以源語言表達(dá)的待翻譯文本；

將所述待翻譯文本輸入預(yù)先訓(xùn)練的機(jī)器翻譯模型進(jìn)行翻譯，得到以目標(biāo)語言表達(dá)的翻譯結(jié)果文本；其中，所述機(jī)器翻譯模型通過權(quán)利要求1至6任一項(xiàng)所述的機(jī)器翻譯模型訓(xùn)練方法訓(xùn)練得到。