[發(fā)明專利]文本翻譯方法、裝置、可讀存儲介質(zhì)和計算機(jī)設(shè)備

有效

• 申請?zhí)枺?/td>: 201811026196.6
• 申請日: 2018-09-04
• 公開（公告）號: CN109271646B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 涂兆鵬;竇子軼;王星;史樹明;張潼
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/30;G06F40/289;G06F40/284;G06F40/126;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 李文淵;何平

1.一種文本翻譯方法，包括：

獲取源文本的詞序列；

通過機(jī)器翻譯模型中編碼器的多層神經(jīng)網(wǎng)絡(luò)，逐層對所述詞序列進(jìn)行語義編碼，得到源端融合向量序列；所述源端融合向量序列融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列；

通過所述機(jī)器翻譯模型的解碼器，根據(jù)所述機(jī)器翻譯模型前次輸出的目標(biāo)詞的詞向量，對所述源端融合向量序列進(jìn)行解碼，得到當(dāng)次的目標(biāo)端向量序列；

根據(jù)所述目標(biāo)端向量序列，確定所述機(jī)器翻譯模型當(dāng)次輸出的目標(biāo)詞；

根據(jù)所述機(jī)器翻譯模型輸出的各目標(biāo)詞，生成所述源文本對應(yīng)的目標(biāo)文本；

其中，融合多層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列的融合方式包括：

采用線性融合方式、遞歸融合方式、層次融合方式、或跨層注意力機(jī)制融合方式中的任一種方式，融合多層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列，得到源端融合向量序列，或者，

通過將所述多層神經(jīng)網(wǎng)絡(luò)中當(dāng)前層的所有前序?qū)由窠?jīng)網(wǎng)絡(luò)分別輸出的源端向量序列作為所述當(dāng)前層的輸入，根據(jù)所述輸入計算得到所述當(dāng)前層的輸出，直至得到最后一層神經(jīng)網(wǎng)絡(luò)的輸出，即所述源端融合向量序列。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述機(jī)器翻譯模型的解碼器，根據(jù)所述機(jī)器翻譯模型前次輸出的目標(biāo)詞的詞向量，對所述源端融合向量序列進(jìn)行解碼，得到當(dāng)次的目標(biāo)端向量序列，包括：

通過所述機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)，根據(jù)所述機(jī)器翻譯模型前次輸出的目標(biāo)詞的詞向量，逐層對所述源端融合向量序列進(jìn)行解碼，得到當(dāng)次的目標(biāo)端融合向量序列；所述目標(biāo)端融合向量序列融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端向量序列；

所述根據(jù)所述目標(biāo)端向量序列，確定所述機(jī)器翻譯模型當(dāng)前時刻輸出的目標(biāo)詞，包括：

根據(jù)當(dāng)前時刻的目標(biāo)端融合向量序列，確定所述機(jī)器翻譯模型當(dāng)前時刻輸出的目標(biāo)詞。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)，根據(jù)所述機(jī)器翻譯模型前一時刻輸出的目標(biāo)詞的詞向量，逐層對所述源端融合向量序列進(jìn)行解碼，得到目標(biāo)端融合向量序列，包括：

將所述機(jī)器翻譯模型歷史輸出的目標(biāo)詞的詞向量，輸入機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)中的第一層神經(jīng)網(wǎng)絡(luò)，獲得當(dāng)次的第一層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端向量序列；

在從所述多層神經(jīng)網(wǎng)絡(luò)中的第二層神經(jīng)網(wǎng)絡(luò)起的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中，分別獲取當(dāng)次的、各目標(biāo)詞所對應(yīng)的第二自注意力分配權(quán)重向量；

根據(jù)各目標(biāo)詞所對應(yīng)的第二自注意力分配權(quán)重向量、以及前序?qū)由窠?jīng)網(wǎng)絡(luò)所對應(yīng)的目標(biāo)端向量序列，分別計算得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)中各目標(biāo)詞所對應(yīng)的第一目標(biāo)端向量；

在從所述多層神經(jīng)網(wǎng)絡(luò)中的第二層神經(jīng)網(wǎng)絡(luò)起的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中，分別獲取當(dāng)次的、各目標(biāo)詞所對應(yīng)的注意力分配權(quán)重向量；所述注意力分類權(quán)重向量與所述源端融合向量序列對應(yīng)；

根據(jù)各目標(biāo)詞所對應(yīng)的注意力分配權(quán)重向量、以及所述源端融合向量序列，分別計算得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)中各目標(biāo)詞所對應(yīng)的第二目標(biāo)端向量；

融合所述第一目標(biāo)端向量和所述第二目標(biāo)端向量，得到當(dāng)次的目標(biāo)端向量；

拼接當(dāng)次的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中、各個目標(biāo)詞所對應(yīng)的目標(biāo)端向量，得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)輸出的目標(biāo)端向量序列，直至得到當(dāng)次的各層神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)端向量序列；

獲取融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端融合向量序列。