[發(fā)明專(zhuān)利]文本翻譯方法、裝置、可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010164964.5
• 申請(qǐng)日: 2018-09-04
• 公開(kāi)（公告）號(hào): CN111382584B
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 涂兆鵬;竇子軼;王星;史樹(shù)明;張潼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F40/58
• 分類(lèi)號(hào): G06F40/58;G06F40/30;G06F40/289;G06F40/284;G06F40/126;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 華進(jìn)聯(lián)合專(zhuān)利商標(biāo)代理有限公司 44224
• 代理人: 李文淵;楊歡

1.一種文本翻譯方法，包括：

獲取源文本的詞序列；

通過(guò)機(jī)器翻譯模型中編碼器的多層神經(jīng)網(wǎng)絡(luò)，逐層對(duì)所述詞序列進(jìn)行語(yǔ)義編碼，得到源端融合向量序列；所述源端融合向量序列融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列；其中，所述編碼器的各層神經(jīng)網(wǎng)絡(luò)在逐層進(jìn)行語(yǔ)義編碼處理時(shí)，采用自注意力機(jī)制處理方式處理各層神經(jīng)網(wǎng)絡(luò)的輸入，從而得到各層神經(jīng)網(wǎng)絡(luò)的輸出，其中，當(dāng)前層神經(jīng)網(wǎng)絡(luò)的輸入由前序?qū)由窠?jīng)網(wǎng)絡(luò)的輸出所確定；

通過(guò)所述機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)，根據(jù)所述機(jī)器翻譯模型前次輸出的目標(biāo)詞的詞向量，逐層對(duì)所述源端融合向量序列進(jìn)行解碼，得到當(dāng)次的目標(biāo)端融合向量序列；所述目標(biāo)端融合向量序列融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端向量序列；

根據(jù)當(dāng)次的目標(biāo)端融合向量序列，確定所述機(jī)器翻譯模型當(dāng)次輸出的目標(biāo)詞；

根據(jù)所述機(jī)器翻譯模型輸出的各目標(biāo)詞，生成所述源文本對(duì)應(yīng)的目標(biāo)文本；

其中，所述機(jī)器翻譯模型在訓(xùn)練過(guò)程中的訓(xùn)練目標(biāo)由最大似然函數(shù)和層差異函數(shù)確定，所述最大似然函數(shù)基于訓(xùn)練過(guò)程中的機(jī)器翻譯模型對(duì)樣本詞序列進(jìn)行處理所得到的預(yù)測(cè)輸入概率序列和參考輸出概率序列構(gòu)建得到，所述層差異函數(shù)基于不同層神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的向量序列之間的差異性構(gòu)建得到。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)機(jī)器翻譯模型中編碼器的多層神經(jīng)網(wǎng)絡(luò)，逐層對(duì)所述詞序列進(jìn)行語(yǔ)義編碼，得到源端融合向量序列，包括：

向機(jī)器翻譯模型中編碼器的多層神經(jīng)網(wǎng)絡(luò)中的第一層神經(jīng)網(wǎng)絡(luò)，輸入所述詞序列，獲得所述第一層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列；

在從所述多層神經(jīng)網(wǎng)絡(luò)中的第二層神經(jīng)網(wǎng)絡(luò)起的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中，分別獲取當(dāng)前層神經(jīng)網(wǎng)絡(luò)中所述詞序列中各詞所對(duì)應(yīng)的第一自注意力分配權(quán)重向量；

根據(jù)所述詞序列中各詞所對(duì)應(yīng)的第一自注意力分配權(quán)重向量、以及前序?qū)由窠?jīng)網(wǎng)絡(luò)所輸出的源端向量序列，分別計(jì)算得到當(dāng)前層神經(jīng)網(wǎng)絡(luò)中、所述詞序列中各詞所對(duì)應(yīng)的源端向量；

拼接當(dāng)前層神經(jīng)網(wǎng)絡(luò)中、所述詞序列中各詞所對(duì)應(yīng)的源端向量，得到當(dāng)前層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列，直至得到各層神經(jīng)網(wǎng)絡(luò)分別輸出的源端向量序列；

獲取融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的源端向量序列的源端融合向量序列。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)所述機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)，根據(jù)所述機(jī)器翻譯模型前次輸出的目標(biāo)詞的詞向量，逐層對(duì)所述源端融合向量序列進(jìn)行解碼，得到當(dāng)次的目標(biāo)端融合向量序列，包括：

將所述機(jī)器翻譯模型歷史輸出的目標(biāo)詞的詞向量，輸入機(jī)器翻譯模型中解碼器的多層神經(jīng)網(wǎng)絡(luò)中的第一層神經(jīng)網(wǎng)絡(luò)，獲得當(dāng)次的第一層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端向量序列；

在從所述多層神經(jīng)網(wǎng)絡(luò)中的第二層神經(jīng)網(wǎng)絡(luò)起的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中，分別獲取當(dāng)次的、各目標(biāo)詞所對(duì)應(yīng)的第二自注意力分配權(quán)重向量；

根據(jù)各目標(biāo)詞所對(duì)應(yīng)的第二自注意力分配權(quán)重向量、以及前序?qū)由窠?jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的目標(biāo)端向量序列，分別計(jì)算得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)中各目標(biāo)詞所對(duì)應(yīng)的第一目標(biāo)端向量；

在從所述多層神經(jīng)網(wǎng)絡(luò)中的第二層神經(jīng)網(wǎng)絡(luò)起的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中，分別獲取當(dāng)次的、各目標(biāo)詞所對(duì)應(yīng)的注意力分配權(quán)重向量；所述注意力分類(lèi)權(quán)重向量與所述源端融合向量序列對(duì)應(yīng)；

根據(jù)各目標(biāo)詞所對(duì)應(yīng)的注意力分配權(quán)重向量、以及所述源端融合向量序列，分別計(jì)算得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)中各目標(biāo)詞所對(duì)應(yīng)的第二目標(biāo)端向量；

融合所述第一目標(biāo)端向量和所述第二目標(biāo)端向量，得到當(dāng)次的目標(biāo)端向量；

拼接當(dāng)次的當(dāng)前層神經(jīng)網(wǎng)絡(luò)中、各個(gè)目標(biāo)詞所對(duì)應(yīng)的目標(biāo)端向量，得到當(dāng)次的、當(dāng)前層神經(jīng)網(wǎng)絡(luò)輸出的目標(biāo)端向量序列，直至得到當(dāng)次的各層神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)端向量序列；

獲取融合了多層神經(jīng)網(wǎng)絡(luò)所輸出的目標(biāo)端向量序列的目標(biāo)端融合向量序列。