[發(fā)明專利]基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611209226.8
• 申請(qǐng)日: 2016-12-23
• 公開(kāi)（公告）號(hào): CN106844352B
• 公開(kāi)（公告）日: 2019-11-08
• 發(fā)明（設(shè)計(jì)）人: 張家俊;趙陽(yáng);王亦寧;宗成慶
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06F17/28
• 分類號(hào): G06F17/28;G06F17/27;G06N3/04
• 代理公司: 北京瀚仁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 郭文浩;李飛

1.一種基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，所述單詞預(yù)測(cè)方法包括：

利用統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)對(duì)平行語(yǔ)料進(jìn)行訓(xùn)練，從訓(xùn)練結(jié)果中抽取，獲得短語(yǔ)翻譯表；

基于所述短語(yǔ)翻譯表，對(duì)任意平行句對(duì)中的源語(yǔ)言句子進(jìn)行匹配搜索，確定所述源語(yǔ)言句子中包含的全部源語(yǔ)言短語(yǔ)；

基于各所述源語(yǔ)言短語(yǔ)，從所述短語(yǔ)翻譯表中查找各所述源語(yǔ)言短語(yǔ)分別對(duì)應(yīng)的目標(biāo)短語(yǔ)翻譯候選集；

根據(jù)所述目標(biāo)短語(yǔ)翻譯候選集及神經(jīng)機(jī)器翻譯系統(tǒng)翻譯所得的部分譯文，獲得需要鼓勵(lì)的目標(biāo)單詞集；

根據(jù)基于神經(jīng)機(jī)器翻譯系統(tǒng)所得的注意力概率和目標(biāo)短語(yǔ)翻譯候選集，確定所述目標(biāo)單詞集中各所述目標(biāo)單詞的鼓勵(lì)值；

根據(jù)各所述目標(biāo)單詞的鼓勵(lì)值，獲得各所述目標(biāo)單詞的預(yù)測(cè)概率。

2.根據(jù)權(quán)利要求1所述的基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，所述短語(yǔ)翻譯表包括多個(gè)參考源語(yǔ)言短語(yǔ)、各所述參考源語(yǔ)言短語(yǔ)對(duì)應(yīng)的多個(gè)參考目標(biāo)語(yǔ)言短語(yǔ)，及同一個(gè)所述參考源語(yǔ)言短語(yǔ)對(duì)應(yīng)的各所述參考目標(biāo)語(yǔ)言短語(yǔ)的翻譯概率；

所述目標(biāo)短語(yǔ)翻譯候選集包括所述源語(yǔ)言短語(yǔ)對(duì)應(yīng)的多個(gè)目標(biāo)語(yǔ)言短語(yǔ)，及各所述目標(biāo)語(yǔ)言短語(yǔ)的翻譯概率。

3.根據(jù)權(quán)利要求2所述的基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，所述獲得需要鼓勵(lì)的目標(biāo)單詞集的方法包括：

步驟S41：從所述目標(biāo)短語(yǔ)翻譯候選集中的所有目標(biāo)語(yǔ)言短語(yǔ)中，確定一個(gè)目標(biāo)短語(yǔ)前綴；

步驟S42：從所述神經(jīng)機(jī)器翻譯系統(tǒng)翻譯所得的部分譯文中，確定一個(gè)譯文后綴；

步驟S43：判斷所述目標(biāo)短語(yǔ)前綴與所述譯文后綴是否匹配，如果匹配則執(zhí)行步驟S44，否則執(zhí)行步驟S45；

步驟S44：選擇一個(gè)目標(biāo)短語(yǔ)翻譯候選集中各所述目標(biāo)語(yǔ)言短語(yǔ)中所述目標(biāo)短語(yǔ)前綴的下一個(gè)單詞為目標(biāo)單詞，從同一個(gè)目標(biāo)短語(yǔ)翻譯候選集中選擇的全部目標(biāo)單詞形成一個(gè)目標(biāo)單詞集；

步驟S45：選擇一個(gè)目標(biāo)短語(yǔ)翻譯候選集中各所述目標(biāo)語(yǔ)言短語(yǔ)中的第一個(gè)單詞為目標(biāo)單詞，從同一個(gè)目標(biāo)短語(yǔ)翻譯候選集中選擇的全部目標(biāo)單詞形成一個(gè)目標(biāo)單詞集。

4.根據(jù)權(quán)利要求2所述的基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，所述確定所述目標(biāo)單詞集中各所述目標(biāo)單詞的鼓勵(lì)值的方法包括：

步驟S51：基于各所述目標(biāo)單詞，從所述目標(biāo)短語(yǔ)翻譯候選集中抽取所述目標(biāo)單詞所在的各目標(biāo)語(yǔ)言短語(yǔ)的翻譯概率，以及各目標(biāo)語(yǔ)言短語(yǔ)對(duì)應(yīng)的當(dāng)前源語(yǔ)言短語(yǔ)；

步驟S52：基于各所述目標(biāo)單詞及所述神經(jīng)機(jī)器翻譯系統(tǒng)所得的注意力概率確定當(dāng)前源語(yǔ)言短語(yǔ)的注意力概率；

步驟S53：根據(jù)各目標(biāo)語(yǔ)言短語(yǔ)的翻譯概率及當(dāng)前源語(yǔ)言短語(yǔ)的注意力概率確定各所述目標(biāo)單詞的鼓勵(lì)值。

5.根據(jù)權(quán)利要求4所述的基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，根據(jù)以下公式確定當(dāng)前源語(yǔ)言短語(yǔ)的注意力概率：

其中，a_ij為目標(biāo)單詞y_i和所述目標(biāo)單詞y_i對(duì)應(yīng)的源語(yǔ)言句子中的源端單詞x_j之間注意力概率，i表示目標(biāo)單詞y_i的序號(hào)，j表示源端單詞x_j的序號(hào)，|f_p|為當(dāng)前源語(yǔ)言短語(yǔ)中所包含單詞的個(gè)數(shù)，為目標(biāo)單詞y_i和當(dāng)前源語(yǔ)言短語(yǔ)f_p之間注意力概率。

6.根據(jù)權(quán)利要求4所述的基于神經(jīng)機(jī)器翻譯系統(tǒng)的單詞預(yù)測(cè)方法，其特征在于，根據(jù)以下公式確定各所述目標(biāo)單詞的鼓勵(lì)值：

其中，y_i為目標(biāo)單詞，為目標(biāo)單詞y_i和當(dāng)前源語(yǔ)言短語(yǔ)f_p之間注意力概率，p_phrase(y_i)為目標(biāo)單詞y_i所在目標(biāo)語(yǔ)言短語(yǔ)的翻譯概率，Rw(y_i)為目標(biāo)單詞y_i的鼓勵(lì)值。