[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯方法、模型及模型形成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811534845.3
• 申請(qǐng)日: 2018-12-14
• 公開(kāi)（公告）號(hào): CN111401081A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 張家俊;周龍;周玉;宗成慶;楊里
• 申請(qǐng)（專利權(quán)）人: 波音公司;中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06N3/02
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 梁麗超;王紅艷

1.一種形成神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型的方法，其特征在于，包括：

形成編碼器，所述編碼器包括第一多頭注意力模型；

形成解碼器，所述解碼器包括第二多頭注意力模型和未來(lái)信息模型，所述未來(lái)信息模型表示當(dāng)前預(yù)測(cè)單詞和已經(jīng)生成單詞的第一注意力隱層表示和當(dāng)前預(yù)測(cè)單詞和未來(lái)可能的單詞的第二注意力隱層表示的融合；

通過(guò)所述編碼器和所述解碼器形成第一機(jī)器翻譯模型；以及

對(duì)所述第一機(jī)器翻譯模型進(jìn)行對(duì)源語(yǔ)言序列從左至右和從右至左的解碼訓(xùn)練，以形成所述神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型，

其中，所述第一多頭注意力模型和所述未來(lái)信息模型為所述第二多頭注意力模型提供輸入。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，形成所述編碼器包括形成所述第一多頭注意力模型，其中，形成所述第一多頭注意力模型包括：

利用點(diǎn)積注意力機(jī)制形成點(diǎn)積注意力模型；

對(duì)所述點(diǎn)積注意力模型設(shè)置線性變換模型，以通過(guò)線性變換將所述點(diǎn)積注意力模型的輸入映射為多組預(yù)定維度的向量；

對(duì)所述點(diǎn)積注意力模型設(shè)置連接模型，以將所述向量經(jīng)由所述點(diǎn)積注意力模型處理后所得的向量進(jìn)行連接；以及

通過(guò)所述點(diǎn)積注意力模型、所述線性變換模型和所述連接模型形成所述第一多頭注意力模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，形成所述解碼器包括形成所述未來(lái)信息模型，其中，形成所述未來(lái)信息模型包括：

利用點(diǎn)積注意力機(jī)制計(jì)算當(dāng)前預(yù)測(cè)單詞和已經(jīng)生成單詞的第一注意力隱層表示：其中，表示第一注意力隱層表示，表示當(dāng)前時(shí)刻的隱層狀態(tài)查詢值，表示歷史的隱層狀態(tài)鍵值，表示歷史的隱層狀態(tài)實(shí)值，Attention()為點(diǎn)積注意力機(jī)制的數(shù)學(xué)函數(shù)表示；

利用點(diǎn)積注意力機(jī)制計(jì)算所述當(dāng)前預(yù)測(cè)單詞和未來(lái)可能的單詞的第二注意力隱層表示：其中，表示第二注意力隱層表示，表示未來(lái)的隱層狀態(tài)鍵值，表示未來(lái)的隱層狀態(tài)實(shí)值；

將所述第一注意力隱層表示和所述第二注意力隱層表示融合以形成融合注意力隱層表示；

利用所述融合注意力隱層表示形成點(diǎn)積注意力模型；

對(duì)所述點(diǎn)積注意力模型設(shè)置線性變換模型，以通過(guò)線性變換將所述點(diǎn)積注意力模型的輸入映射為多組預(yù)定維度的向量；

對(duì)所述點(diǎn)積注意力模型設(shè)置連接模型，以將所述向量經(jīng)由所述點(diǎn)積注意力模型處理后所得的向量進(jìn)行連接；以及

通過(guò)所述點(diǎn)積注意力模型、所述線性變換模型和所述連接模型形成所述未來(lái)信息模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，將所述第一注意力隱層表示和所述第二注意力隱層表示融合以形成融合注意力隱層表示包括：

利用門限機(jī)制，將所述第一注意力隱層表示和所述第二注意力隱層表示融合為融合注意力隱層表示：

其中，表示所述融合注意力隱層表示，r_t表示重置門，z_t表示更新門，W^g為模型參數(shù)，σ是sigmoid函數(shù)，[；]表示向量或者矩陣級(jí)聯(lián)操作，·為按位進(jìn)行乘積的操作。

5.一種神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型，其特征在于，包括：

編碼器，所述編碼器包括第一多頭注意力模型；以及

解碼器，所述解碼器包括第二多頭注意力模型和未來(lái)信息模型，所述未來(lái)信息模型表示當(dāng)前預(yù)測(cè)單詞和已經(jīng)生成單詞的第一注意力隱層表示和當(dāng)前預(yù)測(cè)單詞和未來(lái)可能的單詞的第二注意力隱層表示的融合，

其中，所述第一多頭注意力模型和所述未來(lái)信息模型為所述第二多頭注意力模型提供輸入，所述神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型經(jīng)過(guò)了對(duì)源語(yǔ)言序列從左至右和從右至左的解碼訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型，其特征在于，所述第一多頭注意力模型包括：

點(diǎn)積注意力模型，被配置為利用點(diǎn)積注意力機(jī)制形成；

線性變換模型，連接至所述點(diǎn)積注意力模型且被配置為通過(guò)線性變換將所述點(diǎn)積注意力模型的輸入映射為多組預(yù)定維度的向量；以及

連接模型，連接至所述點(diǎn)積注意力模型且被配置為將所述向量經(jīng)由所述點(diǎn)積注意力模型處理后所得的向量進(jìn)行連接。