[發(fā)明專利]神經(jīng)機(jī)器翻譯中注意力參數(shù)的修正方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710252048.5
• 申請(qǐng)日: 2017-04-17
• 公開(kāi)（公告）號(hào): CN108733657B
• 公開(kāi)（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 程善伯;王宇光;姜里羊;陳偉;王硯峰
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06F40/45;G06N3/08
• 代理公司: 北京華沛德權(quán)律師事務(wù)所 11302
• 代理人: 馬苗苗

1.一種神經(jīng)機(jī)器翻譯中注意力參數(shù)的修正方法，其特征在于，所述方法包括：

獲得第t時(shí)刻待翻譯的源端詞的編碼向量，t為大于等于1的整數(shù)；

獲得第t-1時(shí)刻翻譯獲得的目標(biāo)端詞的隱狀態(tài)向量、所述第t-1時(shí)刻所述源端詞的覆蓋率，以及所述源端詞與所述目標(biāo)端詞之間的詞對(duì)齊概率；

基于所述詞對(duì)齊概率，對(duì)所述覆蓋率進(jìn)行修正獲得修正后的所述覆蓋率；

基于修正后的所述覆蓋率、所述編碼向量及所述隱狀態(tài)向量，計(jì)算獲得神經(jīng)機(jī)器翻譯過(guò)程中的注意力參數(shù)；

基于所述注意力參數(shù)進(jìn)行機(jī)器翻譯；

所述基于所述詞對(duì)齊概率，對(duì)所述覆蓋率進(jìn)行修正獲得修正后的所述覆蓋率，包括通過(guò)如下公式獲得修正后的所述覆蓋率：

C′_i-1，j＝C_i-1，j*A_i-1，j或者

C'_i-1，j＝C_i-1，j*exp(A_i-1，j)

其中，C_i-1,j表示所述覆蓋率，C'_i-1,j表示修正后的所述覆蓋率，A_i-1,j表示所述詞對(duì)齊概率，i表示目標(biāo)端翻譯獲得的第i個(gè)詞，j表示源端待翻譯的第j個(gè)詞；或者，

所述基于所述詞對(duì)齊概率，對(duì)所述覆蓋率進(jìn)行修正獲得修正后的所述覆蓋率，包括通過(guò)如下公式獲得修正后的所述覆蓋率：

C′_i-1，j＝softmax(C_i-1，j*A_i-1，j)或者

C′_i-1，j＝softmax(C_i-1,j*exp(A_i-1，j))

其中，C_i-1,j表示所述覆蓋率，C'_i-1,j表示修正后的所述覆蓋率，A_i-1,j表示所述詞對(duì)齊概率，softmax表示歸一化指數(shù)函數(shù)，i表示目標(biāo)端翻譯獲得的第i個(gè)詞，j表示源端待翻譯的第j個(gè)詞；

所述基于修正后的所述覆蓋率、所述編碼向量及所述隱狀態(tài)向量，計(jì)算獲得神經(jīng)機(jī)器翻譯過(guò)程中的注意力參數(shù)，包括：

基于修正后的所述覆蓋率、所述編碼向量及所述隱狀態(tài)向量，計(jì)算獲得所述源端詞對(duì)應(yīng)所述目標(biāo)端詞的權(quán)重；對(duì)所述權(quán)重進(jìn)行歸一化，獲得所述神經(jīng)機(jī)器翻譯過(guò)程中的所述注意力參數(shù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述基于所述詞對(duì)齊概率，對(duì)所述覆蓋率進(jìn)行修正獲得修正后的所述覆蓋率，包括：

基于所述詞對(duì)齊概率的大小來(lái)修正所述覆蓋率的大小，所述詞對(duì)齊概率越大修正后的所述覆蓋率越大，所述詞對(duì)齊概率越小修正后的所述覆蓋率越小。

3.如權(quán)利要求1所述的方法，其特征在于，所述基于修正后的所述覆蓋率、所述編碼向量及所述隱狀態(tài)向量，計(jì)算獲得所述源端詞對(duì)應(yīng)所述目標(biāo)端詞的權(quán)重，包括：

其中，e_i,j表示所述源端詞對(duì)應(yīng)所述目標(biāo)端詞的權(quán)重，t_i-1表示所述隱狀態(tài)向量，h_j表示所述編碼向量，W_a、U_a、U_c表示神經(jīng)機(jī)器翻譯中的四個(gè)權(quán)值矩陣，i表示目標(biāo)端翻譯獲得的第i個(gè)詞，j表示源端待翻譯的第j個(gè)詞。