[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)文本翻譯模型的運(yùn)行方法、裝置、設(shè)備、及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010187586.2
• 申請(qǐng)日: 2020-03-17
• 公開（公告）號(hào): CN111401078A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 單杰
• 申請(qǐng)（專利權(quán)）人: 江蘇省舜禹信息技術(shù)有限公司
• 主分類號(hào): G06F40/44
• 分類號(hào): G06F40/44;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本公開實(shí)施例公開了一種神經(jīng)網(wǎng)絡(luò)文本翻譯模型的運(yùn)行方法、裝置、電子設(shè)備、及存儲(chǔ)介質(zhì)，所述神經(jīng)網(wǎng)絡(luò)文本翻譯模型，包括編碼器層、注意力機(jī)制層、以及解碼器層，方法包括：將源語(yǔ)言詞匯序列輸入編碼器層進(jìn)行處理，以形成隱結(jié)構(gòu)向量；控制注意力機(jī)制層生成詞匯對(duì)齊表；將隱結(jié)構(gòu)向量和翻譯各個(gè)詞匯時(shí)的上下文向量輸入解碼器層進(jìn)行處理，以生成目標(biāo)語(yǔ)言詞匯序列；獲取所述目標(biāo)語(yǔ)言詞匯序列中的未知文字，根據(jù)所述詞匯對(duì)齊表確定所述未知文字對(duì)應(yīng)所述源語(yǔ)言詞匯序列中的源語(yǔ)言詞匯；對(duì)所述源語(yǔ)言詞匯進(jìn)行翻譯得到目標(biāo)語(yǔ)言詞匯；將所述目標(biāo)語(yǔ)言詞匯序列中的所述未知文字用所述目標(biāo)語(yǔ)言詞匯替換，能減少乃至完全消除翻譯結(jié)果中的未知文字。

技術(shù)領(lǐng)域

本公開實(shí)施例涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種神經(jīng)網(wǎng)絡(luò)文本翻譯模型的運(yùn)行方法、裝置、電子設(shè)備、及存儲(chǔ)介質(zhì)。

背景技術(shù)

傳統(tǒng)的SMT(統(tǒng)計(jì)機(jī)器翻譯，Statistical Machine Translation)是從平行語(yǔ)料庫(kù)獲得翻譯規(guī)則的概率，根據(jù)該概率將源語(yǔ)言的詞匯或短語(yǔ)轉(zhuǎn)換為目標(biāo)語(yǔ)言的詞匯或短語(yǔ)。但是，SMT方法沒(méi)有反映出距離較遠(yuǎn)短語(yǔ)間的聯(lián)系，因此譯文常欠缺通順性。

與SMT相比，NMT(神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯，Neural Machine Translation)基于數(shù)值向量將源語(yǔ)言表示為分散表示，使用神經(jīng)網(wǎng)絡(luò)將其加以轉(zhuǎn)換，根據(jù)獲得的數(shù)值向量求出目標(biāo)語(yǔ)言的詞匯串，從而進(jìn)行翻譯，其通過(guò)利用RNN(循環(huán)神經(jīng)網(wǎng)絡(luò)，Recurrent NeuralNetwork)和LSTM(長(zhǎng)短記憶網(wǎng)絡(luò)，Long Short Term Memory)或GRU(門控循環(huán)單元，GatedRecurrent Unit)，在考慮較長(zhǎng)區(qū)間內(nèi)詞匯或短語(yǔ)彼此的聯(lián)系的基礎(chǔ)上進(jìn)行翻譯，因此譯文通順性顯著提升。但是，翻譯得到的譯文還常存在未知詞匯(unknown words)或無(wú)意義詞匯(nonsense words)的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本公開實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)文本翻譯模型的運(yùn)行方法、裝置、電子設(shè)備、及存儲(chǔ)介質(zhì)，以減少翻譯結(jié)果中的未知文字。

本公開實(shí)施例的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本公開實(shí)施例的實(shí)踐而習(xí)得。

第一方面，本公開實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)文本翻譯模型的運(yùn)行方法，所述神經(jīng)網(wǎng)絡(luò)文本翻譯模型包括編碼器層、注意力機(jī)制層、以及解碼器層，包括：將源語(yǔ)言詞匯序列輸入所述編碼器層進(jìn)行處理，以形成隱結(jié)構(gòu)向量；控制所述注意力機(jī)制層根據(jù)所述編碼器層和所述解碼器層的內(nèi)部狀態(tài)生成注意力信息，根據(jù)所述注意力信息生成未知文字替換用詞匯對(duì)齊表，其中所述詞匯對(duì)齊表沒(méi)有重復(fù)詞匯；將所述隱結(jié)構(gòu)向量和翻譯各個(gè)詞匯時(shí)的上下文向量輸入所述解碼器層進(jìn)行處理，以生成目標(biāo)語(yǔ)言詞匯序列；獲取所述目標(biāo)語(yǔ)言詞匯序列中的未知文字，根據(jù)所述詞匯對(duì)齊表確定所述未知文字對(duì)應(yīng)所述源語(yǔ)言詞匯序列中的源語(yǔ)言詞匯；對(duì)所述源語(yǔ)言詞匯進(jìn)行翻譯得到目標(biāo)語(yǔ)言詞匯；將所述目標(biāo)語(yǔ)言詞匯序列中的所述未知文字用所述目標(biāo)語(yǔ)言詞匯替換。

于一實(shí)施例中，根據(jù)所述注意力信息生成未知文字替換用詞匯對(duì)齊表包括：

根據(jù)所述注意力信息，通過(guò)交集算法將所述源語(yǔ)言詞匯序列與所述目標(biāo)語(yǔ)言詞匯序列中注意力最高的詞匯單元建立關(guān)聯(lián)，根據(jù)關(guān)聯(lián)結(jié)果生成未知文字替換用詞匯對(duì)齊表，其中所述詞匯單元包括一個(gè)或一個(gè)以上相鄰的詞匯。

于一實(shí)施例中，在根據(jù)關(guān)聯(lián)結(jié)果生成未知文字替換用詞匯對(duì)齊表之前還包括：

通過(guò)交集算法將所述源語(yǔ)言詞匯序列與所述目標(biāo)語(yǔ)言詞匯序列中注意力最高的詞匯單元的鄰接單元建立第二關(guān)聯(lián)；

所述根據(jù)關(guān)聯(lián)結(jié)果生成未知文字替換用詞匯對(duì)齊表包括：

根據(jù)關(guān)聯(lián)結(jié)果和所述第二關(guān)聯(lián)結(jié)果生成未知文字替換用詞匯對(duì)齊表。