[發(fā)明專利]一種基于詞向量連接技術的神經(jīng)機器翻譯方法及裝置

有效

• 申請?zhí)枺?/td>: 201711091457.8
• 申請日: 2017-11-08
• 公開（公告）號: CN107729329B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設計）人: 熊德意;鄺少輝
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種基于詞向量連接技術的神經(jīng)機器翻譯方法，包括：在編碼階段，編碼器獲得源語句的詞向量序列，根據(jù)確定的前向向量序列和反向向量序列確定源語句對應的隱層向量序列，每個源單詞對應的含有上下文信息的向量表示包括該源單詞對應的前向隱層狀態(tài)、反向隱層狀態(tài)及單詞向量，可以獲得上下文向量，在解碼階段，解碼器預測相應源單詞的目標單詞，從而生成源語句的目標語句。應用本發(fā)明實施例所提供的技術方案，縮短了源端單詞向量和目標端單詞向量之間的信息通道，增強了單詞向量之間的連接和映射，增強了翻譯系統(tǒng)性能，提高了翻譯質量。本發(fā)明還公開了一種基于詞向量連接技術的神經(jīng)機器翻譯裝置，具有相應技術效果。

技術領域

本發(fā)明涉及神經(jīng)機器翻譯NMT技術領域，特別是涉及一種基于詞向量連接技術的神經(jīng)機器翻譯方法及裝置。

背景技術

隨著計算機技術的快速發(fā)展，計算機計算能力不斷提高，大數(shù)據(jù)得到廣泛應用，深度學習也得到了進一步的應用。基于深度學習的NMT(Neural Machine Translation，神經(jīng)機器翻譯)技術受到越來越多的關注。

在NMT領域中，較常用的翻譯模型是帶有注意力機制(attention-based)的encoder-decoder模型。主要思想是將待翻譯的語句即源語句經(jīng)過編碼器encoder編碼，使用一個向量表示，然后利用解碼器decoder對源語句的向量表示進行解碼，翻譯成為對應的譯文即目標語句。這種encoder-decoder框架是深度學習的核心思想，同樣，encoder-decoder框架也是NMT系統(tǒng)常用的一個基本架構。目前主流的NMT系統(tǒng)，encoder和decoder都利用RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡)技術。RNN技術在處理時序信息時具有一定優(yōu)勢，能夠處理任意長度的輸入并將其轉換成為一個固定維度的向量。

在NMT系統(tǒng)中，encoder-decoder框架在訓練過程中，會同時學習到源語句和目標語句的單詞向量(word-embedding)。但是，因為學習到的源語句的單詞向量和目標語句的單詞向量分別位于encoder-decoder框架的兩端(源端和目標端)，中間需要經(jīng)過十分復雜的信息轉換通道(編碼器和解碼器)，使得源語句的單詞向量和目標語句的單詞向量之間缺乏直接的連接和映射，容易導致NMT系統(tǒng)生成錯誤的單詞對齊信息，從而降低翻譯質量。

發(fā)明內容

本發(fā)明的目的是提供一種基于詞向量連接技術的神經(jīng)機器翻譯方法及裝置，以增強單詞向量之間的連接和映射，增強翻譯系統(tǒng)性能，提高翻譯質量。

為解決上述技術問題，本發(fā)明提供如下技術方案：

一種基于詞向量連接技術的神經(jīng)機器翻譯方法，包括：

在編碼階段，編碼器對讀取到的源語句進行編碼，獲得所述源語句的詞向量序列x＝＜x₁,x₂,···,x_j,···,x_T＞；其中，x_j為所述源語句中第j個源單詞的單詞向量，T表示所述源語句包含的源單詞的數(shù)量；

所述編碼器的前向循環(huán)神經(jīng)網(wǎng)絡RNN根據(jù)所述詞向量序列，確定由隱層向量組成的前向向量序列其中，為第j個源單詞的前向隱層狀態(tài)，f為非線性激活函數(shù)；

所述編碼器的反向RNN根據(jù)所述詞向量序列，確定由隱層向量組成的反向向量序列其中，為第j個源單詞的反向隱層狀態(tài)；

根據(jù)所述前向向量序列和所述反向向量序列，確定所述源語句對應的隱層向量序列＜h₁,h₂,···,h_j,···,h_T＞；其中，為所述源語句中每個源單詞對應的含有上下文信息的向量表示；