[發明專利]基于神經網絡模型的翻譯方法及翻譯系統

在審

• 申請號: 202210184687.3
• 申請日: 2022-02-28
• 公開（公告）號: CN114510952A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 余暢;張方元;楊攀;楊尚為;楊子辰
• 申請（專利權）人: 鹽城睿行空間企業孵化器有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/289;G06N3/04
• 代理公司: 北京漢德知識產權代理事務所(普通合伙) 11328
• 代理人: 錢鶯勤

1.基于神經網絡模型的翻譯方法，其特征在于，包括下列步驟：

構建編碼器-解碼器網絡架構的神經網絡翻譯模型；

利用編碼器將原文編碼為編碼向量；

解碼器在解碼位置利用編碼向量生成Beam的過程中利用注意力機制輸出對齊分數，判斷當前解碼位置是否對齊到帶術語的原文位置；

若是則解碼器在解碼位置采用Dynamic Beam Allocation算法的動態分配機制生成當前位置的Beam，并且僅分配對應原文術語的譯文；

若否則解碼器在解碼位置則采用Beam Search算法生成當前位置的Beam；以及

利用解碼器從最后一個Beam回溯全部路徑，選取評分最高的路徑，將路徑上的候選詞連接在一起生成譯文。

2.如權利要求1所述的翻譯方法，其特征在于，利用如下公式計算注意力機制的對齊分數：

其中，n表示編碼器輸出的編碼向量的維度，h_i表示編碼器在i位置輸出的編碼向量，S_t表示解碼器在t位置的編碼向量。

3.如權利要求1所述的翻譯方法，其特征在于，Dynamic Beam Allocation算法的動態分配機包括步驟：

生成候選詞集合，候選詞集合包括采用Beam Search算法在上一個Beam生成的數個候選詞結果、所有當前解碼路徑未覆蓋的術語起始詞和術語表中前一位置候選詞的接續詞；以及

將生成的候選詞集合分配至Beam的k個位置中，具體為，保留其中N個位置用于存放Beam Search算法的輸出結果，其余位置用于按術語詞的覆蓋度依次分配。

4.如權利要求3所述的翻譯方法，其特征在于，采用Beam Search算法生成當前位置的Beam，具體為：遍歷前一解碼位置的所有候選詞，對于每一個候選詞，通過解碼器的softmax層輸出獲取詞表中的每一個詞為下一個譯文詞的概率，選取其中概率最大的k個候選詞組成Beam。

5.如權利要求1所述的翻譯方法，其特征在于，通過下列公式計算路徑的分數并選取評分最高的路徑：

其中，中t表示該路徑輸出的詞數，x表示全部原文詞，y_i表示第i步輸出的譯文詞，y₁,...,y_i-1表示該路徑上當前步驟之前已輸出的譯文詞。

6.基于神經網絡模型（20）的翻譯系統，其特征在于，包括:

一個輸入單元（10），其用于輸入分詞的原文；以及

一個機器翻譯引擎（20），其用于將分詞的原文輸入一個神經網絡機器翻譯模型并得到譯文，所述神經網絡機器翻譯模型基于編碼器-解碼器網絡架構，所述神經網絡機器翻譯模型能夠實現解碼器在解碼位置利用編碼向量生成Beam的過程中利用注意力機制輸出對齊分數，判斷當前解碼位置是否對齊到帶術語的原文位置；若是則解碼器在解碼位置采用Dynamic Beam Allocation算法的動態分配機制生成當前位置的Beam，并且僅分配對應原文術語的譯文；若否則解碼器在解碼位置則采用Beam Search算法生成當前位置的Beam；所述神經網絡機器翻譯模型還能夠利用解碼器從最后一個Beam回溯全部路徑，選取評分最高的路徑，將路徑上的候選詞連接在一起生成譯文；以及

一個輸出單元（30），其用于輸出機器翻譯引擎（20）翻譯得到的譯文。

7.如權利要求6所述的翻譯系統，其特征在于，所述神經網絡機器翻譯模型利用如下公式計算注意力機制的對齊分數：

其中，n表示編碼器輸出的編碼向量的維度，h_i表示編碼器在i位置輸出的編碼向量，S_t表示解碼器在t位置的編碼向量。