[發明專利]神經網絡文本翻譯模型的運行方法、裝置、設備、及介質

在審

• 申請號: 202010187586.2
• 申請日: 2020-03-17
• 公開（公告）號: CN111401078A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 單杰
• 申請（專利權）人: 江蘇省舜禹信息技術有限公司
• 主分類號: G06F40/44
• 分類號: G06F40/44;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種神經網絡文本翻譯模型的運行方法，所述神經網絡文本翻譯模型包括編碼器層、注意力機制層、以及解碼器層，其特征在于，包括：

將源語言詞匯序列輸入所述編碼器層進行處理，以形成隱結構向量；

控制所述注意力機制層根據所述編碼器層和所述解碼器層的內部狀態生成注意力信息，根據所述注意力信息生成未知文字替換用詞匯對齊表，其中所述詞匯對齊表沒有重復詞匯；

將所述隱結構向量和翻譯各個詞匯時的上下文向量輸入所述解碼器層進行處理，以生成目標語言詞匯序列；

獲取所述目標語言詞匯序列中的未知文字，根據所述詞匯對齊表確定所述未知文字對應所述源語言詞匯序列中的源語言詞匯；

對所述源語言詞匯進行翻譯得到目標語言詞匯；

將所述目標語言詞匯序列中的所述未知文字用所述目標語言詞匯替換。

2.根據權利要求1所述的神經網絡文本翻譯模型的運行方法，其特征在于，根據所述注意力信息生成未知文字替換用詞匯對齊表包括：

根據所述注意力信息，通過交集算法將所述源語言詞匯序列與所述目標語言詞匯序列中注意力最高的詞匯單元建立關聯，根據關聯結果生成未知文字替換用詞匯對齊表，其中所述詞匯單元包括一個或一個以上相鄰的詞匯。

3.根據權利要求2所述的神經網絡文本翻譯模型的運行方法，其特征在于，在根據關聯結果生成未知文字替換用詞匯對齊表之前還包括：

通過交集算法將所述源語言詞匯序列與所述目標語言詞匯序列中注意力最高的詞匯單元的鄰接單元建立第二關聯；

所述根據關聯結果生成未知文字替換用詞匯對齊表包括：

根據關聯結果和所述第二關聯結果生成未知文字替換用詞匯對齊表。

4.根據權利要求3所述的神經網絡文本翻譯模型的運行方法，其特征在于，在根據關聯結果和所述第二關聯結果生成未知文字替換用詞匯對齊表之后還包括：

基于所述詞匯對齊表，確定所述目標語言詞匯序列中沒有對應關系的第一目標語言詞匯，根據所述注意力信息，確定注意力最高的單元與所述第一目標語言詞匯建立第三關聯；

基于所述詞匯對齊表，確定所述源語言詞匯序列中沒有對應關系的第一源語言詞匯，根據所述注意力信息，確定注意力最高的單元與所述第一源語言詞匯建立第四關聯；

根據關聯結果、所述第二關聯結果、所述第三關聯結果、以及所述第四關聯結果生成未知文字替換用詞匯對齊表。

5.根據權利要求1所述的神經網絡文本翻譯模型的運行方法，其特征在于，控制所述注意力機制層根據所述編碼器層和所述解碼器層的內部狀態生成注意力信息，根據所述注意力信息生成未知文字替換用詞匯對齊表包括：

控制所述注意力機制層根據所述編碼器層和所述解碼器層的內部狀態，確定翻譯所述源語言詞匯序列中各個詞匯時的上下文向量，以及根據翻譯各個詞匯時的上下文向量生成未知文字替換用詞匯對齊表。

6.根據權利要求5所述的神經網絡文本翻譯模型的運行方法，其特征在于，控制所述注意力機制層根據所述編碼器層和所述解碼器層的內部狀態，確定翻譯所述源語言詞匯序列中各個詞匯時的上下文向量，以及根據翻譯各個詞匯時的上下文向量生成未知文字替換用詞匯對齊表包括：

在翻譯各個詞匯時，確定當前翻譯的目標語言詞匯序列的序號，獲取翻譯該詞匯時應注意的位置，對所述源語言詞匯序列中各詞匯計算注意力概率，將所述源語言詞匯序列中各詞匯對應的分布表示向量乘以該詞匯的注意力概率之后，確定最大值對應的詞匯在所述源語言詞匯序列的序號；

根據翻譯各個詞匯時，將當前翻譯的目標語言詞匯序列的序號，和所確定的最大值對應的詞匯在所述源語言詞匯序列的序號建立關聯，根據關聯結果生成未知文字替換用詞匯對齊表。

7.根據權利要求1所述的神經網絡文本翻譯模型的運行方法，其特征在于，對所述源語言詞匯進行翻譯得到目標語言詞匯包括：

采用IBM對齊模型對所述源語言詞匯進行翻譯得到目標語言詞匯；或者

通過外部詞典對所述源語言詞匯進行翻譯得到目標語言詞匯。