[發明專利]翻譯模型的生成方法、裝置、可讀存儲介質及電子設備

有效

• 申請號: 202011613464.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112699691B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 高體偉;孫偉;李崇嶺;魏太云;蘇萌;左云鵬;劉譯璟;蘇海波
• 申請（專利權）人: 北京百分點科技集團股份有限公司
• 主分類號: G06F40/42
• 分類號: G06F40/42;G06F40/58
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 南毅寧

本公開涉及一種翻譯模型的生成方法、裝置、可讀存儲介質及電子設備。所述翻譯模型包括編碼器和解碼器，其中，所述編碼器包括多個特征提取層，所述方法包括：獲取所述編碼器的所述多個特征提取層之間的層間注意力模型；根據所述編碼器的層間注意力模型，確定編碼器解碼器的注意力模型；基于所述層間注意力模型和所述編碼器解碼器的注意力模型，生成所述翻譯模型。如此，通過層間注意力模型，綜合考慮編碼器的每個特征提取層輸出的特征向量，使得編碼器最終輸出的向量包含源語言文本序列更多維度的特征信息，進而使解碼器生成的譯文更能準確地表達原文含義，即，提高了翻譯模型對原文翻譯的準確度。

技術領域

本公開涉及計算機技術領域，具體地，涉及一種翻譯模型的生成方法、裝置、可讀存儲介質及電子設備。

背景技術

機器翻譯是指利用機器將一種語言(以下簡稱源語言)翻譯成另一種語言(以下簡稱目標語言)。當前主流機器翻譯模型主要是基于Transformer模型進行構建的，Transformer模型本質是一個Seq2Seq(序列到序列)模型，該模型主體為編碼器和解碼器結構。編碼器用于將源語言文本序列表達為固定長度的向量，并發送給解碼器，解碼器用于將這個固定長度的向量轉化成目標語言的文本序列，如此，即可實現將源語言翻譯成目標語言的目的。

發明內容

本公開的目的是提供一種翻譯模型的生成方法、裝置、可讀存儲介質及電子設備，以提高對源語言文本翻譯的準確性。

為了實現上述目的，本公開提供一種翻譯模型的生成方法，所述翻譯模型包括編碼器和解碼器，其中，所述編碼器包括多個特征提取層，所述方法包括：

獲取所述編碼器的所述多個特征提取層之間的層間注意力模型；

根據所述編碼器的層間注意力模型，確定編碼器解碼器的注意力模型；

基于所述層間注意力模型和所述編碼器解碼器的注意力模型，生成所述翻譯模型。

可選地，所述解碼器包括多個特征解碼層；所述獲取所述編碼器的所述多個特征提取層之間的層間注意力模型，包括：

針對每一所述特征解碼層，根據所述特征解碼層的輸入向量、所述編碼器每一所述特征提取層的輸入向量和每一所述特征提取層的輸出向量，確定所述特征解碼層的、所述多個特征提取層之間的層間注意力模型。

可選地，所述根據所述編碼器的層間注意力模型，確定編碼器解碼器的注意力模型，包括：

針對每一所述特征解碼層，根據所述特征解碼層的、所述層間注意力模型的輸出向量，以及所述特征解碼層的輸入向量經所述特征解碼層中的掩碼多頭自注意力網絡、殘差連接、層正則化網絡之后得到的中間向量，確定所述特征層的、所述編碼器和所述解碼器的注意力模型。

可選地，所述編碼器包括M1個特征提取層，所述M1個特征提取層依次相連，M1為大于或等于2的整數；

其中，依次相連的M1個特征提取層中的第一個特征提取層的輸入向量為輸入詞嵌入和輸入詞的位置編碼，第K個特征提取層的輸入向量為第K-1個特征提取層的輸出向量，其中，K的取值范圍為2到M1。

可選地，所述解碼器包括M2個特征解碼層，所述M2個特征解碼層依次相連，M2為大于或等于2的整數；

其中，依次相連的M2個特征解碼層中的第一個特征解碼層的輸入向量為輸出詞嵌入和輸出詞的位置編碼，第N個特征解碼層的輸入向量為第N-1個特征解碼層的輸出向量，其中，N的取值范圍為2到M2。

可選地，所述基于所述層間注意力模型和所述編碼器解碼器的注意力模型，生成所述翻譯模型，包括：

基于層間注意力模型和編碼器解碼器的注意力模型，對所述編碼器和所述解碼器進行訓練，生成翻譯模型。