[發明專利]融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法

在審

• 申請號: 202111042653.2
• 申請日: 2021-09-07
• 公開（公告）號: CN113901843A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 高盛祥;劉演;余正濤;毛存禮
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/242;G06F40/49;G06K9/62
• 代理公司: 昆明人從眾知識產權代理有限公司 53204
• 代理人: 何嬌

1.融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述方法包括：

Step1、收集用于訓練平行句對抽取模型的漢越平行語料；

Step2、收集已經預訓練的中文BERT預訓練語言模型參數以及詞典；

Step3、對源語言序列分別進行BERT預訓練語言模型預訓練表征與詞嵌入表征；

Step4、使用交叉注意力機制使經過BERT預訓練語言模型預訓練的源語言序列表征受到詞嵌入表征的約束，將經過BERT預訓練語言模型訓練后的源語言序列表征和詞嵌入表征進行拼接融合得到融合表征作為編碼器的輸入；

Step5、使用編碼器使得融合表征中兩種不同來源的表征達到深層動態交互融合；

Step6、利用BERT預訓練語言模型與詞嵌入雙重表征進行神經機器翻譯模型的訓練。

2.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step1中，運用爬蟲技術在互聯網收集了漢越雙語平行句對，將收集后得到的數據進行了清洗以及Tokenize處理，構建成了漢越雙語平行句對的數據集，把該數據集作為實驗訓練、測試、驗證數據。

3.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step2中，收集google發布的中文BERT預訓練語言模型參數以及詞典，在Pytorch框架下將模型參數和詞典實例化為BERT預訓練語言模型。

4.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step3的具體步驟為：

Step3.1、對漢越單語語料根據BERT預訓練語言模型詞典以及訓練語料詞典進行分詞；

Step3.2、將兩種分詞后得到的本文ID分別輸入詞嵌入以及BERT預訓練語言模型進行表征。

5.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step4的具體步驟為：

Step4.1、使用BERT預訓練語言模型表征和詞嵌入表征進行交叉注意力機制計算，使用詞嵌入表征作為查詢條件，通過BERT預訓練語言模型表征計算得到注意力權重，之后用該權重和BERT預訓練語言模型表征進行計算，使BERT預訓練語言模型表征受到詞嵌入表征約束；

Step4.2、將詞嵌入表征進行自注意力機制計算，加強該表征內部聯系；

Step4.3、將Step4.1和Step4.2得到的表征進行拼接得到融合表征。

6.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step5中，編碼器設計自注意力機制使得融合表征中兩種不同來源的表征進行深層動態交互融合。

7.根據權利要求1所述的融合BERT與詞嵌入雙重表征的漢越神經機器翻譯方法，其特征在于：所述Step6中，經過Step5自注意力機制后得到的表征參與Transformer模型的訓練，實現將BERT預訓練語言模型與經過Transformer語言模型訓練的詞嵌入部分的融合。