[發明專利]一種基于Transformer的增強語義特征信息的蒙漢機器翻譯方法

在審

• 申請號: 201811231017.2
• 申請日: 2018-10-22
• 公開（公告）號: CN109492232A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 蘇依拉;張振;高芬;王宇飛;孫曉騫;牛向華;趙亞平;卞樂樂
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F17/28
• 分類號: G06F17/28;G06F17/27;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.一種基于Transformer的增強語義特征信息的蒙漢機器翻譯方法，其特征在于，在翻譯過程中采用Transformer模型，所述Transformer模型為利用三角函數進行位置編碼并基于增強型多頭注意力機制構建的多層編碼器-解碼器架構，從而完全依賴于注意力機制來繪制輸入和輸出之間的全局依賴關系，消除遞歸和卷積。

2.根據權利要求1所述基于Transformer的增強語義特征信息的蒙漢機器翻譯方法，其特征在于，在翻譯之前，先對數據進行預處理，所述對數據進行預處理是對蒙文語料中的詞干、詞綴和格的附加成分進行切割分離，以降低數據的稀疏性，同時找出蒙文在詞干、詞綴以及格的附加成分的語言特征，并將這些語言特征融入到訓練之中。

3.根據權利要求2所述基于Transformer的增強語義特征信息的蒙漢機器翻譯方法，其特征在于，所述切割分離包括小粒度的詞綴切分、大粒度的詞干切分以及小規模的格的附加成分切分。

4.根據權利要求1所述基于Transformer的增強語義特征信息的蒙漢機器翻譯方法，其特征在于，對數據進行預處理后，綜合深度、密度、語義重合度對概念語義相似度的影響，集成語義距離與信息內容的相似度算法建立相似度矩陣，然后進行主成分分析，將相似度矩陣轉換成主成分變換矩陣，計算主成分貢獻率，并將其作為權值進行加權處理，得到最終的概念語義相似度。

5.根據權利要求4所述基于Transformer的增強語義特征信息的蒙漢機器翻譯方法，其特征在于，所述相似度矩陣的公式表示為

X_sim＝(x_i1,x_i2,x_i3,x_i4,x_i5)^T,i＝1,2,3,…,n

所述最終的概念語義相似度計算表示公式為

δ_sim＝r₁y_sim1+r₂y_sim2+r₃y_sim3+r₄y_sim4+r₅y_sim5

其中，X_sim表示相似度矩陣，x_i1表示D_s，x_i2表示K_s,x_i3表示Z_s，x_i4表示S_s，x_i5表示I_s，n是被比較概念對集合中的概念詞的對數，x_i＝(D_si,K_si,Z_si,S_si,I_si)，為主成分輸入樣本集合中的一個向量，其中每一維變量分別代表綜合相似度計算模塊中各部分語義相似度計算的結果，D_si表示向量中第i維元素的語義距離與相似度之間的關系，K_si表示向量中第i維元素的深度方面的語義相似度，Z_si表示向量中第i維元素的概念詞c的密度影響因子，S_si表示向量中第i維元素的語義重合度方面的相似度，I_si表示向量中第i維元素的信息內容方面的相似度；δ_sim表示概念語義相似度，y_sim1,y_sim2,y_sim3,y_sim4,y_sim5為對相似度矩陣X_sim進行主成分分析所提取出的主成分，r₁,r₂,r₃,r₄,r₅表示各主成分貢獻率。