[發(fā)明專利]一種基于Transformer模型的層融合方法及計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 201910923998.5
• 申請日: 2019-09-27
• 公開（公告）號: CN110674647A
• 公開（公告）日: 2020-01-10
• 發(fā)明（設(shè)計）人: 閆明明;羅華成;陳緒浩;趙宇;段世豪
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F40/58
• 分類號: G06F40/58
• 代理公司: 51126 成都中亞專利代理有限公司
• 代理人: 王崗

1.一種基于Transformer模型的層融合方法，應(yīng)用于基于注意力機制的Transformer模型上，其特征在于；包括如下步驟：

(1)將源語言詞向量輸入給Transformer模型，經(jīng)過編碼器與解碼器的轉(zhuǎn)換，讓Transformer模型產(chǎn)生原始結(jié)構(gòu)的輸出，假設(shè)編碼器或者解碼器的每一層的輸出語義向量分別為output₁,output₂,L,output_n；

(2)運用層融合方法將編碼器或者解碼器的第一層與第二層的輸出語義向量output₁和output₂利用融合矩陣W_F進行融合構(gòu)成新的輸出語義向量z₁，計算公式為z₁＝concat(output₁，output₂)W_F，并利用該新的輸出與第三層輸出語義向量output₃進行融合，計算公式為z₂＝concat(z₁，output₃)W_F；

(3)再利用融合得到的輸出z₁與第四層輸出output₄進行融合，依次遞推直到得到最后的融合輸出z_n-1，并將該融合輸出作為模型的最終輸出；

(4)最終輸出詞向量再經(jīng)過softmax轉(zhuǎn)換得到目標語言文本；

(5)對上述經(jīng)過層融合方法處理過的模型進行訓(xùn)練；

(6)對上述已經(jīng)訓(xùn)練好的模型進行解碼翻譯。

2.根據(jù)權(quán)利要求1所述的基于Transformer模型的層融合方法，其特征在于，在步驟“將源語言詞向量輸入給Transformer模型，經(jīng)過編碼器與解碼器的轉(zhuǎn)換，讓Transformer模型產(chǎn)生原始結(jié)構(gòu)的輸出”之前，應(yīng)對語料庫進行分詞以及BPE處理。

3.根據(jù)權(quán)利要求1所述的基于Transformer模型的層融合方法，其特征在于，所述的應(yīng)用基于Transformer模型的層融合方法的機器翻譯系統(tǒng)包括Transformer模塊和層融合模塊。

4.一種計算機設(shè)備，包括CPU處理器、GPU處理器、存儲器和可在該計算機上存儲并運行的程序，其特征在于，所述計算機運行程序時能實現(xiàn)權(quán)利要求1-3中任意一項所述方法的步驟。