[發(fā)明專利]一種基于Transformer模型的老漢雙語對齊方法

在審

• 申請?zhí)枺?/td>: 201910215271.1
• 申請日: 2019-03-21
• 公開（公告）號: CN110083826A
• 公開（公告）日: 2019-08-02
• 發(fā)明（設(shè)計(jì)）人: 周蘭江;賈善崇;張建安
• 申請（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Transformer模型的老漢雙語對齊方法，其特征在于：具體步驟如下：

Step1，將漢-老雙語語料預(yù)處理后進(jìn)行數(shù)據(jù)集劃分，其中，已對齊的訓(xùn)練集占90％，亂序測試集占10％；

Step2，根據(jù)訓(xùn)練集以及測試集的句子，經(jīng)過分詞，統(tǒng)計(jì)其中的互異的詞組，以及每個詞組出現(xiàn)的次數(shù)，并按照出現(xiàn)次數(shù)的多少，從大到小排序；

Step3，將分好詞的源語言句子進(jìn)行詞嵌入Embedding的單詞轉(zhuǎn)換詞向量，轉(zhuǎn)換詞向量之后進(jìn)入到positional-encoding部分，對輸入的單詞的詞嵌入加上一個新的向量，即位置向量，來表示單詞的位置信息；

Step4，將經(jīng)過位置信息標(biāo)識的向量輸入multi-headed attention部分，其中包括多個Encoder，每個Encoder中在self-Attention中，詞向量通過與訓(xùn)練的權(quán)值矩陣相乘，得到Q/K/V矩陣，即Qurey/Key/Value矩陣，同時，為每個Encoder獨(dú)立維護(hù)一套Q/K/V權(quán)值矩陣，為Decoder使用；

Step5，通過Encoder的multi-headed attention部分，我們將得到的多個Q/K/V矩陣，把這些矩陣組合形成一個最終的Z矩陣，其中包含了所有的Q/K/V權(quán)值，在Decoder部分，在Z的矩陣中找到相關(guān)K/V的權(quán)值帶入Decoder的“Encoder-Decoder attention”層中計(jì)算，通過Encoder部分的位置表示信息，最終得出一個向量的集合，通過最終的線性層linear和softmax層，通過概率選取最高的索引，然后找到一一對應(yīng)的單詞作為輸出，最終得出譯文。

2.根據(jù)權(quán)利要求1所述的一種基于Transformer模型的老漢雙語對齊方法，其特征在于：所述step1中所述的對齊片段為雙語對齊語句。

3.根據(jù)權(quán)利要求1所述的一種基于Transformer模型的老漢雙語對齊方法，其特征在于：所述step2所述的分詞是指通過python編碼，通過電子老撾語字典，對最初老撾語句子分詞，使用jieba庫，對中文進(jìn)行分詞。

4.根據(jù)權(quán)利要求1所述的一種基于Transformer模型的老漢雙語對齊方法，其特征在于：所述step3中，詞嵌入是指將老撾語以及中文通過編碼，將文字信息轉(zhuǎn)化為計(jì)算機(jī)能夠識別的數(shù)字信息，同時能夠?qū)υ~語空間降維。

5.根據(jù)權(quán)利要求1所述的一種基于Transformer模型的老漢雙語對齊方法，其特征在于：所述step3中，positional-encoding用將p位置映射為一個d_pos維的位置向量，這個向量的第i個元素的數(shù)值為PE_2i(p)，使用的公式如下：

6.根據(jù)權(quán)利要求1所述的一種基于Transformer模型的老漢雙語對齊方法，其特征在于：所述step4中，multi-headed attention將Q/K/V通過參數(shù)矩陣映射一下，然后再做Attention，并將每次的結(jié)果保存，Attention的映射函數(shù)如下：

其中，Q,K,V是源語句子通過分詞之后，對Encoder部分為單詞創(chuàng)建的三個向量，這些向量是通過詞嵌入之后，乘以訓(xùn)練過程創(chuàng)建的3個不同矩陣而產(chǎn)生的，而d_K是K的向量維度，K^T為K向量的轉(zhuǎn)置。