[發明專利]一種針對詞匯序列數據的綜合位置編碼方法

有效

• 申請號: 202011297709.4
• 申請日: 2020-11-18
• 公開（公告）號: CN112464651B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 柳林青;徐小龍
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/284;G06F40/58;G06N3/0455;G06N3/047;G06N3/048;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松

1.一種針對詞匯序列數據的綜合位置編碼方法，其特征在于：包括如下步驟：

通過在實數空間隨機采樣生成三組詞典：源輸入和目標輸入的詞匯編碼詞典源輸入和目標輸入的絕對位置編碼詞典源輸入和目標輸入的相對位置編碼鍵位詞典和相對位置編碼值位詞典其中，l_src和l_tgt分別表示源輸入詞匯編碼詞典和目標輸入詞匯編碼詞典的大小，下標src、tgt分別代表源輸入、目標輸入，下標src:K、tgt:K分別代表源輸入鍵位、目標輸入鍵位，下標src:V、tgt:V分別代表源輸入值位、目標輸入值位，dim為每個特征向量的長度，max_len表示數據中源輸入和目標輸入中出現過的最長的序列長度，k表示任意兩個詞匯計算相對位置時允許的最大距離；

根據輸入中的詞匯查找到詞匯編碼詞典VOC_src、VOC_tgt中對應的特征向量x_i、y_i,組成源輸入和目標輸入詞匯特征向量組：

X^{len(src)×dim}＝[x₁,x₂…x_len(src)-1,end]

Y^{len(tgt)×dim}＝[start,y₁…y_len(tgt)-1]

len(src)-1和len(tgt)-1分別表示源輸入和目標輸入的長度，end和start分別表示語句的結束和開始向量；

在絕對位置詞典VOC_PO_src、VOC_PO_tgt中分別截取前len(src)和len(tgt)行，生成源輸入和目標輸入絕對位置特征向量組：

將以上數據輸入Transformer模型進行訓練，得到訓練好的Transformer模型；

所述將以上數據輸入Transformer模型進行訓練，得到訓練好的Transformer模型，具體包括如下步驟：

S3-1：對Transformer模型N層編碼器進行訓練，其中，第i層編碼器一端的輸入如下：

其中，W_i1Q，W_i1K，W_i1V是編碼器中的參數矩陣，b_i1Q，b_i1K，b_i1V是編碼器中的參數向量，X_i-1為第i-1層的編碼器的輸出；

第i層編碼器另一端輸出如下：

其中，W_i2，W_i3為參數矩陣，b_i2，b_i3為參數向量；X_i為第i層的編碼器的輸出；

當i＝0時：

X₀＝X+PO_src

其中，X為源輸入詞匯特征向量組，PO_src為源輸入絕對位置特征向量組,X₀第1層編碼器一端的輸入；

S3-2：對Transformer模型N層解碼器進行訓練，其中，第i層解碼器一端的輸入如下：

其中，W_i1Q，W_i1K，W_i1V是解碼器中的參數矩陣，b_i1Q，b_i1K，b_i1V是解碼器中的參數向量，Y_i-1為第i-1層的解碼器的輸出；

第i層解碼器另一端的輸出如下：

其中，X_N代表第N層編碼器的輸出，W_i1Q:context,W_i1K:context,W_i1V:context為參數矩陣，b_i1Q:context,b_i1K:context,b_i1V:context為參數向量；

當i＝0時：

Y₀＝Y+PO_tgt

其中，Y_i為第i層的解碼器的輸出，Y為目標輸入詞匯特征向量組，PO_tgt為目標輸入絕對位置特征向量組，Y₀第1層解碼器一端的輸入，Y_N為第N層解碼器的輸出，為Transformer模型的輸出、W_end、b_end分別代表參數矩陣、參數向量；

S3-3：設其中，每個v代表一個目標輸入詞匯的特征向量，根據Y中每個詞匯的編號生成一個答案矩陣：

則整個Transformer模型此輪訓練的誤差為：

ΔO^{len(tgt)×dim}＝Y-(O*A×VOC_tgt)

其中，O為

S3-4：準備新的訓練樣例X和Y，重復執行過程S3-1～S3-3，直到訓練輪次滿足設定閾值時，得到訓練好的Transformer模型。