[發明專利]訓練方法、業務數據分類處理方法及裝置、電子設備

有效

• 申請號: 201810598320.X
• 申請日: 2018-06-11
• 公開（公告）號: CN108985929B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 潘健民;張鵬
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

1.一種分層注意力模型的訓練方法，所述方法包括；

建立分層注意力初始模型，所述分層注意力初始模型包括待訓練的與注意力有關的模型參數；

獲取樣本數據，所述樣本數據的類型包括黑樣本數據和白樣本數據；

對所述樣本數據進行預處理，生成由三維張量表示的預處理數據；

將所述預處理數據輸入所述分層注意力初始模型并進行處理，生成所述樣本數據的最終表達；

使用分層注意力初始模型中的多層感知器對所述樣本數據的最終表達進行分類處理，獲得所述樣本數據的分類處理訓練結果；

根據所述樣本數據的類型和所述分類處理訓練結果計算損失，所述損失表示所述樣本數據的類型和所述分類處理訓練結果的差異；

判斷所述損失是否收斂，在所述損失沒有收斂的情況下，對所述分層注意力初始模型的所述與注意力有關的模型參數進行更新，并使用所述樣本數據對更新后的分層注意力初始模型進行迭代訓練，

所述樣本數據包括至少一個用戶的樣本數據，所述用戶的樣本數據為黑樣本數據或者白樣本數據，所述樣本數據中的黑樣本數據和所述白樣本數據的比例在預定范圍內，

所述樣本數據為用戶的交易記錄，所述預處理包括抽取所述交易記錄的特征，所述三維張量為(K,T,N)，其中，所述N表示單筆交易記錄的特征的編碼長度，所述T表示一個交易序列片段所包含的交易記錄的數目，所述K表示單個用戶的總共的交易序列片段的數目。

2.根據權利要求1所述的方法，所述交易記錄的特征包括交易金額、和/或交易對象的類別、和/或交易類型。

3.根據權利要求1所述的方法，所述待訓練的與注意力有關的模型參數包括第1模型參數和第2模型參數，

所述將所述預處理數據輸入所述分層注意力初始模型并進行處理，生成所述樣本數據的最終表達，包括：

將各個交易序列片段輸入第1循環神經網絡模型并利用所述第1模型參數，生成分別對應各個所述交易序列片段的多個交易序列片段表達S_i，i∈[1,K]；以及

將所述多個交易序列片段表達輸入第2循環神經網絡模型并利用所述第2模型參數，生成所述單個用戶的交易序列最終表達V。

4.根據權利要求3所述的方法，

所述多個交易序列片段表達S_i＝A_iH_i，i∈[1,K]，

其中，

H_i＝(h_i1,h_i2,…,h_iT)，

t∈[1,T]，d_it為一個交易序列片段中的一個交易記錄，和分別表示所述第1循環神經網絡模型對于d_it的前向和后向輸出向量，W_d1和W_d2為所述第1模型參數，

所述單個用戶的交易序列最終表達V＝AH，

其中，A＝softmax(w_s2tanh(W_s1H^T))，

H＝(h₁,h₂,…,h_K)，

W_s1和w_s2為所述第2模型參數，和分別表示第2循環神經網絡模型對于S_i的前向和后向輸出向量。

5.根據權利要求4所述的方法，損失函數LOSS＝cross entropyloss+c*P，其中，所述cross entropy loss為交叉熵損失函數，其表示所述樣本數據的類型和所述分類處理訓練結果的差異，c為預先設定的超參數，P為正則化項，其中，||||_F表示一個矩陣的Frobenius范數，I為單位矩陣。