[發明專利]訓練方法、業務數據分類處理方法及裝置、電子設備

有效

• 申請號: 201810598320.X
• 申請日: 2018-06-11
• 公開（公告）號: CN108985929B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 潘健民;張鵬
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

本說明書實施例公開了一種分層注意力模型的訓練方法、業務數據的分類處理方法及裝置、電子設備。所述訓練方法包括：建立分層注意力初始模型，包括待訓練的與注意力有關的模型參數，對樣本數據進行預處理，生成由三維張量表示的預處理數據；將該預處理數據輸入分層注意力初始模型并進行處理，獲得樣本數據的分類處理訓練結果；根據樣本數據的類型和分類處理訓練結果計算損失，在所述損失沒有收斂的情況下，對與注意力有關的模型參數進行更新，并使用樣本數據對更新后的分層注意力初始模型進行迭代訓練。

技術領域

本發明書實施例涉及機器學習領域，特別涉及一種分層注意力模型的訓練方法、基于分層注意力模型的業務數據的分類處理方法及裝置、電子設備。

背景技術

目前，可疑交易的識別成為預防和打擊金融領域犯罪(如洗錢)的重點，在目前的反洗技術中，金融機構在通過建立規則或模型等方式識別可疑交易從而控制洗錢風險時，往往使用人工設計的業務特征，例如，統計用戶在最近90天內的流入金額、或者用戶在最近30天的流入金額占最近90天的流入金額的比例、或者用戶的涉及某個關鍵詞的交易的數量占總交易的數量的比例，并將統計的結果與預先設定的閾值進行比較，從而判斷對應的用戶是否進行了可疑交易，或者對用戶的每一筆交易進行建模分析。

應該注意，上面對技術背景的介紹只是為了方便對本發明的技術方案進行清楚、完整的說明，并方便本領域技術人員的理解而闡述的。不能僅僅因為這些方案在本發明的背景技術部分進行了闡述而認為上述技術方案為本領域技術人員所公知。

發明內容

但是，發明人發現：目前的可疑交易識別方案中將用戶的所有行為作為一個整體去統計，但一個用戶的交易往往混雜了可疑交易和正常交易，如果某個用戶的正常交易較多，現有方案中的統計結果往往更多的反應正常交易的形態，即使該用戶的交易中包含了可疑交易，也存在無法有效識別該用戶的風險。而對用戶的每一筆交易進行建模分析時，將用戶的每一筆交易割裂開來，丟失了用戶大量交易行為序列上的特征，例如某種可疑交易行為序列特征是用戶A從用戶B中獲得一筆大金額資金，然后用戶A再分拆成多筆小額金額，依次打款給用戶C，這時候如果只看其中的某一筆交易，無法有效判斷可疑行為。

針對上述問題的至少之一，本發明書實施例提供一種分層注意力模型的訓練方法、基于分層注意力模型的業務數據的分類處理方法及裝置、電子設備。期待能夠獲得可靠的基于注意力的分層注意力模型，能夠更加精確地識別可疑的業務數據。

根據本發明書實施例的第一個方面，提供一種分層注意力模型的訓練方法，包括；

建立分層注意力初始模型，所述分層注意力初始模型包括待訓練的與注意力有關的模型參數；

獲取樣本數據，所述樣本數據的類型包括黑樣本數據和白樣本數據；

對所述樣本數據進行預處理，生成由三維張量表示的預處理數據；

將所述預處理數據輸入所述分層注意力初始模型并進行處理，生成所述樣本數據的最終表達；

使用分層注意力初始模型中的多層感知器對所述樣本數據的最終表達進行分類處理，獲得所述樣本數據的分類處理訓練結果；

根據所述樣本數據的類型和所述分類處理訓練結果，計算損失，所述損失表示所述樣本數據的類型和所述分類處理訓練結果的差異；

判斷所述損失是否收斂，在所述損失沒有收斂的情況下，對所述分層注意力初始模型的所述與注意力有關的模型參數進行更新，并使用所述樣本數據對更新后的分層注意力初始模型進行迭代訓練。

根據本發明書實施例的第二個方面，提供一種業務數據的分類處理方法，包括：

對所述業務數據進行預處理，生成由三維張量表示的預處理數據；