[發(fā)明專利]基于SVM-Xgboost的移動支付風險預(yù)警方法

有效

• 申請?zhí)枺?/td>: 202210168007.9
• 申請日: 2022-02-23
• 公開（公告）號: CN114463014B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 李培巒;李沛諭;張雨祺;高蓉;栗瑩;李保安
• 申請（專利權(quán)）人: 河南科技大學(xué)
• 主分類號: G06Q20/40
• 分類號: G06Q20/40;G06Q20/38;G06F18/214;G06F18/2415;G06F18/2411
• 代理公司: 北京睿智保誠專利代理事務(wù)所(普通合伙) 11732
• 代理人: 周新楣

1.基于SVM-Xgboost的移動支付風險預(yù)警方法，其特征在于，包括以下步驟：

S1、建立SVM模型；

S2、收集移動支付交易數(shù)據(jù)，數(shù)據(jù)集包含10個屬性列，1個標簽列，屬性列包括時間、交易類型(X1)、交易金額(X2)、交易發(fā)起方姓名、交易前本金(X3)、交易后本金(X4)、交易的接收方ID、交易前接收方本金(X5)、交易后接收方本金(X6)，單次交易是否超過20萬(X7)、預(yù)測變量為交易風險(Y);

對數(shù)據(jù)集進行預(yù)處理；

將訓(xùn)練數(shù)據(jù)集帶入該模型進行訓(xùn)練，并使用貝葉斯優(yōu)化算法進行參數(shù)調(diào)整，得到基于貝葉斯優(yōu)化的SVM模型；

S3、建立Xgboost模型；

S4、隨機選擇一組參數(shù)，將訓(xùn)練數(shù)據(jù)集及代入該模型進行訓(xùn)練，并使用貝葉斯優(yōu)化算法進行參數(shù)調(diào)整，得到基于貝葉斯優(yōu)化的Xgboost模型；

S5、采用堆疊法將兩模型進行融合，建立基于SVM-Xgboost組合模型，將訓(xùn)練數(shù)據(jù)集代入模型進行訓(xùn)練后，代入測試數(shù)據(jù)集，得到最終預(yù)測結(jié)果，預(yù)測結(jié)果為交易風險值，0表示正常交易，1表示可疑交易；

S51、將優(yōu)化后的SVM模型和Xgboost模型在訓(xùn)練數(shù)據(jù)集上所產(chǎn)生的結(jié)果作為新的訓(xùn)練集,使用邏輯回歸模型對其進行訓(xùn)練,將上述兩模型的答案作為特征輸入，通過邏輯回歸給上述兩個模型的答案分配權(quán)重；

S52、將測試數(shù)據(jù)集導(dǎo)入上述兩個模型，分別得到預(yù)測類別概率值，作為新的測試集；

S53、使用步驟S51訓(xùn)練好的邏輯回歸模型，將步驟S52得到的特征值代入該邏輯回歸模型，進行預(yù)測，得出最終測試集上的預(yù)測類別或概率；

S6、將測試數(shù)據(jù)集代入建立好的基于貝葉斯優(yōu)化的SVM-Xgboost模型中，進行檢驗，

所述步驟S1包括以下步驟：

S11、采用隨機欠采樣的方式對數(shù)據(jù)進行采樣預(yù)處理,將數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

S12、訓(xùn)練數(shù)據(jù)樣本為?，共m個樣本，其中為第i個樣本的屬性集，為類別標號，設(shè)存在一個超平面可將樣本分開，該平面可表示為：，和b為模型參數(shù)，使用特征空間的代替?x，則可表示為；

S13、使訓(xùn)練樣本和該平面距離最大化，應(yīng)滿足：，而最大邊緣化決策邊界應(yīng)使目標函數(shù)最小化，引入拉格朗日乘子將最優(yōu)超平面求解問題轉(zhuǎn)化為其對偶優(yōu)化問題求解，使用徑向基核函數(shù)來代替內(nèi)積：

其中，表示徑向基寬度參數(shù)；

其對偶優(yōu)化問題為：

St.

S14、對該對偶優(yōu)化問題求解，得最優(yōu)超平面的和b,即可得到支持向量機決策函數(shù)為：，

所述步驟S2包括以下步驟：

S21、選擇樹結(jié)構(gòu)概率密度估計（TPE）作為概率代理模型進行貝葉斯優(yōu)化:

p(c|q)?即模型損失函數(shù)為q的時候超參數(shù)為c的條件概率，即后驗概率；

首先，我們根據(jù)已有的數(shù)據(jù)選取一個損失函數(shù)的閾值?c*，然后，對大于閾值和小于閾值的數(shù)據(jù)，分別學(xué)習兩個概率密度估計t(c)和u(c)；

S22、選擇預(yù)期改進（EI）作為采樣函數(shù)進行概率密度估計，并計算先驗數(shù)據(jù)集中每個超參數(shù)的后驗分布：

其中，，P（c）為c的先驗概率，P（q|c）為c的似然概率；

S23、構(gòu)造?和?，對最大化采集函數(shù)EI進行化簡，得：

最大化采集函數(shù)（EI），則u(c)/t(c)最小時，得到一個新的超參數(shù)值c**，將該值重新代入SVM模型中，再次擬合t(c)和u(c),再次選出最大EI值對應(yīng)的超參數(shù)值，直到迭代結(jié)束，最終選擇迭代中SVM準確率最高的參數(shù)組合；

S24、將尋找到的最優(yōu)參數(shù)組合記錄下來，代入SVM模型中，可得到基于貝葉斯優(yōu)化的SVM模型,

所述步驟S3包括以下步驟:

S31、確定Xgboost模型迭代訓(xùn)練的目標函數(shù)為：

，

其中，為模型損失函數(shù)，為正則項，用于控制總模型復(fù)雜度，這里重新定義函數(shù)表示每次迭代時新加入的第k棵決策樹所表示的函數(shù)；

由于處理數(shù)據(jù)為分類數(shù)據(jù)，選取交叉熵損失為：

，

其中，為第i條數(shù)據(jù)實際類別標簽，為第i條數(shù)據(jù)預(yù)測類別標簽，為數(shù)據(jù)數(shù)量；

第k棵樹的模型復(fù)雜度：

其中，T為所建決策樹的葉子數(shù)量，為所建決策樹第j個葉子節(jié)點上的預(yù)測分數(shù)，也稱作葉子權(quán)重，并對參數(shù)取值、為懲罰系數(shù)，人為定義，默認、；

S32、訓(xùn)練模型，每一次迭代，就在目標函數(shù)中加入一個新函數(shù)；

第t輪，則加入新函數(shù)，使得目標函數(shù)降低最多，故第t輪的目標函數(shù)為：

；

對第t輪目標函數(shù)進行化簡，用泰勒公式展開取前三項并進行化簡，最終化簡結(jié)果為：

，

其中，?，，表示落在第j個葉子節(jié)點的所有樣本的集合，二者分別為t-1次迭代時，第j個葉子節(jié)點上所有樣本的一階導(dǎo)數(shù)之和和二階導(dǎo)數(shù)之和，其中，，為對求一階偏導(dǎo)，，為對求二階偏導(dǎo)；

S33、求目標函數(shù)最小值，即對目標函數(shù)求偏導(dǎo)使其等于0，求出表達式，并將其代入目標函數(shù)中，得目標函數(shù)表達式為：

，

根據(jù)表達式直接探索到最優(yōu)樹結(jié)構(gòu)，即能夠使目標函數(shù)降低最多的函數(shù)，并可求出最小值；

S34、求得最終樣本數(shù)據(jù)的預(yù)測值，即每次迭代所得預(yù)測結(jié)果之和：

，

由于采用邏輯回歸的損失函數(shù)，故最終預(yù)測結(jié)果表示分類概率，為之間的任意一個數(shù)。