[發(fā)明專利]交易量實時監(jiān)測方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011630230.8
• 申請日: 2020-12-31
• 公開（公告）號: CN112651785A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計）人: 劉曉龍;趙煥芳;侯鑫磊;劉云飛;牛佩云;馬曉維
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q40/04;G06N20/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 林哲生

1.一種交易量實時監(jiān)測方法，其特征在于，基于交易量實時監(jiān)測系統(tǒng)，所述交易量實時監(jiān)測系統(tǒng)包括：數(shù)據(jù)通道、流計算平臺和訓(xùn)練平臺；所述數(shù)據(jù)通道用于接收交易數(shù)據(jù)；所述交易數(shù)據(jù)是用戶或上游系統(tǒng)發(fā)起交易時的采集的；

所述交易量實時監(jiān)測方法包括：

所述流計算平臺獲取所述數(shù)據(jù)通道中的實時交易數(shù)據(jù)并統(tǒng)計出實時交易量；

所述流計算平臺將所述實時交易數(shù)據(jù)和交易量數(shù)據(jù)存至數(shù)據(jù)通道和數(shù)據(jù)庫；所述訓(xùn)練平臺用于進行離線機器學(xué)習(xí)模型訓(xùn)練，得到初始的機器學(xué)習(xí)模型，并根據(jù)所述數(shù)據(jù)庫中數(shù)據(jù)進行周期性的機器學(xué)習(xí)模型訓(xùn)練；其中，在任一周期的訓(xùn)練過程中，所述訓(xùn)練平臺獲取所述數(shù)據(jù)通道中預(yù)設(shè)時間范圍內(nèi)的數(shù)據(jù)，根據(jù)獲取的數(shù)據(jù)訓(xùn)練所述初始的機器學(xué)習(xí)模型或上一周期訓(xùn)練得到的機器學(xué)習(xí)模型，將訓(xùn)練好的機器學(xué)習(xí)模型和模型參數(shù)發(fā)布至所述流計算平臺；所述預(yù)設(shè)時間范圍的終點為所述任一周期的開始時刻；

所述流計算平臺使用所述實時交易數(shù)據(jù)作為自定義算子的輸入，輸出對未來N個時間切片的交易量預(yù)測結(jié)果；N為正整數(shù)；所述自定義算子包括所述流計算平臺定期加載的、最新訓(xùn)練好的機器學(xué)習(xí)模型和模型參數(shù)；

所述流計算平臺將所述實時交易量，與相應(yīng)的交易量預(yù)測結(jié)果進行偏差度計算；

若偏差度大于預(yù)定值時，所述流計算平臺推送預(yù)警信號；所述相應(yīng)的交易量預(yù)測結(jié)果包括：當(dāng)前時刻所對應(yīng)的時間切片的交易量預(yù)測結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，

所述數(shù)據(jù)通道中的交易數(shù)據(jù)為交易日志；

所述流計算平臺部署有第一至第三流計算作業(yè)；

所述獲取所述數(shù)據(jù)通道中的實時交易數(shù)據(jù)并統(tǒng)計出交易量數(shù)據(jù)包括：

第一流計算作業(yè)從所述數(shù)據(jù)通道中獲取交易日志，從獲取的交易日志篩選出預(yù)設(shè)維度的交易日志，對篩選出的交易日志進行時間切片和預(yù)處理，以加工出時間序列數(shù)據(jù)流；所述預(yù)處理至少包括：統(tǒng)計每一時間切片內(nèi)的交易量；所述時間序列數(shù)據(jù)流包括：按時間切片分布的交易量；

所述使用所述實時交易數(shù)據(jù)作為自定義算子的輸入，輸出對未來N個時間切片的交易量預(yù)測結(jié)果包括：

第二流計算作業(yè)使用所述時間序列數(shù)據(jù)流作為輸入，將加載的、最新訓(xùn)練好的機器學(xué)習(xí)模型和模型參數(shù)嵌入為自定義算子，由所述時間序列數(shù)據(jù)流觸發(fā)進行實時預(yù)測，并輸出預(yù)測交易量數(shù)據(jù)流；所述預(yù)測交易量數(shù)據(jù)流包括：未來N個時間切片的預(yù)測交易量；

所述將所述實時交易量，與相應(yīng)的交易量預(yù)測結(jié)果進行偏差度計算包括：

第三流計算作業(yè)拉取所述第一流計算作業(yè)加工的時間序列數(shù)據(jù)流，按時間切片與第二流計算作業(yè)的預(yù)測交易量數(shù)據(jù)流，進行偏差度計算。

3.如權(quán)利要求1或2所述的方法，其特征在于，離線機器學(xué)習(xí)模型訓(xùn)練的訓(xùn)練過程或任一周期的訓(xùn)練過程包括：

所述訓(xùn)練平臺獲取歷史交易數(shù)據(jù)和對應(yīng)的歷史交易量數(shù)據(jù)作為樣本；

將樣本劃分至訓(xùn)練集、驗證集和測試集；

向機器學(xué)習(xí)模型輸入所述訓(xùn)練集中的樣本由機器學(xué)習(xí)模型進行N個時間切片的交易量預(yù)測，得到交易量預(yù)測值；

根據(jù)N個時間切片的交易量預(yù)測值和時間相對應(yīng)的歷史交易量數(shù)據(jù)，使用L2正則化的加權(quán)交叉熵損失函數(shù)計算樣本的損失值；在所述加權(quán)交叉熵損失函數(shù)中，負樣本的權(quán)重高于正樣本的權(quán)重；所述負樣本包括：交易量預(yù)測值與相應(yīng)的歷史交易量數(shù)據(jù)的偏差度大于預(yù)設(shè)值的樣本；

根據(jù)計算出的損失值進行參數(shù)調(diào)整。

4.如權(quán)利要求3所述的方法，其特征在于，所述訓(xùn)練過程還包括：

接收對負樣本的人工復(fù)核結(jié)果；所述人工復(fù)核結(jié)果用于表征所述負樣本是真正的負樣本，或者，是被誤識別為負樣本的正樣本；

根據(jù)所述人工復(fù)核結(jié)果，對所述訓(xùn)練集中的樣本進行標(biāo)識；標(biāo)識后的訓(xùn)練集中的樣本用于下一次迭代訓(xùn)練使用。

5.如權(quán)利要求3所述的方法，其特征在于，訓(xùn)練過程還包括：

對訓(xùn)練得到的機器學(xué)習(xí)模型的預(yù)測有效性進行驗證。