[發(fā)明專利]一種金融業(yè)交易全鏈路日志的異常檢測方法

有效

• 申請?zhí)枺?/td>: 202210138369.3
• 申請日: 2022-02-15
• 公開（公告）號: CN114615018B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計）人: 楊好穎;朱品燕
• 申請（專利權(quán)）人: 北京云集智造科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06N20/00;G06Q40/06
• 代理公司: 北京博識智信專利代理事務(wù)所(普通合伙) 16067
• 代理人: 鄧凌云

本發(fā)明提供一種金融業(yè)交易全鏈路日志的異常檢測方法，采用上述技術(shù)方案解決了對交易鏈路的錯誤返回碼的統(tǒng)計只能手工設(shè)置閾值的問題。本發(fā)明通過機器學(xué)習(xí)方式對交易鏈路各種交易序列的特點進行建模，學(xué)習(xí)全天不同時段內(nèi)交易的分布概率，可以識別出新增序列異常，序列分布突增、突降異常，序列中斷異常。可以在第一時間檢測出交易的潛在故障并告警。同時解決了傳統(tǒng)的日志異常檢測方式會丟失大量鏈路的已有序列知識問題，可以更好的識別出交易鏈路的序列類異常，該類異常在多個金融機構(gòu)的實際生產(chǎn)環(huán)境中多次發(fā)生過，造成很嚴重的故障，追查和定位困難。

技術(shù)領(lǐng)域

本發(fā)明涉及異常檢測方法和系統(tǒng)領(lǐng)域，具體是指一種金融業(yè)交易全鏈路日志的異常檢測方法。

背景技術(shù)

現(xiàn)有技術(shù)方案有如下缺點：

1.人工梳理出的鏈路拓撲，無法納管中斷的交易序列和新增的交易節(jié)點，另外對于交易的分布情況出現(xiàn)異常時也無法識別。

2.傳統(tǒng)的日志異常檢測方式對于交易鏈路的序列類異常丟失了手工/自動構(gòu)建出的鏈路拓撲先驗知識，結(jié)果的準確性和可解釋性不夠好。

因此，一種金融業(yè)交易全鏈路日志的異常檢測方法成為整個社會亟待解決的問題。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案為：一種金融業(yè)交易全鏈路日志的異常檢測方法，包括假設(shè)構(gòu)建的鏈路拓撲，

鏈路1：模塊A＝》模塊B＝》模塊C；

鏈路2：模塊A＝》模塊D＝》模塊E＝》模塊F；

鏈路3：模塊A＝》模塊D；

(1)首先緩存所有的交易序列到內(nèi)存數(shù)據(jù)庫中；

(2)學(xué)習(xí)歷史上固定時間切片內(nèi)的交易序列分布情況，例如計算每工作日一下午15：00～15：05的所有交易序列的分布情況，用3西格瑪原則去除噪聲，例如鏈路1的概率是20％～40％；鏈路2的分布概率為40％～50％；鏈路3的分布概率為20％～30％；

(3)學(xué)習(xí)歷史上固定時間切片內(nèi)模塊間的轉(zhuǎn)移概率情況，例如計算每工作日一下午15：00～15：05模塊A到模塊D的轉(zhuǎn)移概率，用3西格瑪原則去除噪聲，得出模塊A到模塊D的轉(zhuǎn)移概率為在60％～80％，模塊A到模塊B的轉(zhuǎn)移概率為20％～40％。

進一步地，當有一條新的交易序列結(jié)束或超時后與內(nèi)存數(shù)據(jù)中已有的交易序列進行比對：

(1)如果歷史上沒有出現(xiàn)過該序列同時該序列也不是任一序列的子序列，則記錄下來該異常，當某固定時間切片(例如1分鐘或者5分鐘)內(nèi)發(fā)生的相同異常超過一個經(jīng)驗參數(shù)后發(fā)出告警，并標記為歷史新增序列異常；

(2)如果該序列是歷史上出現(xiàn)過的某一序列的子序列(同時序列長度大于某參數(shù))，則表明該序列是一個中斷的序列，記錄下來該異常，當某固定時間切片(例如1分鐘或者5分鐘)內(nèi)發(fā)生的相同異常超過一個經(jīng)驗參數(shù)后發(fā)出告警。如果該該序列屬于多個序列的子序列，則按照轉(zhuǎn)移概率排序取最大概率的那條序列，并標識為序列中斷異常；

(3)針對當前時間切片內(nèi)的所有序列，計算每一序列的統(tǒng)計比例，與歷史上的概率分布進行比對，如果超過上下限，則發(fā)出告警，并標識為序列分布異常，也可以設(shè)定經(jīng)驗參數(shù)，當突增或突降時才進行告警。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于，本發(fā)明采用上述技術(shù)方案，具備以下優(yōu)點：

(1)解決了對交易鏈路的錯誤返回碼的統(tǒng)計只能手工設(shè)置閾值的問題。本發(fā)明通過機器學(xué)習(xí)方式對交易鏈路各種交易序列的特點進行建模，學(xué)習(xí)全天不同時段內(nèi)交易的分布概率，可以識別出新增序列異常，序列分布突增、突降異常，序列中斷異常。可以在第一時間檢測出交易的潛在故障并告警。