[發明專利]一種基于流式計算的實時反欺詐數據處理方法及系統

在審

• 申請號: 202110333981.1
• 申請日: 2021-03-29
• 公開（公告）號: CN112862009A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 胡奎政
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06Q10/06;G06Q40/04
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 于越;張峰

本發明涉及一種基于流式計算的實時反欺詐數據處理方法及系統，包括獲取實時交易數據；解析實時交易數據合法性和有效性；根據實時交易數據查詢關聯的離線特征數據；根據離線特征數據將實時交易數據轉化為對應不同特征以及特征下不同維度的多條輸入數據；匯總輸入數據形成實時預測特征輸入集；將實時預測特征輸入集輸入預先訓練完成的反欺詐預測模型得到反欺詐評分。對接常見數據源例如kafka，通過流式計算方式處理交易數據并高效的生成用于反欺詐判斷的特征集，可以實現對于高并發、大規模的實時交易數據進行低延時的反欺詐識別操作。

技術領域

本發明涉及技術領域，尤其涉及一種基于流式計算的實時反欺詐數據處理方法及系統。

背景技術

隨著互聯網、移動互聯網和物聯網的廣泛而深入地應用，人類正式邁入大數據時代，針對復雜、多樣的網絡環境，從大規模、高并發、多維度的數據中快速預防或者識別可能存在的欺詐交易行為至關重要，在大數據技術的浪潮中，出現了很多優秀的產品和方案，其中較具影響力的有spark streaming，storm，但這些產品的特性本質還是微批的操作，無法滿足低延時、高并發、大規模的實時反欺詐業務場景。

具體的，現有技術中已經能夠通過海量數據處理結合實際經驗獲得較為可靠的反欺詐預測模型，將處理后的交易信息數據輸入反欺詐預測模型能夠分析獲得較高精確度的欺詐交易識別結果，但這種分析結果往往是交易完全結束之后才能進行的后續補充甄別操作，只能用于發現已經產生的欺詐交易行為并盡力彌補欺詐交易造成的影響，不能實現實時的反欺詐業務需求或做到對欺詐業務的預防；同時，當系統需要同時面對大量并發交易請求時，現有的反欺詐識別系統普遍使用的數據處理方法也不能提供相匹配的處理效率。

發明內容

為解決現有技術的不足，本發明提出一種基于流式計算的實時反欺詐數據處理方法及系統，對接常見數據源例如kafka，通過流式計算方式處理交易數據并高效的生成用于反欺詐判斷的特征集，可以實現對于高并發、大規模的實時交易數據進行低延時的反欺詐識別操作。

為實現以上目的，本發明所采用的技術方案包括：

一種基于流式計算的實時反欺詐數據處理方法，其特征在于，包括：

獲取實時交易數據；

解析實時交易數據合法性和有效性；

根據實時交易數據查詢關聯的離線特征數據；

根據離線特征數據將實時交易數據轉換為對應不同特征以及特征下不同維度的多條輸入數據；

匯總輸入數據形成實時預測特征輸入集；

將實時預測特征輸入集輸入預先訓練完成的反欺詐預測模型得到反欺詐評分。

進一步地，所述獲取實時交易數據包括以預設窗口時間將實時交易數據切分，生成格式化實時交易數據。

進一步地，所述解析實時交易數據合法性和有效性包括設置過濾器對格式化實時交易數據進行合法性檢查和時效性檢查；所述合法性檢查包括檢查交易是否滿足預設的交易規則；所述時效性檢查包括檢查實時交易數據是否存在延遲和是否有效。

進一步地，所述根據實時交易數據查詢關聯的離線特征數據包括從實時交易數據提取交易特征主鍵信息，并依據交易特征主鍵信息查詢存儲的離線特征數據。

進一步地，所述根據離線特征數據將實時交易數據轉換為對應不同特征以及特征下不同維度的多條輸入數據包括將實時交易數據依據不同特征以及特征下不同維度轉換為多條輸入數據，針對不同特征以及特征下不同維度的多條輸入數據執行聚合或累加操作得到并存儲中間匯總結果。

進一步地，所述匯總輸入數據形成實時預測特征輸入集包括整合不同特征、維度的中間匯總結果與對應的離線特征數據形成實時預測特征輸入集。