[發明專利]金融反欺詐的實時判斷方法

在審

• 申請號: 202010312133.8
• 申請日: 2020-04-20
• 公開（公告）號: CN111209299A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 譚巍;陳思成;李燁;陳衛;張奎
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06Q20/40
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

本發明涉及金融反欺詐的實時判斷方法，包括：A．異構數據處理：從消息隊列集群獲取外部產生的實時數據，并轉換為相同數據結構，將數據根據用戶ID進行關聯；B．規則清洗：根據各規則的級聯關系依次對得到的關聯數據分類和聚合，流入到數據暫存結構中保存；C．標記時間：在數據暫存結構中對每條數據標記時間；D．實時判斷：通過已定義的規則和每條數據標記的時間進行計算，計算結果達到了觸發閾值的數據，通知對應的反欺詐聯系人；丟棄掉計算結果沒有達到觸發閾值的數據。本發明能夠通過多個規則之間的級聯和各規則之間相互協同對異常數據進行檢測，極大程度提高了對反欺詐對隱蔽數據的檢測能力。

技術領域

本發明涉及金融領域的數據處理方法，具體講是金融反欺詐的實時判斷方法。

背景技術

隨著大數據、物聯網、AI（人工智能）等技術的在金融行業的加速推進，加快了金融行業的數字化、移動化和實時化，金融產業鏈被得到了拉伸。金融機構賬戶、渠道和數據等各方面的關聯性不斷增強，造成對業務連續性的管理難度不斷增大。同時，海量的客戶行為數據和交易數據產生，在這些海量數據下，需要及時識別出各種交易詐騙和盜卡等違法行為，以保障用戶的財產安全。在目前的金融反欺詐識別中，越發呈現出了風險識別難度更大和交易欺詐手法更隱蔽的特點。

為了加強金融交易中的安全控制，需要一個可實現對數據多維度檢測、多級規則檢測和低時延的實時分析方法。傳統的實時分析方法基本上采用的是Storm、Spark或則Flink等技術。這些技術都是采用基于時間窗口滑動，能夠考慮數據相互之間的影響，實現一維下的數據異常檢測，在時間窗口過長，滑動時間間隔小的情況下，會出現內存溢出和細粒度性能問題；同時它在規則配置是通過規則輪詢數據流，觸發其中某條規則后就會產生一個異常告警，隨后，無狀態的進入下一條規則判定。

這些技術存在一個明顯的不足，那就是無法實現大窗口下針對數據縱向比對，無法實現數據立體下檢測；同時不支持在多級規則之前的相互協同，如規則形成級聯規則下對異常數據的檢測；而且傳統的實時計算都要要搭建一個高效穩定的實時計算集群，這對公司初期的建造成本和后期維護成本是一個考驗。

發明內容

本發明提供了一種金融反欺詐的實時判斷方法，以實現通過多個規則之間的級聯和各規則之間相互協同對異常數據進行檢測，提高對反欺詐對隱蔽數據的檢測能力。

本發明金融反欺詐的實時判斷方法，包括：

A．異構數據處理：從消息隊列集群獲取外部產生的實時數據，將多個消息源的不同格式的數據轉換為相同數據結構的數據，然后將所述數據根據用戶ID進行關聯；

B．規則清洗：從已定義的各種規則中提取出規則關鍵字，根據各規則的級聯關系依次對步驟A得到的關聯數據分類和聚合，然后在定時器的控制下，將處理后的數據流入到基于Hbase數據庫集群實現的數據暫存結構中保存；

C．標記時間：在數據暫存結構中，對保存的每條數據標記對應的時間；

D．實時判斷：通過已定義的數據計算規則和計算時間維度的字段，根據每條數據標記的時間進行計算，對于每條數據的計算結果，如果達到了觸發閾值，則將對應的數據發送給對應的反欺詐聯系人；丟棄掉計算結果沒有達到觸發閾值的數據。

其中異構數據處理是從如Kafka集群等消息隊列集群中獲取外部產生的實時數據。然后需要將外部多個消息源的不同數據格式如Json、XML和txt等，處理轉換成統一的Protobuf Buffer（簡稱PB）格式后，再進行后續的處理。其中Protobuf Buffer是一種傳輸性能極高，空間占用極小的數據結構。然后通過各規則的級聯來對數據進行分類和聚合，擴大了通過規則判斷的范圍，實現了各規則之間相互協同對異常數據進行檢測。并且數據暫存結構是基于Hbase數據庫集群實現的，因此能夠充分利用Hbase數據庫集群的快速寫入能力和低延遲的讀取特性。