[發(fā)明專利]一種基于Pregel的實現(xiàn)挖掘商業(yè)銀行交易數(shù)據(jù)的資金圈分布的方法

在審

• 申請?zhí)枺?/td>: 202011267511.1
• 申請日: 2020-11-13
• 公開（公告）號: CN112256769A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 龐明宇
• 申請（專利權）人: 北京海致星圖科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06Q40/02;G06Q40/04
• 代理公司: 北京成實知識產(chǎn)權代理有限公司 11724
• 代理人: 張焱

本發(fā)明公開了一種基于Pregel的實現(xiàn)挖掘商業(yè)銀行交易數(shù)據(jù)的資金圈分布的方法，包括如下步驟：步驟1：以轉賬交易數(shù)據(jù)構建邊，形成一個資金交易的有向圖；步驟2：設計一種對適配性強的迭代算法，并基于spark的pregel引擎實現(xiàn)，以此找出成環(huán)的資金流向。本發(fā)明解決了在利用傳統(tǒng)方法求解資金圈形態(tài)時，由于潛在的數(shù)據(jù)傾斜導致性能不佳的問題。本發(fā)明方法依舊采用逐層迭代，但不再需要多次大表join，解決了傳統(tǒng)做法由于多次join,代碼冗余，且不能靈活跟隨資金圈的節(jié)點個數(shù)的問題。本發(fā)明在代碼完成后，能夠支持不改變原有任何代碼邏輯，將代碼打包，并且只需要在配置文件中配置層次參數(shù)，就能動態(tài)實現(xiàn)尋找k個節(jié)點的資金圈，這更適合真實業(yè)務場景，提升效率。

技術領域

本發(fā)明涉及經(jīng)濟風險分析技術領域，更具體地說，它涉及一種基于Pregel的實現(xiàn)挖掘商業(yè)銀行交易數(shù)據(jù)的資金圈分布的方法。

背景技術

在審計領域里，資金交易分析為其必不可少的一個部分。而資金交易又存在種種形態(tài)，比如擔保圈，資金圈等。其中，資金圈形態(tài)主要指，客戶與第三方的資金多次交易，并且相鄰兩筆交易之間存在一定的約束關系，并最終回流到自身的情況。資金圈形態(tài)的出現(xiàn)代表著該鏈路所形成的社區(qū)客戶，存在某種非法交易，特殊交易的可能，因而具有審計的需要，以規(guī)避可能出現(xiàn)的經(jīng)濟風險。

目前挖掘資金圈以尋找資金流向的具體形態(tài)為思路，傳統(tǒng)方法以窮舉，hivesql或者sparksql遍歷為主，但總的來說，該種手段過于復雜，計算量大，且不夠靈活，很難做到適配化。比如，

1.資金轉賬表一般量級很大，用sql去追蹤資金交易時，其實就是尋找類似a-b-c的鏈路，這種實現(xiàn)通過sqljoin來實現(xiàn)。但兩大表的join操作會導致笛卡爾積的產(chǎn)生。并且資金圈一般鏈路較長，因而隨著鏈路變長，會產(chǎn)生多次笛卡爾積。并且，由于資金轉賬涉及多種業(yè)務類型，所以存在著銀行業(yè)務里最為夸張的數(shù)據(jù)傾斜(比如多個子公司向母公司轉賬)。交易數(shù)據(jù)量巨大，多重笛卡爾積，數(shù)據(jù)傾斜，這三者對系統(tǒng)內存容量提出了極高的要求。而且運行風險不好評估，難以確保代碼能順利跑通。

2.傳統(tǒng)的利用sql來尋找資金圈的辦法，很難做到很靈活，例如，比如資金圈歷經(jīng)10個實體，則sql要寫9次。如果要找出歷經(jīng)12個實體的，則要寫11次sql。這會導致很多重復工作，代碼冗長。

基于上面這些存在問題，本發(fā)明設計了一種新型的尋找資金圈的辦法。該方法放棄sql思路，將所有轉賬數(shù)據(jù)構建為一張有向圖，并利用pregel框架，分布式迭代遍歷有向圖中所有邊，迭代遍歷方向按照業(yè)務實際需求而定。該種方法可以解決sql思路下計算量過大，且由于數(shù)據(jù)傾斜普遍存在而導致的性能不佳的問題。

發(fā)明內容

針對現(xiàn)有技術存在的不足，本發(fā)明的目的在于提供一種基于Pregel的實現(xiàn)挖掘商業(yè)銀行交易數(shù)據(jù)的資金圈分布的方法，其以解決上述背景技術中提出的問題。

為實現(xiàn)上述目的，本發(fā)明提供了如下技術方案：

一種基于Pregel的實現(xiàn)挖掘商業(yè)銀行交易數(shù)據(jù)的資金圈分布的方法，其特征在于：包括如下步驟：

步驟1：以轉賬交易數(shù)據(jù)構建邊，形成一個有向圖，圖中每一條邊都是一個轉賬交易行為，邊的表達形式如下：(a,b,attrs),整個有向圖的數(shù)學形式為：[(srcId,srcAttr),(dstId,dstAttr),(attr)]；

其中a，b代表企業(yè)實體，attrs代表a和b轉賬行為的自有屬性；

其中，srcId為a轉賬方節(jié)點id；

其中，srcAttr為a轉賬方節(jié)點自身屬性；

其中，dstId為b轉賬方節(jié)點id；

其中，dstAttr為b轉賬方節(jié)點自身屬性；

其中，attr為轉賬屬性