[發(fā)明專利]一種基于流式和批式大數(shù)據(jù)融合計(jì)算的案件風(fēng)險(xiǎn)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010218816.7
• 申請(qǐng)日: 2020-03-25
• 公開(kāi)（公告）號(hào): CN111445323A
• 公開(kāi)（公告）日: 2020-07-24
• 發(fā)明（設(shè)計(jì)）人: 孫斌杰;王新根;魯萍;黃滔;陳浩;席龍;吳晶晶
• 申請(qǐng)（專利權(quán)）人: 浙江邦盛科技有限公司
• 主分類號(hào): G06Q40/02
• 分類號(hào): G06Q40/02;G06Q40/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開(kāi)了一種基于流式和批式大數(shù)據(jù)融合計(jì)算的案件風(fēng)險(xiǎn)識(shí)別方法。首先基于銀行操作風(fēng)險(xiǎn)場(chǎng)景，并提取相應(yīng)數(shù)據(jù)(交易流水+操作流水+靜態(tài)信息)導(dǎo)入到大數(shù)據(jù)平臺(tái)；然后基于風(fēng)險(xiǎn)場(chǎng)景中的歷史風(fēng)險(xiǎn)行為進(jìn)行特征提煉，明確特征邏輯；最后通過(guò)流式大數(shù)據(jù)計(jì)算和批式大數(shù)據(jù)融合計(jì)算的方法，進(jìn)行特征工程，并進(jìn)行特征組合形成規(guī)則，最終通過(guò)Spark+Rete技術(shù)進(jìn)行快速?zèng)Q策，識(shí)別可疑風(fēng)險(xiǎn)案件。本發(fā)明首次在海量數(shù)據(jù)場(chǎng)景下，基于流式大數(shù)據(jù)計(jì)算和批式大數(shù)據(jù)融合計(jì)算的方法進(jìn)行案件風(fēng)險(xiǎn)分析，能夠快速、靈活、準(zhǔn)確進(jìn)行風(fēng)險(xiǎn)識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是涉及一種基于流式和批式大數(shù)據(jù)融合計(jì)算的案件風(fēng)險(xiǎn)識(shí)別方法。

背景技術(shù)

近年來(lái)，我國(guó)金融操作風(fēng)險(xiǎn)案件呈現(xiàn)多發(fā)、高發(fā)態(tài)勢(shì)，多家銀行相繼曝出涉案金額巨大的操作風(fēng)險(xiǎn)案件，有關(guān)銀行在業(yè)務(wù)操作方面的案件屢屢發(fā)生，且操作風(fēng)險(xiǎn)方面的案情日趨復(fù)雜，作案手法隱秘。操作風(fēng)險(xiǎn)案件頻發(fā)，造成了巨大的經(jīng)濟(jì)損失和社會(huì)影響，給銀行業(yè)穩(wěn)健運(yùn)營(yíng)帶來(lái)全新挑戰(zhàn)。

伴隨銀行數(shù)十年的業(yè)務(wù)衍生，沉淀了百億級(jí)的數(shù)據(jù)，如何在海量的數(shù)據(jù)中篩查可疑風(fēng)險(xiǎn)案件，進(jìn)行有效的案件防范，已經(jīng)成為了一個(gè)迫切需要解決的問(wèn)題。傳統(tǒng)上，針對(duì)金融操作風(fēng)險(xiǎn)案件，銀行一般結(jié)合業(yè)務(wù)經(jīng)驗(yàn)和銀行工作流程對(duì)案件特征進(jìn)行剖析，通過(guò)純批式計(jì)算的規(guī)則進(jìn)行篩查，然而隨著數(shù)據(jù)量的突增，純批式計(jì)算的篩查方法已經(jīng)不能滿足業(yè)務(wù)對(duì)風(fēng)險(xiǎn)時(shí)效性要求和快速響應(yīng)的管理要求。一般的，純批式篩查存在以下問(wèn)題：

1)純批式計(jì)算對(duì)硬件要求較高，而且關(guān)系型數(shù)據(jù)庫(kù)在針對(duì)海量數(shù)據(jù)的讀寫、查詢、高并發(fā)等方面性能短板明顯；

2)純批式大數(shù)據(jù)計(jì)算在針對(duì)海量時(shí)序數(shù)據(jù)的特征計(jì)算時(shí)，數(shù)據(jù)全量計(jì)算導(dǎo)致計(jì)算資源消耗多，計(jì)算周期長(zhǎng)，而且時(shí)序計(jì)算結(jié)果無(wú)法復(fù)用。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于流式和批式大數(shù)據(jù)融合計(jì)算的案件風(fēng)險(xiǎn)識(shí)別方法，充分利用流式大數(shù)據(jù)計(jì)算和批式大數(shù)據(jù)計(jì)算各自的優(yōu)勢(shì)，充分發(fā)揮計(jì)算能力，并在海量數(shù)據(jù)中快速、靈活、準(zhǔn)確的進(jìn)行風(fēng)險(xiǎn)識(shí)別。

本發(fā)明是通過(guò)以下方案來(lái)實(shí)現(xiàn)的：一種基于流式和批式大數(shù)據(jù)融合計(jì)算的案件風(fēng)險(xiǎn)識(shí)別方法，該方法包括以下步驟：

步驟1、提取某風(fēng)險(xiǎn)場(chǎng)景下T時(shí)間范圍內(nèi)的數(shù)據(jù)，并將滾動(dòng)增量和全量的數(shù)據(jù)進(jìn)行去重處理，再導(dǎo)入到大數(shù)據(jù)平臺(tái)；

步驟2、基于步驟1中風(fēng)險(xiǎn)場(chǎng)景的歷史風(fēng)險(xiǎn)行為，提煉風(fēng)險(xiǎn)特征，并確定特征加工邏輯；

步驟3、對(duì)于步驟1中導(dǎo)入大數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行預(yù)處理操作；

步驟4、基于步驟2中的風(fēng)險(xiǎn)特征及特征加工邏輯，對(duì)于非時(shí)序類的特征通過(guò)Spark批式大數(shù)據(jù)計(jì)算對(duì)步驟3中的預(yù)處理數(shù)據(jù)進(jìn)行特征加工，得到非時(shí)序類數(shù)據(jù)的特征；

步驟5、基于步驟2中的風(fēng)險(xiǎn)特征及特征加工邏輯，對(duì)于有時(shí)序要求的特征，通過(guò)流式大數(shù)據(jù)計(jì)算對(duì)步驟3中的預(yù)處理數(shù)據(jù)進(jìn)行特征加工，得到時(shí)序類數(shù)據(jù)的特征。

步驟6、對(duì)步驟4、步驟5中得到的非時(shí)序類數(shù)據(jù)的特征和時(shí)序類數(shù)據(jù)的特征，通過(guò)業(yè)務(wù)專家進(jìn)行組合，形成規(guī)則；

步驟7、對(duì)步驟6形成的規(guī)則，通過(guò)Spark+Rete技術(shù)進(jìn)行規(guī)則決策，識(shí)別可疑風(fēng)險(xiǎn)案例。

進(jìn)一步地，所述步驟1中，所述的風(fēng)險(xiǎn)場(chǎng)景，包括但不限于銀行操作風(fēng)險(xiǎn)案件中涉及的內(nèi)外勾結(jié)、內(nèi)部舞弊、違規(guī)操作或外部欺詐等案件風(fēng)險(xiǎn)；所述的數(shù)據(jù)包括：交易流水?dāng)?shù)據(jù)、操作流水?dāng)?shù)據(jù)和靜態(tài)信息數(shù)據(jù)等。

進(jìn)一步地，所述步驟2中，所述提煉風(fēng)險(xiǎn)特征，即通過(guò)分析歷史風(fēng)險(xiǎn)案例中案例主體的風(fēng)險(xiǎn)行為特征，判斷作業(yè)模式和操作流程是否存在漏洞或缺陷，并通過(guò)相應(yīng)數(shù)據(jù)信息的統(tǒng)計(jì)值進(jìn)行描述；所述特征加工邏輯，即對(duì)提煉的風(fēng)險(xiǎn)特征進(jìn)行數(shù)據(jù)加工邏輯關(guān)系表達(dá)描述。