[發(fā)明專利]一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法

在審

• 申請?zhí)枺?/td>: 202010218816.7
• 申請日: 2020-03-25
• 公開（公告）號: CN111445323A
• 公開（公告）日: 2020-07-24
• 發(fā)明（設(shè)計）人: 孫斌杰;王新根;魯萍;黃滔;陳浩;席龍;吳晶晶
• 申請（專利權(quán)）人: 浙江邦盛科技有限公司
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06Q40/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，該方法包括以下步驟：

步驟1、提取某風(fēng)險場景下T時間范圍內(nèi)的數(shù)據(jù)，并將滾動增量和全量的數(shù)據(jù)進行去重處理，再導(dǎo)入到大數(shù)據(jù)平臺；

步驟2、基于步驟1中風(fēng)險場景的歷史風(fēng)險行為，提煉風(fēng)險特征，并確定特征加工邏輯；

步驟3、對于步驟1中導(dǎo)入大數(shù)據(jù)平臺的數(shù)據(jù)進行預(yù)處理操作；

步驟4、基于步驟2中的風(fēng)險特征及特征加工邏輯，對于非時序類的特征通過Spark批式大數(shù)據(jù)計算對步驟3中的預(yù)處理數(shù)據(jù)進行特征加工，得到非時序類數(shù)據(jù)的特征；

步驟5、基于步驟2中的風(fēng)險特征及特征加工邏輯，對于有時序要求的特征，通過流式大數(shù)據(jù)計算對步驟3中的預(yù)處理數(shù)據(jù)進行特征加工，得到時序類數(shù)據(jù)的特征。

步驟6、對步驟4、步驟5中得到的非時序類數(shù)據(jù)的特征和時序類數(shù)據(jù)的特征，通過業(yè)務(wù)專家進行組合，形成規(guī)則；

步驟7、對步驟6形成的規(guī)則，通過Spark+Rete技術(shù)進行規(guī)則決策，識別可疑風(fēng)險案例。

2.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟1中，所述的風(fēng)險場景，包括但不限于銀行操作風(fēng)險案件中涉及的內(nèi)外勾結(jié)、內(nèi)部舞弊、違規(guī)操作或外部欺詐等案件風(fēng)險；所述的數(shù)據(jù)包括：交易流水?dāng)?shù)據(jù)、操作流水?dāng)?shù)據(jù)和靜態(tài)信息數(shù)據(jù)等。

3.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟2中，所述提煉風(fēng)險特征，即通過分析歷史風(fēng)險案例中案例主體的風(fēng)險行為特征，判斷作業(yè)模式和操作流程是否存在漏洞或缺陷，并通過相應(yīng)數(shù)據(jù)信息的統(tǒng)計值進行描述；所述特征加工邏輯，即對提煉的風(fēng)險特征進行數(shù)據(jù)加工邏輯關(guān)系表達描述。

4.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟3中，通過Spark對不規(guī)范或者不合理的數(shù)據(jù)進行預(yù)處理操作，比如缺失值處理、異常值處理、數(shù)據(jù)邏輯錯誤處理、數(shù)據(jù)標(biāo)準化處理、數(shù)據(jù)格式內(nèi)容處理和去重處理等。

5.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟4中，對于非時序類的特征，可通過Spark將相同特征主體涉及的數(shù)據(jù)進行統(tǒng)計、關(guān)聯(lián)等簡單特征加工。

6.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟5中，對于有時序要求的特征，通過流式大數(shù)據(jù)計算引擎按照需求的計算精度進行時間切片，并通過時間窗滑動技術(shù)，對步驟3中的預(yù)處理數(shù)據(jù)進行增量時序計算。

7.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟6中，所述規(guī)則即特征結(jié)合邏輯運算符后的邏輯組合，特征間的組合包括：或和且。

8.根據(jù)權(quán)利要求1所述的一種基于流式和批式大數(shù)據(jù)融合計算的案件風(fēng)險識別方法，其特征在于，所述步驟7中，所述規(guī)則決策即通過Spark+Rete技術(shù)進行快速決策，對滿足規(guī)則的，即被認為存在可疑；所述Spark+Rete技術(shù)即結(jié)合Spark的分布式計算特性和Rete算法以空間換時間的策略將步驟7中的規(guī)則和數(shù)據(jù)進行匹配決策，從而實現(xiàn)快速的規(guī)則決策。