[發明專利]基于大數據的銀行風險分析庫平臺、搭建方法及可讀介質

在審

• 申請號: 202010715423.7
• 申請日: 2020-07-22
• 公開（公告）號: CN111798311A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 王玉海;曾杰;張志宏;陳紹佳
• 申請（專利權）人: 睿智合創（北京）科技有限公司
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06F16/182;G06F16/16;G06F16/14
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 姚遠方

1.一種基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述方法包括以下步驟：

S1梳理源系統數據庫表結構，基于已有數據進行數據應用方案設計；

S2基于應用需求進行衍生層設計，并基于衍生層應用需求建立標準層，實現從源系統到衍生層得銜接；

S3梳理關系映射表和衍生層加工邏輯；

S4通過元數據管理模塊生成數據表創建sql、數據映射sql和指標加工sql；

S5通過元數據分類和建模、血緣關系和影響分析生成數據核驗規則sql，對必要字段進行規則校驗，進行數據清洗；

S6通過開源軟件StreamSets，調用元數據管理模塊生成得各種sql，通過SQL解析器獲取執行計劃，按照定義得ETL流程，完成數據抽取、轉換、加載和計算的全過程。

S7將結果數據分發至應用系統進行數據應用。

2.根據權利要求1所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述S1中，所述梳理源系統數據庫表結構，明確可采集得數據范圍、采集頻率和采集方式，所述數據應用方案設計包括數據查詢、報表、關聯分析和數據挖掘、模型驗證與優化和風險預警。

3.根據權利要求1所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述S3中，梳理關系映射表是通過建立數據映射關系表，連接表、字段和字段值的關系；

梳理衍生層加工邏輯是通過標準層的數據庫表加工衍生層得邏輯梳理，包括指標加工邏輯、分類關系、關聯節點和預測數據。

4.根據權利要求1所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述S4中，將所有的數據實體以及數據實體加工處理過程中的邏輯規則和數據映射關系上傳至元數據管理模塊，從而生成數據表創建sql、數據映射sql和指標加工sql。

5.根據權利要求1所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述S5中，進行數據清洗時，將不符合規則的數據過濾到分析庫管理系統中，并給出提示，然后由人工干預并在前端進行數據修正后將數據寸回分析庫。

6.根據權利要求1所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，所述數據應用支持將結果數據分發至應用系統并支持數據應用。

7.一種基于大數據的銀行風險分析庫平臺，所述平臺用于支撐并執行如權利要求1-6任一項所述的基于大數據的銀行風險分析庫平臺搭建方法，其特征在于，包括文件存儲區、臨時數據區、貼源數據區、主題數據區、應用數據區和歸檔數據區。

8.根據權利要求7所述的基于大數據的銀行風險分析庫平臺，其特征在于，源系統到文件存儲區時，執行批量數據同步，由源系統定時卸載新增或時點數據到文件服務器上的文件存儲區；

文件存儲區到臨時數據區時，執行文件到達事件監控，觸發ETL工作流，通過ETL程序定時抓取文件服務器上的數據文件，進行文件質量核驗并解析加載到臨時數據區；

臨時數據區到貼源數據區時，通過ETL工具按照貼源數據模型整合數據，存儲在貼源數據區；

源系統到貼源數據區時，執行實時數據同步，由ETL工具通過數據庫數據交換組件獲取增量數據，執行標準化處理和貼源整合，存儲在貼源數據區；

貼源數據區到主題數據區時，按照主題數據模型整合數據并生成匯總，存儲在主題數據區；

主題數據區到應用數據區時，按照應用數據加工規則，調取sql、java或python代碼執行數據加工計算，存儲再應用數據區；

數據歸檔時，按照不同區域數據得特點，執行不同的歸檔策略，方便進行歷史數據查詢和業務回溯。