[發明專利]一種實現面向金融大數據分析可視化方法

在審

• 申請號: 202010106706.1
• 申請日: 2020-02-21
• 公開（公告）號: CN111324602A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 李中棠;蔡浩淼;朱永佳
• 申請（專利權）人: 上海軟中信息技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/26;G06Q40/00
• 代理公司: 上海創開專利代理事務所(普通合伙) 31374
• 代理人: 吳海燕

1.一種實現面向金融大數據分析可視化方法，其特征在于，包括如下步驟：

S01、元數據采集管理：用于與金融系統交互，進行采集初始數據，按照金融屬性數據的基本信息、屬性、關聯關系維護獲取金融元數據；系統提供元數據的生命周期管理，并提供版本管理功能，確保了元數據的質量，保證后續使用元數據系統的權威性和可靠性；

S02、數據質量管理：用于數據質量問題進行管理，包括數據質量指標管理、指標調度與執行管理、問題管理、數據質量分析管理，通過接口層、應該層、功能層、系統管理層、存儲層來實現；

S03、數據標準化：用于對獲取的金融元數據進行標準化處理，以獲得標準化數據，采用全面標準化或漸進式標準化方式，包括標準化對象選定、單詞標準化、域標準化、用語標準化步驟實現；

S04、數據倉庫管理：用于通過數據倉庫的形式進行存儲經數據標準化的金融元數據，包括數據的抽取、數據的清洗轉換和數據倉庫日志以及警告發送的步驟；

S05、數據可視化：用于后臺根據數據來源和數據采集任務的執行情況以及系統數據備份情況獲取數據倉庫內的數據；具體是通過前端h5技術由后臺獲取數據，處理分析數據，利用JSONObject返回結果，前端獲取后臺返回的結果進行判斷，前端分析該結果，再決定進入后臺的最后一個環節，通過Echarts可視化技術展示數據抽取任務相關信息展示到界面；

S06、數據分析：利用深度學習網絡模型的卷積神經網絡和文本信息處理網絡從三方時間復雜度、空間復雜度和對模型的影響進行分析。

2.根據權利要求1所述的一種實現面向金融大數據分析可視化方法，其特征在于，所述S01步驟中，采集初始數據步驟包括：

T01、確立適配器：包括但不限于JDBC、EXCEL、template、hive、DB數據字典適配器；

T02、建立懸掛點：需要選擇元模型，要與適配器匹配；

T03、創建數據源：選擇適配器，適配器版本、采集方式、懸掛點，參數配置；判斷是否需要審核，若需要則進入步驟T04，若不需要則進入步驟T05；

T04、與質量檢索系統交互；

T05、采集模板管理：模板定制、模板映射；

T06、手動采集：順序為，通過采集任務管理選擇數據源，上傳模板，開始采集；查看得到的采集日志，并顯示報錯，進程；對于自動采集可以進行任務配置：包括設置采集時間、立即運行、結束采集進程步驟；

T07、視圖分發：在視圖管理對已采集的數據分發到用戶視圖的不同層級。

3.根據權利要求1所述的一種實現面向金融大數據分析可視化方法，其特征在于，所述數據質量指標管理依照數據質量的八大要素規范其中六種典型的數據質量問題的檢核規則，包括：非空檢查、唯一性檢查、主外鍵檢查、長度檢查、代碼檢查、一致性檢查；所述數據質量檢核的八大要素：完整性、合法性、唯一性、一致性、準確性、及時性、安全性、擴展性；

所述指標調度與執行管理是檢核指標執行的過程，是對源系統中存在的數據質量問題進行檢查的過程，通過系統自動/手動的方式發現系統中存在的數據質量問題；

所述問題管理由質量問題管理模塊實現，分為檢核問題自動管理和手工問題管理，并對檢核問題提供血統分析、影響分析、查看明細、導出功能和流程化管理；

所述數據質量分析管理用于對數據質量檢核出的結果進行分布式分析，包括指標查詢、查看趨勢分析視圖、查看及下載數據質量報告；通過圖形圖標界面，快速定位問產生的原因及歷史趨勢，為數據管理人員解決數據質量問題提供輔助。

4.根據權利要求1所述的一種實現面向金融大數據分析可視化方法，其特征在于，所述S03步驟中標準化對象選定包括步驟：指定詳細的執行計劃、確定標準化原則、定義標準化指南包括命名規則、選定標準化對象、收集源數據；

所述單詞標準化包括步驟：選擇基準詞典、詞素分析、單詞的定義、英文及縮寫命名同義詞分組、構建標準單詞詞典；

所述域標準包括分析數據類型、域分類及選定標準、定義域、定義域的數據類型及長度、構建標準域詞典后構建標準單詞詞典；

所述用語標準化包括對數據模型應用標準化、判斷用語的遵守、用語定義、構建標準用語詞典后構建標準單詞詞典。