[發明專利]一種數據圖譜分析系統以及方法

在審

• 申請號: 201711424043.2
• 申請日: 2017-12-25
• 公開（公告）號: CN108197182A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 闕子揚;曹博睿;掌建軍;趙衛
• 申請（專利權）人: 百味云科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發明公開了一種數據圖譜分析系統，包括：數據處理模塊，數據處理模塊包括元數據采集單元、以及與元數據采集單元連接的數據流向分析單元；數據存儲模塊，數據存儲模塊包括與數據流向分析單元連接的數據圖譜存儲單元；數據展示模塊，數據展示模塊包括與數據圖譜存儲單元連接的數據圖譜展示單元；元數據采集單元用于從各個生產數據庫和分析數據庫收集元數據，數據流向分析單元利用解析工具JSQLParser分析ETL腳本，并結合元數據，得到各個生產數據庫和分析數據庫之間表和字段層級的關聯信息，關聯信息存入數據圖譜存儲單元，數據圖譜展示單元用于展示圖形化的關聯信息。本發明的上述技術方案能夠存儲和展示元數據之間的關聯關系。

技術領域

本發明涉及網絡技術領域，具體來說，涉及一種數據圖譜分析系統以及方法。

背景技術

數據圖譜分析系統記載了對數據處理的整個過程，包括數據的起源和處理這些數據的所有后繼操作。大數據平臺下分布式數據共享日益突出，數據的來源對于分析數據、統一數據口徑，管理模型變更、衡量數據的可信度、保證數據的質量等極為重要。但是，現有技術中并沒有這樣的數據圖譜分析系統。

發明內容

針對相關技術中存在的問題，本發明提出一種數據圖譜分析系統以及方法，能夠存儲和展示元數據之間的關聯關系。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種數據圖譜分析系統，包括：數據處理模塊，數據處理模塊包括元數據采集單元、以及與元數據采集單元連接的數據流向分析單元；數據存儲模塊，數據存儲模塊包括與數據流向分析單元連接的數據圖譜存儲單元；數據展示模塊，數據展示模塊包括與數據圖譜存儲單元連接的數據圖譜展示單元；

其中，元數據采集單元用于從各個生產數據庫和分析數據庫收集元數據，數據流向分析單元利用解析工具JSQLParser分析ETL腳本，并結合元數據，得到各個生產數據庫和分析數據庫之間表和字段層級的關聯信息，關聯信息存入數據圖譜存儲單元，數據圖譜展示單元用于展示圖形化的關聯信息。

根據本發明的實施例，元數據采集單元還用于通過工作流管理平臺Airflow對收集元數據的流程進行調度。

根據本發明的實施例，數據圖譜展示單元通過spring boot框架、Neo4j數據庫和echarts構建數據字典和數據圖譜展示頁面以展示圖形化的關聯信息。

根據本發明的實施例，其中數據圖譜存儲單元包括Neo4j數據庫，關聯信息存入Neo4j數據庫中。

根據本發明的實施例，數據存儲模塊還包括與元數據采集單元連接的元數據存儲單元，其中元數據采集單元將收集的元數據集成到元數據存儲單元中。

根據本發明的實施例，數據展示模塊還包括元數據管理單元，元數據管理單元用于提供查詢和展示界面以查看和查詢元數據。

根據本發明的另一方面，提供了一種數據圖譜分析方法，包括：

S1，從各個生產數據庫和分析數據庫收集元數據；

S2，利用解析工具JSQLParser分析ETL腳本，并結合元數據，得到各個生產數據庫和分析數據庫之間表和字段層級的關聯信息；

S3，展示圖形化的關聯信息。

根據本發明的實施例，步驟S1還包括：通過工作流管理平臺Airflow對收集元數據的流程進行調度。

根據本發明的實施例，步驟S3具體包括：通過spring boot框架、Neo4j數據庫和echarts構建數據字典和數據圖譜展示頁面以展示圖形化的關聯信息。