[發明專利]一種基于圖數據庫的數據血緣查詢方法及查詢系統

在審

• 申請號: 202010451284.1
• 申請日: 2020-05-25
• 公開（公告）號: CN111723253A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 劉南余;陳寅;胡凱;梁禮華;張順源
• 申請（專利權）人: 貴州華泰智遠大數據服務有限公司
• 主分類號: G06F16/9032
• 分類號: G06F16/9032;G06F16/901;G06F16/903
• 代理公司: 貴陽易博皓專利代理事務所(普通合伙) 52116
• 代理人: 張浩宇

本發明公開了一種基于圖數據庫的數據血緣查詢方法及查詢系統，它采用圖形數據庫來進行血緣結構數據的存儲，通過基于圖數據庫的查詢引擎來查找查詢數據血緣結構并定位數據血緣，通過基于B/S的大數據視圖展現數據血緣結構。本發明可以靈活、高效、精確的解決數據治理過程中數據血緣分析的問題，實現對數據血緣這一理論研究結果的系統信息化，將模糊的數據血緣管理和分析具象化、結構化、標準化、可操作話，為數據治理和分析提供新的技術手段，為數據治理工作提供豐富的創新應用，具有廣闊的市場應用前景。

技術領域

本發明涉及一種數據血緣查詢方法及數據血緣查詢系統，尤其涉及一種基于圖數據庫的數據血緣查詢方法及數據血緣查詢系統，屬于計算機大數據技術領域。

背景技術

在數據信息時代，每時每刻都會產生龐大的數據，即通常說的大數據，對這些數據進行各種加工組合、轉換，又會產生新的數據，這些數據之間就存在著天然的聯系，把這些聯系稱為數據血緣關系。

在進行數據治理、數據中臺建設過程中，針對數據的來源、數據的評估、數據的定位缺乏有效手段。數據治理強調數據的準確性，對數據一數一源提出要求和標準，但是在實際生產過程中，一數多頭的情況經常發生，例如人員組織機構信息，經常出現多系統、多渠道的情況。因此，急需一種清晰、快速的手段，對數據血緣進行查找和展示，從而快速定位數據源，分析數據問題，優化系統結構，清理數據冗余，幫助數據治理工作開展。

發明內容

本發明所要解決的技術問題在于提供一種基于圖數據庫的數據血緣查詢方法，實現數據血緣關系的快速查詢、血緣層級查詢、血緣可視化，解決上述現有技術存在的問題。

為解決上述技術問題，本發明采用的技術方案如下：

一種基于圖數據庫的數據血緣查詢方法，該方法采用圖形數據庫來進行血緣結構數據的存儲，通過基于圖數據庫的查詢引擎來查找查詢數據血緣結構并定位數據血緣，通過基于B/S的大數據視圖展現數據血緣結構。

一種基于圖數據庫的數據血緣查詢系統，系統構成包括以下五層結構：

基礎數據層，包含基礎云平臺以及各種結構的數據源數據庫，數據源內容可以是業務數據、流程數據或元數據；

數據加工層，用于將業務數據轉化成圖數據；

圖數據層，主要負責數據血緣結構數據的存儲、查詢，并提供數據對上層組件的驅動，

服務層，基于角色權限認證，提供各種格式對外的數據服務接口，以供上層應用調用；

應用層，基于提供的接口，結合圖數據組件，構建面向數據治理與業務應用的數據血緣應用。

上述的基于圖數據庫的數據血緣查詢系統，具體來說，所述的基礎數據層，包含NOSQL（非關系型數據庫）和RDBMS（關系型數據庫）。

上述的基于圖數據庫的數據血緣查詢系統，具體來說，所述的數據加工層，包含ODS（操作數據存儲系統）、kettle、MQ（消息隊列）組件。

上述的基于圖數據庫的數據血緣查詢系統，具體來說，所述的圖數據層，包含NEO4J，Cypher，D3JS，echarts。

上述的基于圖數據庫的數據血緣查詢系統，具體來說，所述的服務層，包含RBAC，webApi，XML，JSON。

上述的基于圖數據庫的數據血緣查詢系統，具體來說，所述的應用，包括一數一源比對分析，數據血緣結構查詢，冗余數據清洗整合，數據血緣報告生成與數據質量分析。