[發明專利]大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法

在審

• 申請號: 202010519541.0
• 申請日: 2020-06-09
• 公開（公告）號: CN111611458A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 滑少鵬;曹宗偉
• 申請（專利權）人: 普元信息技術股份有限公司
• 主分類號: G06F16/907
• 分類號: G06F16/907;G06F16/906;G06F16/9038;G06F16/242;G06F16/215
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

本發明涉及一種大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法，包括以下操作：系統信息錄入，記錄系統基本情況；通過標準元數據采集工具采集技術元數據；從系統的業務場景為源點采集業務元數據；通過業務元數據的關聯分析元數據鏈路；識別業務元數據與技術元數據的業務含義；分析數據能力、數據全景和數據熱度。采用了本發明的大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法，通過自上而下的采集業務元數據，自下而上的采集技術元數據，由于對系統功能的全覆蓋采集，數據的真實性、有效性得以保障，具有更高的準確性且可落地性強，為企業在大數據治理領域提供有力支撐，具有很好的推廣應用價值。

技術領域

本發明涉及計算機軟件領域，尤其涉及大數據治理領域，具體是指一種大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法。

背景技術

隨著大數據技術的快速發展，越來越多的企業開始將數據視為資產進行管理，更有不少企業在數據資產的基礎上實現了數據運營，而要具備這些能力，企業對系統的數據架構需要有一個全面認識，例如：在系統的各種數據中，哪些是基礎數據、哪些是核心數據、系統的數據主題有哪些、系統能夠對外提供哪些數據等等，而企業的系統建設并不統一，往往由不同供應商采用不同技術架構在不同時期建成，企業對系統本身的數據情況并不完全掌握，因此想從全局出發進行數據架構梳理是非常不易的，當前市場上一般采用元數據技術盤點系統數據結構，再與業務專家進行調研，梳理數據架構，但由于元數據本身太技術化，缺少對業務的理解，而業務專家又大多不了解技術實現并且業務能力無法準確衡量，調研效果也有好有壞，往往費時、費力梳理之后得到的結果卻差強人意，數據主題也因此變成“空中樓閣”，難以落地，因此，企業需要一個上手難度小、人員要求低、過程標準化，并且得到的結果準確、有效，具備較高可落地性的系統數據架構梳理方法。

現有元數據相關技術如下：

一種基于元數據鏈路的數據追蹤方法及系統(申請號：CN201910095599.4)，其提供了一種基于元數據鏈路的數據追蹤方法，包括：收集數據傳輸日志；根據數據傳輸日志生成字段級元數據鏈路；根據上傳的查詢條件，追蹤到與查詢條件匹配的字段級元數據鏈路；對字段級元數據鏈路進行可視化處理以生成圖形界面。本發明還公開了一種基于元數據鏈路的數據追蹤系統，包括收集模塊，用于收集數據傳輸日志；生成模塊，用于生成字段級元數據鏈路；追蹤模塊，用于根據上傳的查詢條件追蹤與查詢條件相匹配的字段級元數據鏈路；可視化模塊，用于對字段級元數據鏈路進行可視化處理以生成圖形界面。采用本發明，通過字段級元數據鏈路，能夠快速追蹤到具體的數據。

通過上述一種基于元數據鏈路的數據追蹤方法及系統技術，包括：通過收集數據傳輸日志，進一步生成字段級元數據鏈路，并可視化顯示，通過元數據鏈路，追蹤到具體的數據。通過獲取模塊能夠獲取到整個數據鏈路中每個流轉節點的數據值，通過比較模塊比較整個數據鏈路中每個流轉節點的數據值，定位出有問題的流轉節點及其數據值。通過范圍判斷模塊，在定位出問題流轉節點后，通過數據鏈路追蹤，能夠判斷出哪些流轉節點會受影響，哪些數據鏈路會受影響，從而發現問題，補救問題。通過質量反饋模塊，對數據質量情況反饋，能夠獲悉數據傳輸過程中數據質量的變化，從而實現對整條數據鏈路的數據質量進行監控。該技術從元數據視角出發，通過技術手段追蹤數據鏈路，但卻缺少對業務的理解，更多作用在于事后快速定位問題，并不擅長梳理系統的數據架構，無法分析出系統中涉及的數據主題和系統能提供的數據能力。

發明內容

本發明的目的是克服了上述現有技術的缺點，提供了一種滿足有效性高、分析能力強、適用范圍較為廣泛的大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法。

為了實現上述目的，本發明的大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法如下：

該大數據治理中基于元數據和數據分析技術實現系統數據架構梳理的方法，其主要特點是，所述的方法包括以下步驟：

(1)系統信息錄入，記錄系統基本情況；