[發明專利]一種數據應用全鏈路管控方法及系統

在審

• 申請號: 202110813132.6
• 申請日: 2021-07-19
• 公開（公告）號: CN113468159A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 梁盈威;江疆;楊秋勇;馮歆堯
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F16/28
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種數據應用全鏈路管控方法及系統，該方法包括：采集業務系統中的數據作業流程，獲得數據作業節點；根據所述數據作業節點，對數據應用節點進行鏈接從而生成鏈路；讀取、解析監控設置參數，獲得對數據質量、數據安全的監控配置參數；根據所有所述鏈路的相關數據與所述監控配置參數，對全鏈路進行實時監控，并輸出監控結果數據。該方法可對所有數據作業流程或應用的運行狀態進行監控，同時，能針對單一應用、單一鏈路或重點應用開展可視化監控，有效保障數據應用的運行和數據的質量，提高數據運營效率和收益，最終實現數據應用的全鏈路管控。

技術領域

本發明涉及計算機數據技術領域，特別涉及一種數據應用全鏈路管控方法及系統。

背景技術

數據資產包含企業在日常生產、經營、管理過程中由本身產生的或從企業外部得到的有意義的數據資源。數據資產管理的含義即是通過收集并開發將數據有效的利用、將數據進行資產化定位，使得相關數據資產得到有效的安全保障，從而更好地被相關企業利用達到經濟上的效益。

資產應用是數據資產管理的一個重要的方向，資產應用通過全鏈路實現端到端打通，評估應用投入產出比，并進行安全的檢測管控。在數據資產管理的過程中，對數據的調用、加工、分析，需要針對資源分配、穩定性、及時性、錯誤定位等問題，對數據應用進行全鏈路監控，這種監控的目的是為了對業務流程的健康狀況了然于胸，對于數據加工的全局和各個加工流程的上下游中出現的問題能快速發現、定位。

以電網行業為例，隨著電網行業業務的拓展和技術的發展，單靠傳統的“監控大盤”模式已經越來越不能滿足監控需求，主要表現在以下幾個方面：

“監控大盤”主要反映的是單個業務或應用的運行狀態，缺少全局的業務視角能反應整個“業務域”的上下游整體的運行情況。

“業務監控”一直都是由“開發人員”純手工打造，需要經過日志埋點、監控配置、報警閾值設置，整個過程費時費力，缺乏自動化、智能化監控的手段，這也是造成各系統監控能力參差不齊的重要原因，一些新業務因為無力投入大量精力配置監控，導致業務監控能力缺失。

因此，如何實現對整個“業務域”相關數據的監控，成為同行從業人員急需解決的問題。

發明內容

本發明的目的在于提供一種數據應用全鏈路管控方法及系統，該方法可實現對整個業務域相關數據的管控，可解決業務監控能力缺失的問題。

本發明實施例提供一種數據應用全鏈路管控方法，包括：采集業務系統中的數據作業流程，獲得數據作業節點；

根據所述數據作業節點，對數據應用節點進行鏈接從而生成鏈路；

讀取、解析監控設置參數，獲得對數據質量、數據安全的監控配置參數；

根據所有所述鏈路的相關數據與所述監控配置參數，對全鏈路進行實時監控，并輸出監控結果數據。

在一個實施例中，還包括：

解析所述監控結果數據，對監控結果數據進行處理，并輸出處理后的數據；

對處理后的數據進行解析并可視化展示。

在一個實施例中，所述數據作業節點，包括以下多種作業流程：數據采集、數據傳輸、數據加工、數據存儲、數據供給和數據應用；以及包括所有所述作業流程的輸入、輸出數據庫表。

在一個實施例中，所述監控配置參數包括：監控過程執行的規則腳本、監控的時間節點、腳本執行的時間節點、規則腳本的等級。

在一個實施例中，根據所述數據作業節點，對數據應用節點進行鏈接從而生成鏈路，包括：

根據所有所述作業流程的輸入、輸出數據庫表，獲得所有數據表的來源與去向；

根據同一個數據表的來源與去向，獲得兩個數據作業節點的節點關系；