[發明專利]一種數據質量稽查管理系統

有效

• 申請號: 201711212498.8
• 申請日: 2017-11-28
• 公開（公告）號: CN107958049B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 張思琪;許雪松;郭丹丹;李小鵬
• 申請（專利權）人: 航天科工智慧產業發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 梁艷

本發明公開了一種數據質量稽查管理系統，涉及數據管理及應用技術領域。該系統，可以對數據在計劃、獲取、處理、存儲、共享、維護、應用、消亡生命周期的每個階段中可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，實現了數據質量的全局掌控，同時可以快速連接數據源，提供多種數據質量稽查規則，并以多種可視化方式提供數據質量報告，對數據進行持續監控和改善質量問題。并通過改善和提高組織的管理水平進一步提高數據質量，隨著系統的使用，在及時發現問題、解決問題的基礎上，提供了一個行之有效的方法和技術基礎，可以幫助政府部門和IT部門的相關人士開展協作，確保所有數據的完整、一致、準確和最新。

技術領域

本發明涉及數據管理及應用技術領域，尤其涉及一種數據質量稽查管理系統。

背景技術

隨著云計算和大數據技術的快速發展，大量企業和政府內部、各分支機構都陸續形成了各自的海量數據資源。為了提高數據資源的管控能力，用戶迫切希望從這些數據中分析得到業務發展的趨勢信息，從而能夠提供正確的決策支持。決策的合理性對政府的發展意義重大，高質量的決策依賴于高質量的數據。這就要求數據倉庫中的數據滿足完整性、正確性、一致性和可靠性等需求，為企業和政府決策提供可信的數據環境，作為數據倉庫的數據來源，也必須保證進入數據中心的數據是高質量的。然而，數據中心的數據是從多個業務系統中集成過來的，這些業務系統搭建的時間不同，軟硬件環境不同，數據庫設計也未遵照統一的標準。也往往存在不良的數據庫模式設計，或缺少完整性約束，或缺少正確的數據檢驗邏輯，使得積累的業務數據存在大量的質量問題，因此對這些異構數據資源進行集成時，容易出現“臟數據”，如缺失值、異常、不一致或重復數據等，讓這些臟數據進入數據中心不僅增加了各種管理成本，更為嚴重的是以此為基礎建立的數據倉庫，分析產生的決策勢必會給政府帶來嚴重損失。因此應消除各種臟數據，以保證最后的數據是正確的、可靠的、能準確地反映客觀現實的高質量數據。

目前，數據質量稽查管理系統的技術方案是構建JavaEE的框架上構建的Web應用，在此基礎上建立數據質量核驗模塊，實現對外Web服務、檢核組件模塊化，通過規則引擎幫助各系統快速生成檢核腳本實施數據質量檢核，通過制定、實施數據質量檢核，暴露各系統數據質量問題。持續監控各系統數據質量波動情況及數據質量規則占比分析，定期生成各系統關鍵數據質量報告，掌握系統數據質量狀況。結合系統提供的清洗組件以及數據質量問題處理流程為各系統數據質量提升提供有效支撐。但是，該方法存在以下的問題：

1、可擴展性差，數據質量規則可復用性弱，半自動化數據質量監控。

2、兼容性差，支持的數據庫種類較少。

3、靈活性差，不能自定義數據監控任務。

發明內容

本發明的目的在于提供一種數據質量稽查管理系統，從而解決現有技術中存在的前述問題。

為了實現上述目的，本發明采用的技術方案如下：

一種數據質量稽查管理系統，包括：

規則管理模塊，用于創建數據監控規則，所述監控規則包括通用的基礎類度量規則以及用戶自定義的度量規則，還用于對所述監控規則進行管理，以及對所述監控規則進行導入及導出操作；

監控管理模塊，包括任務管理子模塊、告警管理子模塊和監控引擎子模塊，所述任務管理子模塊用于對監控任務進行全生命周期的管理，包括對監控任務的查詢、創建、修改、刪除、調度、終止、暫停和手動執行，還用于在監控任務創建時配置數據源和相應的數據監控規則；所述告警管理子模塊用于在數據監控任務執行過程中，當發現數據不符合規則時，將問題數據保存并向用戶發出告警；所述監控引擎子模塊用于根據數據監控規則對數據源定時執行監控任務；

統計分析模塊用于對監控任務執行過程中所發現的問題數據進行統計和分析，并根據統計結果對產生數據質量問題的原因進行分析；

系統管理模塊用于數據源管理、系統日志和用戶管理；