[發明專利]一種數據質量稽查管理系統

有效

• 申請號: 201711212498.8
• 申請日: 2017-11-28
• 公開（公告）號: CN107958049B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 張思琪;許雪松;郭丹丹;李小鵬
• 申請（專利權）人: 航天科工智慧產業發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 梁艷

1.一種數據質量稽查管理系統，其特征在于，包括：

規則管理模塊，用于創建數據監控規則，所述監控規則包括通用的基礎類度量規則以及用戶自定義的度量規則，還用于對所述監控規則進行管理，以及對所述監控規則進行導入及導出操作；

監控管理模塊，包括任務管理子模塊、告警管理子模塊和監控引擎子模塊，所述任務管理子模塊用于對監控任務進行全生命周期的管理，包括對監控任務的查詢、創建、修改、刪除、調度、終止、暫停和手動執行，還用于在監控任務創建時配置數據源和相應的數據監控規則；所述告警管理子模塊用于在數據監控任務執行過程中，當發現數據不符合規則時，將問題數據保存并向用戶發出告警；所述監控引擎子模塊用于根據數據監控規則對數據源定時執行監控任務；

所述任務管理子模塊創建所述監控任務，按照如下方法進行實施：

將每個數據監控規則轉化為一個相應的任務，同時配置如下的內容：選取的數據源、數據表、字段、任務名稱、開啟時間、結束時間和周期，并將具體的規則邏輯添加到任務的execute()方法中，同時配置好每個任務的調度時間表；

所述任務管理子模塊對所述監控任務的調度，按照如下方法進行實施：

執行過程中，根據時間表中規定的起始時間，利用調度器調用相應任務中的execute()方法，當方法執行完成后，會在一個周期結束之后再次被調用，直到該任務的結束時間到達為止；

所述監控引擎子模塊對數據源定時執行監控任務，按照如下方法進行實施：

將每一條數據監控規則添加到監控引擎子模塊中執行，監控引擎子模塊利用RESTful架構實現，將每個數據監控規則的執行過程封裝成rest接口，數據監控規則執行過程中提供數據源連接及相應的參數，得到數據監控規則執行的結果；

統計分析模塊用于對監控任務執行過程中所發現的問題數據進行統計和分析，并根據統計結果對產生數據質量問題的原因進行分析；

系統管理模塊用于數據源管理、系統日志和用戶管理；

接口模塊用于提供一系列的內部和外部接口，實現與其他系統的協同作業。

2.根據權利要求1所述的數據質量稽查管理系統，其特征在于，所述基礎類度量規則包括唯一性、非空、外鍵、值域、格式、一致性、重復性和/或完整性檢查規則，所述用戶自定義的度量規則采用自定義SQL或正則表達式。

3.根據權利要求1所述的數據質量稽查管理系統，其特征在于，所述任務管理子模塊支持多種數據源，包括Oracle、Mysql、SqlServer、DB2和Access主流關系型數據庫，同時支持Excel、XML數據文件接入。

4.根據權利要求1所述的數據質量稽查管理系統，其特征在于，數據質量稽查管理系統的技術架構采用B/S架構進行分層設計，按照MVC模型分為數據層，邏輯層和表現層，各個層次之間實現接口隔離。