[發明專利]一種基于業務實體的數據質量監控方法

在審

• 申請號: 202011413851.0
• 申請日: 2020-12-07
• 公開（公告）號: CN112396349A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 蔡敬東;王增志;宋志偉;劉明巍;陳廣;賀紹鵬;李洪琳;李志;陳今;郭振
• 申請（專利權）人: 國網物資有限公司;國家電網有限公司;安徽繼遠軟件有限公司;國網信息通信產業集團有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;G06T11/20
• 代理公司: 合肥集知匠心知識產權代理事務所(普通合伙) 34173
• 代理人: 王麗麗

本發明公開了一種基于業務實體的數據質量監控方法，包括：a)確定需要進行質量監控的數據范圍；b)識別核心業務實體；c)構建數據質量監控的底圖；d)制定數據監控規則，根據該規則監控數據質量。本發明提出了一種以核心業務實體統計指標為依據的、通用的數據質量監控方法，從業務全局視角檢視數據質量、支撐數據治理。

技術領域

本發明涉及數據處理技術領域，具體涉及一種基于業務實體的數據質量監控方法。

背景技術

數據質量監控是對數據質量全局性、可視化展示。目前主流數據質量工具主要是通過數據剖析、基于SQL腳本的規則校驗、基于算法的異常值分析等方法發現缺陷數據，結合及時性、完整性、合規性、一致性等數據質量指標進行多維度量化。其中，數據剖析是一種基于數據庫結構原理的分析方法，主要用于了解數據結構、數值有效性、分布情況等信息，發現一般性數據問題；基于SQL腳本的規則校驗需要人工將業務需求轉換為數據核查腳本，定期執行發現數據內在邏輯問題；基于算法的異常值分析近年來廣受關注，已有機構正在研究通過機器學習分類算法實現智能核查，但依然存在建模要求高、適應性不廣等問題，同時基于傳統多維數據質量指標的監控模式已越來越難以滿足更高效、更精細的管理需要。

發明內容

本發明所要解決的技術問題是提出一種以核心業務實體統計指標為依據的、通用的數據質量監控方法，從業務全局視角檢視數據質量、支撐數據治理。

為解決上述技術問題，本發明采用以下技術方案：

一種基于業務實體的數據質量監控方法，包括：

a)確定需要進行質量監控的數據范圍；

b)識別核心業務實體；

c)構建數據質量監控的底圖；

d)制定數據監控規則，根據該規則監控數據質量。

作為上述技術方案的進一步改進：

步驟a)中，

所述數據范圍的確定方法包括以下步驟：

1)確定組織機構，分析、確定待監控數據相關組織機構，一般也是數據質量責任方；

2)分析業務能力，評估特定業務需求中涉及的基礎業務能力，參考信息化架構依據業務能力確定待監控信息系統；

3)聚焦數據對象，參考各系統數據庫設計確定待監控數據表范圍；

4)屆定時間范圍，使用包括增量、全量或指定時段的方式，明確各數據表參與質量監控的數據范圍。

步驟b)中，

所述識別核心業務實體包括組織類實體、人物類實體、地點類實體和事件類實體；

所述組織類實體為參與業務活動的組織機構單元，可以是組織機構層級中的任何一級，具有特定業務職能；

所述人物類實體為發起業務活動或被業務活動影響到的人和物；

所述地點類實體為描述業務活動或特定事件發生的地理位置；

所述事件類實體為用以描述業務活動、業務事件的數據，其關鍵屬性包括人物、時間、地點和事件描述。

步驟c)中，

所述底圖的構建過程包括以下步驟：

1)分析關鍵業務流程，依據步驟a)的數據范圍繪制業務流程圖，分析業務活動間關系以及業務信息流轉情況；

2)映射核心業務實體，將識別的業務實體與業務流程中的業務環節進行匹配，明確各業務環節與業務實體間對應關系；