[發明專利]一種基于業務實體的數據質量監控方法

在審

• 申請號: 202011413851.0
• 申請日: 2020-12-07
• 公開（公告）號: CN112396349A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 蔡敬東;王增志;宋志偉;劉明巍;陳廣;賀紹鵬;李洪琳;李志;陳今;郭振
• 申請（專利權）人: 國網物資有限公司;國家電網有限公司;安徽繼遠軟件有限公司;國網信息通信產業集團有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;G06T11/20
• 代理公司: 合肥集知匠心知識產權代理事務所(普通合伙) 34173
• 代理人: 王麗麗

1.一種基于業務實體的數據質量監控方法，其特征在于，包括：

a)確定需要進行質量監控的數據范圍；

b)識別核心業務實體；

c)構建數據質量監控的底圖；

d)制定數據監控規則，根據該規則監控數據質量。

2.根據權利要求1所述的數據質量監控方法，其特征在于，所述數據范圍的確定方法包括以下步驟：

1)確定組織機構，分析、確定待監控數據相關組織機構，一般也是數據質量責任方；

2)分析業務能力，評估特定業務需求中涉及的基礎業務能力，參考信息化架構依據業務能力確定待監控信息系統；

3)聚焦數據對象，參考各系統數據庫設計確定待監控數據表范圍；

4)屆定時間范圍，使用包括增量、全量或指定時段的方式，明確各數據表參與質量監控的數據范圍。

3.根據權利要求1所述的數據質量監控方法，其特征在于：所述識別核心業務實體包括組織類實體、人物類實體、地點類實體和事件類實體；

所述組織類實體為參與業務活動的組織機構單元，可以是組織機構層級中的任何一級，具有特定業務職能；

所述人物類實體為發起業務活動或被業務活動影響到的人和物；

所述地點類實體為描述業務活動或特定事件發生的地理位置；

所述事件類實體為用以描述業務活動、業務事件的數據，其關鍵屬性包括人物、時間、地點和事件描述。

4.根據權利要求1所述的數據質量監控方法，其特征在于，所述底圖的構建過程包括以下步驟：

1)分析關鍵業務流程，依據步驟a)的數據范圍繪制業務流程圖，分析業務活動間關系以及業務信息流轉情況；

2)映射核心業務實體，將識別的業務實體與業務流程中的業務環節進行匹配，明確各業務環節與業務實體間對應關系；

3)繪制數據質量監控的底圖，所述底圖以業務環節為橫軸、組織單元為縱軸的方式繪制業務實體分布圖，并使用箭頭描述業務實體間數據產生的前后邏輯關系，形成箭線圖；

4)匹配監控數據，分析底圖中的各業務實體數據，與步驟a)確定的數據表進行匹配，建立業務實體與物理數據表之間的映射關系。

5.根據權利要求1所述的數據質量監控方法，其特征在于，所述制定數據監控規則的過程包括以下步驟：

1)分析業務實體間邏輯依賴關系，在業務上相互關聯的業務實體數據間具有確定的邏輯關系；

2)依據業務實體間邏輯依賴關系編制業務數據質量檢驗規則，不滿足邏輯依賴關系的后續業務實體數據視為問題數據，問題發生環節為后續業務環節；

3)開發數據質量監控功能，將數據質量檢驗規則轉換為數據監控檢查腳本，構建數據監控規則庫，研發信息化功能周期自動檢查數據。

6.根據權利要求5所述的數據質量監控方法，其特征在于：

所述邏輯關系包括存在依賴關系、計數依賴關系和指標依賴關系；

所述存在依賴關系為后續業務實體中具有前導業務實體中的某些特征屬性；

所述計數依賴關系為在一定限制條件下前導業務實體中業務實例數應大于、等于后續業務中某些業務實體的業務實例數；

所述指標依賴關系為在一定限制條件下前導業務實體關鍵統計指標應大于、等于后續業務中某些業務實體實例關鍵統計指標。

7.根據權利要求6所述的數據質量監控方法，其特征在于：

所述監控功能包括監控規則庫管理、業務數據質量監控和異動數據分析展示；

所述監控規則庫管理用于實現監控規則及腳本集中管理，可配置監控規則執行周期、執行參數，進行監控任務調度。

所述業務數據質量監控用于結合數據底圖直觀展示數據質量監控結果，發出異動告警信息，以高亮標示存在數據異動的數據實體，結合動態文字提示違反的監控規則，以及相關數據條目數；

所述異動數據分析展示用于通過點擊異動告警信息，可關聯查看違反規則的數據，該數據包括前導業務實體實例標識、實例數、關鍵統計指標，后續業務實體實例標識、實例數、關鍵統計指標，以及規則描述。

8.根據權利要求6或7所述的數據質量監控方法，其特征在于，所述監控數據質量的過程包括：

1)根據質量檢驗規則，周期性檢驗業務實體數據間的邏輯依賴關系；

2)對于存在依賴關系，檢測是否發現非依賴關系；對于計數依賴關系或指標依賴關系，檢測是否發現統計數據差異；否時，重復步驟1)；是時，發出異常報警，進行異動數據查看分析。