[發明專利]一種面向電力行業業務系統的數據質量評價方法和設備

有效

• 申請號: 202010826540.0
• 申請日: 2020-08-17
• 公開（公告）號: CN111949644B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 許博
• 申請（專利權）人: 沈陽京華博瑞科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06Q10/06
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 李巨智

本發明的實施例提供了一種面向電力行業業務系統的數據質量評價方法和設備，所述方法包括通過數據庫完整性評價指標值對數據庫的完整性進行評價，得到完整性評價結果；通過主外鍵關系篩選方法對數據庫的一致性進行評價，得到一致性評價結果；根據評價結果對數據庫進行綜合評價。以此方式，可以對數據庫的完整性和一致性進行評價，通過不同字段信息比對，對字段間關系進行預判，過濾掉明顯不可能存在主外鍵關系的字段，大幅度減少字段間內容比對的工作量，快速高效的檢測出缺失的主外鍵關系，并且綜合整體性和一致性評價結果，對整個數據庫的數據質量作出更全面的評價。

技術領域

本發明的實施例一般涉及計算機數據處理領域，并且更具體地，涉及一種面向電力行業業務系統的數據質量評價方法和設備。

背景技術

隨著信息技術的發展，數據的規模正在高速增長。在數據量增不斷增長的同時，數據中普遍存在質量問題。數據的質量可以用六個特性來刻畫，即數據一致性、數據完整性、數據精確性、數據時效性、數據實體同一性和數據不確定性。其中，數據完整性和數據一致性是刻畫數據質量的最重要的關鍵指標。

為了提升系統響應速度與開發效率，越來越多的開發人員選擇忽略關系型數據庫中的主外鍵約束。這使得不同表中的相同數據無法及時準確的同步，數據質量顯著降低，無法支撐企業級的大數據分析與應用。企業不得不花費大量的時間和精力開展數據治理工作。由于主外鍵關系的缺失，數據治理工作人員也無法獲取表與表之間的關聯關系，只能通過與開發人員的溝通和業務的梳理來獲取關聯關系。這樣的方法效率極低，隨著數據的增長，這樣的方法也難以維系，并且難以對數據治理工作的成效進行量化評估。

對于數據完整性評估方法的研究，關鍵在于解決關系數據完整性度量問題。現有的數據完整性評估方法大多通過提出抽象的數據完整性度量框架，然后在框架基礎上實現函數依賴對數據完整性的影響，并提出具體的關系數據完整性度量指標及體系方案。在當前環境下，對數據完整性研究的重點集中在完整性的定義、保證技術、保證模型及其應用，而對數據完整性評估方法的研究多集中在對數據的校驗上，然而這對于數據量巨大的電力行業業務系統來說工作效率極慢。

對于數據庫完整性評估存在以下問題：

1)沒有量化形式地去評估數據庫完整性；

2)隨著數據量的快速增長，根據數據庫進行完整性評估效率低，開銷大；

3)未給出具體的數據庫完整性評價方法。

發明內容

根據本發明的實施例，提供了一種面向電力行業業務系統的數據質量評價方案。

在本發明的第一方面，提供了一種面向電力行業業務系統的數據質量評價方法。該方法包括：

通過數據庫完整性評價指標值對數據庫的完整性進行評價，得到完整性評價結果；

通過主外鍵關系篩選方法對數據庫的一致性進行評價，得到一致性評價結果；

根據完整性評價結果和一致性評價結果對數據庫進行綜合評價。

進一步地，所述通過數據庫完整性評價指標值對數據庫的完整性進行評價，包括：

從第一功能表中讀取第一字段，所述第一字段為數據表中包含的總記錄數；從第二功能表中讀取第二字段和第三字段，并根據第二字段建立數據表與字段的所屬關系；所述第二字段表示用戶可見的字段所屬的數據表的名稱；所述第三字段為數據表中每個字段包含的空值數；

從數據庫中讀取一數據表，累加所述數據表的第三字段的值，得到所述數據表的none值數量；計算去除全空字段的none值數量和滿字段記錄數；

遍歷所述數據庫中的全部數據表，將得到的數據指標值進行累加，計算數據庫全空字段比例、數據庫滿字段記錄比例、數據庫none值比例和數據庫去除全空字段的none值比例，對所述數據庫的完整性進行評價。