[發明專利]一種面向電力行業業務系統的數據表完整性評價方法

有效

• 申請號: 202010827745.0
• 申請日: 2020-08-17
• 公開（公告）號: CN111897889B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 胡楠;喬林;顧海林;劉曉強;冉冉;胡畔;薄玨;高強;劉育博;夏雨;曲睿婷;齊俊;白亮;胡非;李季洋;鐘弓賀;劉祉成
• 申請（專利權）人: 國網遼寧省電力有限公司信息通信分公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F11/36
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 李巨智

本發明提供了一種面向電力行業業務系統的數據表完整性評價方法，包括調用Oracle數據庫dbms_stats功能模塊；從user_tables表中讀取num_row字段；從user_tab_columns表中讀取table_name字段和num_null字段，根據table_name字段建立數據表與數據字段的所屬關系；從數據庫中讀取一數據表，累加所述數據表的num_null字段的值，得到所述數據表的none值數量；計算去除全空字段的none值數量和滿字段記錄數；計算各個評價指標，對所述數據表的數據完整性進行評價。本發明以數據庫系統表做為評價的基礎，對數據表的完整性進行評價；評價過程中降低了對數據庫業務表的讀取頻次和工作量，同時提高了評估的效率；搜索數據表的空格、空列、空行等屬性時，具有較高的發現率和準確性。

技術領域

本發明的實施例一般涉及計算機數據處理領域，并且更具體地，涉及一種面向電力行業業務系統的數據表完整性評價方法。

背景技術

對于數據完整性評估方法的研究，關鍵在于解決關系數據完整性度量問題。現有的數據完整性評估方法大多通過提出抽象的數據完整性度量框架，然后在框架基礎上實現函數依賴對數據完整性的影響，并提出具體的關系數據完整性度量指標及體系方案。在當前環境下，對數據完整性研究的重點集中在完整性的定義、保證技術、保證模型及其應用，而對數據完整性評估方法的研究多集中在對數據的校驗上，然而這對于數據量巨大的電力行業業務系統來說工作效率極慢。

對于數據表完整性評估存在以下問題：

1)沒有量化形式地去評估數據表完整性；

2)隨著數據量的快速增長，根據數據表進行完整性評估效率低，開銷大；

3)未給出具體的數據表完整性評價方法。

發明內容

根據本發明的實施例，提供了一種面向電力行業業務系統的數據表完整性評價方案。

在本發明的第一方面，提供了一種面向電力行業業務系統的數據表完整性評價方法。該方法包括：

調用Oracle數據庫dbms_stats功能模塊；

從user_tables表中讀取num_row字段；所述num_row字段為數據表中包含的總記錄數；從user_tab_columns表中讀取table_name字段和num_null字段，根據table_name字段建立數據表與數據字段的所屬關系；所述table_name字段表示用戶可見的字段所屬的數據表的名稱；所述num_null字段為數據表中每個字段包含的空值數；

從數據庫中讀取一數據表，累加所述數據表的num_null字段的值，得到所述數據表的none值數量；計算去除全空字段的none值數量和滿字段記錄數；

計算數據表全空字段比例、數據表滿字段記錄比例、數據表none值比例和數據表去除全空字段的none值比例，對所述數據表的數據完整性進行評價。

進一步地，所述計算去除全空字段的none值數量，包括：

Q＝P-M*N

其中，Q為數據表中去除全空字段的none值數量；P為數據表中none值數量；M為數據表中全空字段數量；N為數據表中總記錄數。

進一步地，所述滿字段記錄數為：

K＝N-F

其中，K為數據表中滿字段記錄數；N為數據表中總記錄數；F為數據表中非滿字段記錄數；所述非滿字段記錄數為數據表中包含空值的字段中的總記錄數。

進一步地，所述計算數據表全空字段比例、數據表滿字段記錄比例、數據表none值比例和數據表去除全空字段的none值比例，包括：