[發明專利]一種分析、定位數據質量問題的方法及系統

在審

• 申請號: 202011286527.7
• 申請日: 2020-11-17
• 公開（公告）號: CN112506897A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 繆新萍;張克賢;汪浩;黃莉雅;馬艷潔;王鵬宇;歐陽靜;孔慶波;田鉞;劉可;陳卿;葛松;方繼宇
• 申請（專利權）人: 貴州電網有限責任公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

1.一種分析、定位數據質量問題的方法，其特征在于，包括：

獲取數據庫對應的表及字段的結構；

根據預設的字段分析規則，對數據庫進行分析；

對數據庫數據進行二次校驗或稽核處理。

2.根據權利要求1所述的分析、定位數據質量問題的方法，其特征在于，所述獲取數據庫對應的表及字段的結構中，數據庫中的數據包括若干個待分析的表，所述表結構下包括一個或多個待分析字段；選擇任意一個表的任意一個字段進行配置。

則所述根據預設的字段分析規則，對數據庫進行分析包括：

標準代碼檢測：讀取所述待分析字段對應的國家標準代碼，將所述待分析字段與對應的國家標準代碼進行匹配，判斷匹配結果；

字段缺失檢測：將所述待分析字段逐個對比檢測，檢測范圍包括數字、文字和/或圖案，判斷檢測結果；

字段長度檢測：預先設置標準字段的長度，將所述待分析字段與所述標準字段的長度進行比對，判斷比對結果。

同類字段檢測：將所述待分析字段逐個對比檢測，所述檢測的范圍包括數字、文字和/或圖案；判斷對比結果。

3.根據權利要求2所述的分析、定位數據質量問題的方法，其特征在于，所述對數據庫數據進行二次校驗，包括

匯總數據在紙質與電子狀態使用時的質量問題，預設數據庫中數據的錯誤類型；

根據錯誤類型進行一致性檢驗，得到數據錯誤分析結果。

4.根據權利要求3所述的分析、定位數據質量問題的方法，其特征在于，所述錯誤類型包括填寫遺漏、填寫錯誤、錄入遺漏以及錄入錯誤。

5.根據權利要求4所述的分析、定位數據質量問題的方法，其特征在于，所述根據錯誤類型進行一致性檢驗，得到數據錯誤分析結果，包括：

從數據庫中通過數據編號的唯一標識找到相應數據的錄入數據、紙質識別數據和電子提取數據并初始化成哈希表；

遍歷數據全集，從中取出某一數據字段，根據數據字段名稱從三個數據集合中查找數據，根據查找到的錄入數據、紙質識別數據和電子提取數據是否存在確定當前狀態；

判斷不同來源的數據之間的一致性；

評估不同來源的數據的可信度；

根據校驗數據源的可信度設置錯誤的重要等級。

6.根據權利要求1-3任一項所述的分析、定位數據質量問題的方法，其特征在于，所述稽核處理包括：

預設稽核規則，

加載數據庫中的目標數據文件，根據所述數據稽核規則對所述目標數據庫中的所述目標數據文件進行稽核判斷，得到數據稽核結果。

7.一種計算機裝置，包括存儲器、處理器及儲存在存儲器上并能夠在處理器上運行的計算機程序，其特征在于：所述處理器執行所述計算機程序時實現如權利要求1-6任一項所述的方法。

8.一種計算機可讀存儲介質，其上儲存有計算機程序，其特征在于：所述計算機程序被處理器執行時實現如權利要求1-6任一項所述的方法。