[發明專利]數據質量檢測方法、裝置及存儲介質

在審

• 申請號: 201811373534.3
• 申請日: 2018-11-19
• 公開（公告）號: CN109656812A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 袁泉
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/215
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及大數據技術，提供了一種數據質量檢測方法、裝置及計算機可讀存儲介質。該方法包括：從數據源中獲取至少一條待檢測數據，其中，每條待檢測數據包括內容數據和元數據；根據預設的匹配規則在預先建立的檢測規則庫中為所述每條待檢測數據匹配至少一條檢測規則；利用匹配的檢測規則對所述待檢測數據進行檢測，得到數據質量檢測結果。利用本發明，可以實現數據質量檢測自動化，提高數據質量檢測效率，降低人工和時間成本。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據質量檢測方法、裝置及計算機可讀存儲介質。

背景技術

隨著信息技術的發展和大數據時代的到來，數據信息朝著海量、多樣化的方向發展，數據質量日益受到各企業以及政府部門的重視。其中，如何對數據質量進行靈活、準確、高效的檢測是一個非常值得關注的研究方向。

目前，對于數據質量的檢測，通常需要測試人員根據業務邏輯，對每個字段構造全面的測試用例，即由測試人員編寫測試用例的代碼和執行邏輯，并由測試人員判斷執行結果中是否存在異常、是否滿足業務需求。如果測試完成后涉及到對異常數據的修復，還需要在數據修復后再次人工測試回歸，反復編寫和執行測試用例。因為這種方式是人為參與，測試用例的覆蓋率有限，所以對異常數據存在漏檢的可能，由于對不同的字段以及修復后的數據需要重復執行測試用例，檢測效率也難以得到保證。

發明內容

鑒于以上原因，有必要提供一種數據質量檢測方法、裝置及計算機可讀存儲介質，實現自動化的數據質量檢測，提高數據質量檢測的效率和通用性，減少人為因素對數據質量檢測結果造成的影響。

為實現上述目的，本發明提供一種數據質量檢測方法，應用于電子裝置，該方法包括：

獲取步驟：從數據源中獲取至少一條待檢測數據，其中，每條待檢測數據包括內容數據和元數據；

匹配步驟：根據預設的匹配規則在預先建立的檢測規則庫中為所述每條待檢測數據匹配至少一條檢測規則；及

檢測步驟：利用匹配的檢測規則對所述待檢測數據進行檢測，得到數據質量檢測結果。

優選地，所述元數據包括該條待檢測數據的重要程度、默認值、時間戳、所屬字段以及該字段的數據類型中的一種或多種。

優選地，該方法還包括：

將屬于同一字段的待檢測數據歸為一個待檢測數據組，為每個待檢測數據組中的待檢測數據統一匹配檢測規則。

優選地，所述檢測規則為基于MapReduce的并行化檢測規則，每個檢測規則包括規則名稱、規則描述和預期結果。

優選地，在所述檢測步驟之后，該方法還包括：

若所述數據質量檢測結果為異常且數據異常率大于預設告警閾值，則以預設方式對異常問題發出警示。

本發明還提供一種電子裝置，該電子裝置包括存儲器和處理器，所述存儲器中包括數據質量檢測程序，該數據質量檢測程序被所述處理器執行時實現如下步驟：

獲取步驟：從數據源中獲取至少一條待檢測數據，其中，每條待檢測數據包括內容數據和元數據；

匹配步驟：根據預設的匹配規則在預先建立的檢測規則庫中為所述每條待檢測數據匹配至少一條檢測規則；及

檢測步驟：利用匹配的檢測規則對所述待檢測數據進行檢測，得到數據質量檢測結果。

優選地，所述元數據包括該條待檢測數據的重要程度、默認值、時間戳、所屬字段以及該字段的數據類型中的一種或多種。

優選地，該方法還包括：

將屬于同一字段的待檢測數據歸為一個待檢測數據組，為每個待檢測數據組中的待檢測數據統一匹配檢測規則。