[發明專利]一種數據質量檢測的方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202110336664.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112860682A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 劉敬錸;劉遐春
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本發明提供了一種數據質量檢測的方法、裝置、設備及可讀存儲介質，所述方法包括：建立對所述數據進行質量檢測的規則庫；獲取第一數據，并提取所述第一數據的特征信息；根據所述第一數據的特征信息在所述規則庫中查找所述特征信息所對應的校驗規則，得到第一校驗規則；基于所述第一校驗規則對所述第一數據進行校驗，得到校驗結果，對所述校驗結果進行分析，得到檢測結果本發明能夠在數據產生時及時對數據質量進行實時、批量檢測，具有準確性、高效性、靈活性的優點。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種數據質量檢測的方法、裝置、設備及可讀存儲介質。

背景技術

信用卡中心數據倉庫目前承載著監管報送數據輸出、營銷活動數據篩選、分析決策數據來源、日常報表數據提取等重要功能，不論是業務日常運轉或是決策分析，都嚴重依賴于數據倉庫的數據支撐。隨著卡中心業務的飛速發展，對數據倉庫的時效性、準確性也提出了越來越高的要求。

為保障數據倉庫各層級數據質量的穩定可靠，亟需形成一套自動化數據質量監控體系，以實現每天批次運行過程中，自動對數據準確性進行多方位校驗，并提前進行預警，從而降低業務影響，減少卡中心損失。

發明內容

本發明的目的在于提供一種數據質量檢測的方法、裝置、設備及可讀存儲介質，以改善上述問題。

為了實現上述目的，本申請實施例提供了如下技術方案：

一方面，本申請實施例提供了一種數據質量檢測的方法，所述方法包括：

建立對所述數據進行質量檢測的規則庫；

獲取第一數據，并提取所述第一數據的特征信息；

根據所述第一數據的特征信息在所述規則庫中查找所述特征信息所對應的校驗規則，得到第一校驗規則；

基于所述第一校驗規則對所述第一數據進行校驗，得到校驗結果，對所述校驗結果進行分析，得到檢測結果。

可選的，所述基于所述第一校驗規則對所述第一數據進行校驗，得到校驗結果，對所述校驗結果進行分析，得到檢測結果，包括：

所述第一校驗規則中每個規則有對應的校驗條件，對所有的校驗條件進行分析，若所有的校驗條件中不存在相同的校驗條件，則利用每一條校驗規則對所述第一數據進行校驗，得到多個校驗結果；

對所述多個校驗結果進行分析，若所述多個校驗結果中，有一個校驗結果為校驗不通過，則所述第一數據的檢測結果為不通過，若所述多個校驗結果中，所有的校驗結果均為校驗通過，則所述第一數據的檢測結果為通過。

可選的，所述基于所述第一校驗規則對所述第一數據進行校驗，得到校驗結果，對所述校驗結果進行分析，得到檢測結果，包括：

所述第一校驗規則中每個規則有對應的校驗條件，對所有的校驗條件進行分析，若所有的校驗條件中存在相同的校驗條件，則將具有相同校驗條件的校驗規則進行組合，得到組合校驗規則；

利用所述組合校驗規則對所述所述第一數據進行校驗，得到第一檢測結果；

利用組合之后剩余的校驗規則對所述第一數據進行校驗，得到第二檢測結果；

對所述第一檢測結果和所述第二檢測結果進行分析，得到檢測結果。

可選的，所述對所述第一校驗結果和所述第二校驗結果進行分析，得到檢測結果，包括：

將所述第一檢測結果中的每一個校驗結果和所述第二檢測結果中的每一個校驗結果進行組合，得到校驗結果集合；

對所述校驗結果集合進行分析，若所述校驗集合中有一個校驗結果為校驗不通過，則所述第一數據的檢測結果為不通過，若所述校驗集合中所有的校驗結果均為校驗通過，則所述第一數據的檢測結果為通過。