[發明專利]一種數據質量檢測方法和數據質量檢測引擎

在審

• 申請號: 202011569179.4
• 申請日: 2020-12-26
• 公開（公告）號: CN112597142A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 姚張鈺;孫琳;孔偉國;劉惠民;任肖軍
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 趙曉榮

1.一種數據質量檢測方法，其特征在于，包括：

獲得目標模型的數據檢測配置參數；所述數據檢測配置參數用于確定對目標數據庫表的檢測項；所述目標數據庫表為根據所述目標模型生成的；

獲得所述目標數據庫表；

根據所述數據檢測配置參數對所述目標數據庫表進行數據質量檢測，得到對所述目標數據庫表的數據質量檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述獲得所述目標數據庫表具體包括：

獲得目標作業的作業名；所述目標作業與所述目標模型具有對應關系；所述作業名中包含所述目標數據庫表的表名；

根據所述作業名確定所述目標數據庫表的表名；

根據所述目標數據庫表的表名獲得所述目標數據庫表。

3.根據權利要求1所述的方法，其特征在于，所述數據檢測配置參數包括：第一配置參數、第二配置參數和第三配置參數；

所述第一配置參數用于指示是否對所述目標數據庫表進行第一檢測項的檢測和是否對所述目標數據庫表進行第二檢測項的檢測；

所述第一檢測項包括：主鍵重復檢測；所述第二檢測項包括：主鍵空串檢測；

所述第二配置參數包括所述目標數據庫表的所有主鍵字段；

所述第三配置參數包括日期字段，且所述第三配置參數用于指示是否對所述目標數據庫表進行第三檢測項的檢測；所述第三檢測項包括：數據量波動檢測。

4.根據權利要求3所述的方法，其特征在于，當所述第三配置參數指示對所述目標數據庫表進行數據量波動檢測時，所述數據檢測配置參數還包括：所述第三檢測項對應的檢測閾值；

當所述目標數據庫表的數據量波動超過所述檢測閾值時，所述數據質量檢測結果包括：所述目標數據庫表的所述第三檢測項檢測不通過；

當所述目標數據庫表的數據量波動未超過所述檢測閾值時，所述數據質量檢測結果包括：所述目標數據庫表的所述第三檢測項檢測通過。

5.根據權利要求3所述的方法，其特征在于，所述第三檢測項具體包括：對所述目標數據庫表的當日和上日的數據進行數據量波動檢測。

6.根據權利要求2所述的方法，其特征在于，所述根據所述目標數據庫表的表名獲得所述目標數據庫表，包括：

向數據庫發送第一獲取請求，所述第一獲取請求中攜帶所述目標數據庫表的表名；

接收所述數據庫提供的所述目標數據庫表。

7.根據權利要求2所述的方法，其特征在于，所述獲得目標模型的數據檢測配置參數，包括：

從作業調度系統獲得所述目標模型的數據檢測配置參數；

所述獲得目標作業的作業名，包括：

從所述作業調度系統獲得所述目標作業的作業名。

8.根據權利要求1-6任一項所述的方法，其特征在于，還包括：

當確定所述目標數據庫表的任意一項檢測項不合格時，發出告警提示；或者，當確定所述目標數據庫表的任意一項檢測項不合格時，向作業調度系統反饋以使所述作業調度系統發出告警提示。

9.一種數據質量檢測引擎，其特征在于，包括：

參數獲取模塊，用于獲得目標模型的數據檢測配置參數；所述數據檢測配置參數用于確定對目標數據庫表的檢測項；所述目標數據庫表為根據所述目標模型生成的；

數據庫表獲取模塊，用于獲得所述目標數據庫表；

數據質量檢測模塊，用于根據所述數據檢測配置參數對所述目標數據庫表進行數據質量檢測，得到對所述目標數據庫表的數據質量檢測結果。

10.根據權利要求9所述的數據質量檢測引擎，其特征在于，所述數據檢測配置參數包括：第一配置參數、第二配置參數和第三配置參數；

所述第一配置參數用于指示是否對所述目標數據庫表進行第一檢測項的檢測和是否對所述目標數據庫表進行第二檢測項的檢測；

所述第一檢測項包括：主鍵重復檢測；所述第二檢測項包括：主鍵空串檢測；

所述第二配置參數包括所述目標數據庫表的所有主鍵字段；

所述第三配置參數包括日期字段，且所述第三配置參數用于指示是否對所述目標數據庫表進行第三檢測項的檢測；所述第三檢測項包括：數據量波動檢測。