[發明專利]一種數據質量校驗方法及裝置、存儲介質及電子設備

在審

• 申請號: 202210108150.9
• 申請日: 2022-01-28
• 公開（公告）號: CN114547003A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 楊猛
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F16/18;G06F16/182;G06F9/445
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李偉

1.一種數據質量校驗方法，其特征在于，包括：

通過數據文件，獲取待校驗數據庫表；其中，所述數據文件包括日志文件和抽取-轉換-存儲ETL任務輸出的結果文件；

查找預設的規則庫中與所述待校驗數據庫表對應的校驗規則；

基于所述校驗規則，對所述待檢驗數據庫表進行數據質量校驗，得到校驗結果；

存儲所述校驗結果。

2.根據權利要求1所述的數據質量校驗方法，其特征在于，所述通過數據文件，獲取待校驗數據庫表，包括：

遍歷預設的規則表，獲取所述規則表中包括的待校驗數據庫表的標識信息；

查找數據文件中，與所述標識信息對應的數據庫表；

將所查找到的數據庫表確定為待校驗數據庫表。

3.根據權利要求1所述的數據質量校驗方法，其特征在于，所述通過數據文件，獲取待校驗數據庫表，包括：

實時監測數據文件中是否完成對待校驗數據庫表的寫入；

在監測到所述數據文件中完成對待檢驗數據庫表的寫入的情況下，獲取所述數據文件中的所述待校驗數據庫表。

4.根據權利要求1所述的數據質量校驗方法，其特征在于，所述基于所述校驗規則，對所述待檢驗數據庫表進行數據質量校驗，得到校驗結果之后，還包括：

確定所述校驗結果所屬的告警區間；

確定預設的與目標告警區間對應的告警方式；其中，所述目標告警區間為所述校驗結果所屬的告警區間；

基于所確定的告警方式進行告警。

5.根據權利要求1所述的數據質量校驗方法，其特征在于，所述基于所述校驗規則，對所述待檢驗數據庫表進行數據質量校驗，得到校驗結果，包括：

查找所述規則庫中與所述校驗規則對應的插件信息；

調用所述插件信息對應的校驗插件，對所述待檢驗數據庫表進行數據質量校驗，得到校驗結果。

6.一種數據質量校驗裝置，其特征在于，包括：

獲取單元，用于通過數據文件，獲取待校驗數據庫表；其中，所述數據文件包括日志文件和抽取-轉換-存儲ETL任務輸出的結果文件；

查找單元，用于查找預設的規則庫中與所述待校驗數據庫表對應的校驗規則；

校驗單元，用于基于所述校驗規則，對所述待檢驗數據庫表進行數據質量校驗，得到校驗結果；

存儲所述校驗結果。

7.根據權利要求6所述的數據質量校驗裝置，其特征在于，所述獲取單元具體用于：

遍歷預設的規則表，獲取所述規則表中包括的待校驗數據庫表的標識信息；

查找數據文件中，與所述標識信息對應的數據庫表；

將所查找到的數據庫表確定為待校驗數據庫表。

8.根據權利要求6所述的數據質量校驗裝置，其特征在于，所述獲取單元具體用于：

實時監測數據文件中是否完成對待校驗數據庫表的寫入；

在監測到數據文件中完成對待檢驗數據庫表的寫入的情況下，獲取所述數據文件中的所述待校驗數據庫表。

9.一種存儲介質，其特征在于，所述存儲介質存儲有指令集，其中，所述指令集被處理器執行時實現如權利要求1～5任意一項所述的數據質量校驗方法。

10.一種電子設備，其特征在于，包括：

存儲器，用于存儲至少一組指令集；

處理器，用于執行所述存儲器中存儲的指令集，通過執行所述指令集實現如權利要求1～5任意一項所述的數據質量校驗方法。