[發(fā)明專利]一種數(shù)據(jù)質(zhì)量校驗方法及裝置、存儲介質(zhì)及電子設備

在審

• 申請?zhí)枺?/td>: 202210108150.9
• 申請日: 2022-01-28
• 公開（公告）號: CN114547003A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設計）人: 楊猛
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F16/18;G06F16/182;G06F9/445
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 李偉

本申請?zhí)峁┝艘环N數(shù)據(jù)質(zhì)量校驗方法及裝置、存儲介質(zhì)及電子設備，通過數(shù)據(jù)文件，獲取待校驗數(shù)據(jù)庫表；其中，數(shù)據(jù)文件包括日志文件和抽取?轉(zhuǎn)換?存儲ETL任務輸出的結果文件，查找預設的規(guī)則庫中與所述待校驗數(shù)據(jù)庫表對應的校驗規(guī)則，基于校驗規(guī)則，對所述待檢驗數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗，得到校驗結果，存儲該校驗結果。可見，本申請方案，通過研究發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)庫表的數(shù)據(jù)均會記錄于日志文件和ETL任務輸出的結果文件，從而，通過日志文件和ETL任務輸出的結果文件，獲取待檢驗數(shù)據(jù)庫表，對待檢驗數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗，而無需通過sql查詢的方式，對數(shù)據(jù)庫中的數(shù)據(jù)庫表進行質(zhì)量校驗，從而降低對數(shù)據(jù)庫性能的影響。

技術領域

本申請涉及大數(shù)據(jù)技術領域，尤其涉及一種數(shù)據(jù)質(zhì)量校驗方法及裝置、存儲介質(zhì)及電子設備。

背景技術

對于日常ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-存儲)作業(yè)，業(yè)務流程復雜，數(shù)據(jù)產(chǎn)出有時間和質(zhì)量要求，在大量作業(yè)涌現(xiàn)之時，表與表之間層層嵌套，邏輯相對比較復雜，如果其中一個環(huán)節(jié)出現(xiàn)問題，不能及時進行解決，臟數(shù)據(jù)則會流入下游，降低業(yè)務數(shù)據(jù)使用的準確性，因此，需要對數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗。

現(xiàn)有的數(shù)據(jù)質(zhì)量校驗，通過sql查詢的方式，對數(shù)據(jù)庫中的數(shù)據(jù)庫表進行質(zhì)量校驗。由于存在部分數(shù)據(jù)庫表的數(shù)據(jù)量較大，通過sql查詢方式，響應時間較長，執(zhí)行速度較慢，從而長期占用庫資源，影響數(shù)據(jù)庫性能。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N數(shù)據(jù)質(zhì)量校驗及裝置、存儲介質(zhì)及電子設備，目的在于解決現(xiàn)有的數(shù)據(jù)質(zhì)量校驗，響應時間較長，執(zhí)行速度較慢，從而長期占用數(shù)據(jù)庫資源，影響數(shù)據(jù)庫性能的問題。

為了實現(xiàn)上述目的，本申請?zhí)峁┝艘韵录夹g方案：

一種數(shù)據(jù)質(zhì)量校驗方法，包括：

通過數(shù)據(jù)文件，獲取待校驗數(shù)據(jù)庫表；其中，所述數(shù)據(jù)文件包括日志文件和抽取-轉(zhuǎn)換-存儲ETL任務輸出的結果文件；

查找預設的規(guī)則庫中與所述待校驗數(shù)據(jù)庫表對應的校驗規(guī)則；

基于所述校驗規(guī)則，對所述待檢驗數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗，得到校驗結果；

存儲所述校驗結果。

上述的數(shù)據(jù)質(zhì)量校驗方法，可選的，所述通過數(shù)據(jù)文件，獲取待校驗數(shù)據(jù)庫表，包括：

遍歷預設的規(guī)則表，獲取所述規(guī)則表中包括的待校驗數(shù)據(jù)庫表的標識信息；

查找數(shù)據(jù)文件中，與所述標識信息對應的數(shù)據(jù)庫表；

將所查找到的數(shù)據(jù)庫表確定為待校驗數(shù)據(jù)庫表。

上述的數(shù)據(jù)質(zhì)量校驗方法，可選的，所述通過數(shù)據(jù)文件，獲取待校驗數(shù)據(jù)庫表，包括：

實時監(jiān)測數(shù)據(jù)文件中是否完成對待校驗數(shù)據(jù)庫表的寫入；

在監(jiān)測到所述數(shù)據(jù)文件中完成對待檢驗數(shù)據(jù)庫表的寫入的情況下，獲取所述數(shù)據(jù)文件中的所述待校驗數(shù)據(jù)庫表。

上述的數(shù)據(jù)質(zhì)量校驗方法，可選的，所述基于所述校驗規(guī)則，對所述待檢驗數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗，得到校驗結果之后，還包括：

確定所述校驗結果所屬的告警區(qū)間；

確定預設的與目標告警區(qū)間對應的告警方式；其中，所述目標告警區(qū)間為所述校驗結果所屬的告警區(qū)間；

基于所確定的告警方式進行告警。

上述的數(shù)據(jù)質(zhì)量校驗方法，可選的，所述基于所述校驗規(guī)則，對所述待檢驗數(shù)據(jù)庫表進行數(shù)據(jù)質(zhì)量校驗，得到校驗結果，包括：

查找所述規(guī)則庫中與所述校驗規(guī)則對應的插件信息；