[發(fā)明專利]數(shù)據(jù)檢核方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011021590.8
• 申請日: 2020-09-25
• 公開（公告）號: CN112148721B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 元立本;石超
• 申請（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23;G06F16/2455
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孟維娜;丁蕓

本申請?zhí)峁┝艘环N數(shù)據(jù)檢核方法、裝置、電子設(shè)備及存儲介質(zhì)，利用預(yù)設(shè)監(jiān)聽器記錄各檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況；在非首次執(zhí)行第一檢核規(guī)則的數(shù)據(jù)檢核的過程中，獲取第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及第一檢核規(guī)則上次的檢核結(jié)果；根據(jù)第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及第一檢核規(guī)則上次的檢核結(jié)果，得到第一檢核規(guī)則當(dāng)前的檢核結(jié)果。利用第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及第一檢核規(guī)則上次的檢核結(jié)果，得到第一檢核規(guī)則當(dāng)前的檢核結(jié)果，不用每次檢核時均從數(shù)據(jù)源中獲取檢核表及參照表中的全部數(shù)據(jù)，能夠減少數(shù)據(jù)源服務(wù)器的讀寫壓力，增加數(shù)據(jù)檢核效率。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)領(lǐng)域，特別是涉及數(shù)據(jù)檢核方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

在信息化應(yīng)用不斷發(fā)展的今天，數(shù)據(jù)是已經(jīng)成為最具價值的資產(chǎn)之一。企業(yè)的數(shù)據(jù)質(zhì)量與業(yè)務(wù)績效之間存在著直接聯(lián)系，高質(zhì)量的數(shù)據(jù)可以提高公司的競爭力。如何對海量數(shù)據(jù)進(jìn)行處理，獲取高質(zhì)量的數(shù)據(jù)，已經(jīng)成為各行業(yè)關(guān)注的焦點。數(shù)據(jù)質(zhì)量分析，支持對業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，可以從完整性、有效性、及時性、準(zhǔn)確性、唯一性六個維度對數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)質(zhì)量檢驗可以幫助用戶及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，及時糾正問題，減少損失。然而在信息大爆炸的今天，數(shù)據(jù)的種類和數(shù)據(jù)的量變得越大越龐大，數(shù)據(jù)質(zhì)量分析面臨著從海量數(shù)據(jù)中檢核出有效數(shù)據(jù)的執(zhí)行效率低下的問題。

現(xiàn)有技術(shù)中，通過JDBC(Java Database Connectivity，Java數(shù)據(jù)庫連接)的方式，從數(shù)據(jù)源的檢核表中獲取數(shù)據(jù)，然后以檢核表中的數(shù)據(jù)為條件，通過JDBC的方式，遍歷參照表中查找是否有相同的數(shù)據(jù)，如果沒有查到的話，就把檢核表中的該數(shù)據(jù)作為錯誤數(shù)據(jù)返回給監(jiān)控端，從而實現(xiàn)數(shù)據(jù)檢核。

但是采用上述數(shù)據(jù)檢核方法，每次執(zhí)行檢核任務(wù)時，都需要重復(fù)執(zhí)行從數(shù)據(jù)源中獲取檢核表及參照表中的全部數(shù)據(jù)，數(shù)據(jù)源服務(wù)器的讀寫壓力大，數(shù)據(jù)檢核效率低。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種數(shù)據(jù)檢核方法、裝置、電子設(shè)備及存儲介質(zhì)，以實現(xiàn)減少數(shù)據(jù)源服務(wù)器的讀寫壓力，增加數(shù)據(jù)檢核效率。具體技術(shù)方案如下：

第一方面，本申請實施例提供了一種數(shù)據(jù)檢核方法，所述方法包括：

利用預(yù)設(shè)監(jiān)聽器記錄各檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況，其中，一所述檢核規(guī)則對應(yīng)至少一檢核表及至少一參照表；

在非首次執(zhí)行第一檢核規(guī)則的數(shù)據(jù)檢核的過程中，獲取所述第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及所述第一檢核規(guī)則上次的檢核結(jié)果，其中，所述第一檢測規(guī)則為任一檢核規(guī)則；

根據(jù)所述第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及所述第一檢核規(guī)則上次的檢核結(jié)果，得到所述第一檢核規(guī)則當(dāng)前的檢核結(jié)果。

在一種可能的實施方式中，在所述利用預(yù)設(shè)監(jiān)聽器記錄各檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況之前，所述方法還包括：

在首次執(zhí)行所述第一檢核規(guī)則的數(shù)據(jù)檢核的過程中，獲取所述第一檢核規(guī)則對應(yīng)的檢核表中的全量數(shù)據(jù)及參照表中的全量數(shù)據(jù)并進(jìn)行比較，得到所述第一檢核規(guī)則首次的檢核結(jié)果，其中，所述第一檢核規(guī)則首次的檢核結(jié)果包括所述第一檢核規(guī)則對應(yīng)的檢核表中的錯誤數(shù)據(jù)；

將所述第一檢核規(guī)則的對應(yīng)的檢核表中的錯誤數(shù)據(jù)存儲到指定存儲中；

所述利用預(yù)設(shè)監(jiān)聽器記錄各檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況，包括：

利用預(yù)設(shè)監(jiān)聽器記錄所述第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況。

在一種可能的實施方式中，所述根據(jù)所述第一檢核規(guī)則對應(yīng)的檢核表及參照表的數(shù)據(jù)變化情況、以及所述第一檢核規(guī)則上次的檢核結(jié)果，得到所述第一檢核規(guī)則當(dāng)前的檢核結(jié)果，包括：