[發(fā)明專利]數(shù)據(jù)質(zhì)量的檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910185400.7
• 申請(qǐng)日: 2019-03-12
• 公開（公告）號(hào): CN110008204A
• 公開（公告）日: 2019-07-12
• 發(fā)明（設(shè)計(jì)）人: 譚翔;王軍;肖壯鋒
• 申請(qǐng)（專利權(quán)）人: 平安信托有限責(zé)任公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/16
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 李文淵;王寧

本申請(qǐng)涉及一種數(shù)據(jù)質(zhì)量的檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取待檢測(cè)數(shù)據(jù)；所述待檢測(cè)數(shù)據(jù)攜帶目標(biāo)參數(shù)和數(shù)據(jù)檢測(cè)模式，所述數(shù)據(jù)檢測(cè)模式標(biāo)識(shí)所述待檢測(cè)數(shù)據(jù)的質(zhì)量問題類型；獲取與所述數(shù)據(jù)檢測(cè)模式對(duì)應(yīng)的初始數(shù)據(jù)檢測(cè)文件；根據(jù)所述目標(biāo)參數(shù)對(duì)所述初始數(shù)據(jù)檢測(cè)文件進(jìn)行配置，生成目標(biāo)數(shù)據(jù)檢測(cè)文件；根據(jù)生成的所述目標(biāo)數(shù)據(jù)檢測(cè)文件對(duì)所述待檢測(cè)數(shù)據(jù)的數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)，得到對(duì)應(yīng)的檢測(cè)結(jié)果。本方法基于自動(dòng)化測(cè)試工具，實(shí)現(xiàn)了自動(dòng)生成與數(shù)據(jù)檢測(cè)模式對(duì)應(yīng)的數(shù)據(jù)檢測(cè)文件的目的，無需人工手動(dòng)編寫各個(gè)獨(dú)立的數(shù)據(jù)檢測(cè)文件，簡(jiǎn)化了數(shù)據(jù)檢測(cè)文件的生成流程，從而提高了數(shù)據(jù)檢測(cè)效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)質(zhì)量的檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

在數(shù)據(jù)處理技術(shù)領(lǐng)域里，為了判斷數(shù)據(jù)質(zhì)量問題，通常在數(shù)據(jù)經(jīng)過清洗，加工和匯總之后，檢測(cè)數(shù)據(jù)的準(zhǔn)確性。

然而，在檢測(cè)數(shù)據(jù)的準(zhǔn)確性的過程中，傳統(tǒng)技術(shù)一般是通過手動(dòng)編寫各個(gè)獨(dú)立的檢測(cè)腳本，比如SQL語句；并直接使用各個(gè)獨(dú)立的檢測(cè)腳本執(zhí)行對(duì)應(yīng)的任務(wù)式查詢。但是，若每次進(jìn)行數(shù)據(jù)檢測(cè)時(shí)，都需要通過手動(dòng)編寫重復(fù)的檢測(cè)腳本，會(huì)耗費(fèi)大量人力，從而降低了數(shù)據(jù)檢測(cè)效率。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述傳統(tǒng)技術(shù)存在數(shù)據(jù)檢測(cè)效率低的技術(shù)問題，提供一種能夠數(shù)據(jù)檢測(cè)效率的數(shù)據(jù)質(zhì)量的檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種數(shù)據(jù)質(zhì)量的檢測(cè)方法，所述方法包括：

獲取待檢測(cè)數(shù)據(jù)；所述待檢測(cè)數(shù)據(jù)攜帶目標(biāo)參數(shù)和數(shù)據(jù)檢測(cè)模式，所述數(shù)據(jù)檢測(cè)模式標(biāo)識(shí)所述待檢測(cè)數(shù)據(jù)的質(zhì)量問題類型；

獲取與所述數(shù)據(jù)檢測(cè)模式對(duì)應(yīng)的初始數(shù)據(jù)檢測(cè)文件；

根據(jù)所述目標(biāo)參數(shù)對(duì)所述初始數(shù)據(jù)檢測(cè)文件進(jìn)行配置，生成目標(biāo)數(shù)據(jù)檢測(cè)文件；

根據(jù)生成的所述目標(biāo)數(shù)據(jù)檢測(cè)文件對(duì)所述待檢測(cè)數(shù)據(jù)的數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)，得到對(duì)應(yīng)的檢測(cè)結(jié)果。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述目標(biāo)參數(shù)對(duì)所述初始數(shù)據(jù)檢測(cè)文件進(jìn)行配置，生成目標(biāo)數(shù)據(jù)檢測(cè)文件，包括：

分別獲取各個(gè)所述目標(biāo)參數(shù)在所述初始數(shù)據(jù)檢測(cè)文件中的位置標(biāo)識(shí)符；

按照位置標(biāo)識(shí)符，分別將各個(gè)所述目標(biāo)參數(shù)導(dǎo)入至所述初始數(shù)據(jù)檢測(cè)文件中對(duì)應(yīng)的參數(shù)位置，生成目標(biāo)數(shù)據(jù)檢測(cè)文件。

在其中一個(gè)實(shí)施例中，所述根據(jù)生成的所述目標(biāo)數(shù)據(jù)檢測(cè)文件對(duì)所述待檢測(cè)數(shù)據(jù)的數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)，得到對(duì)應(yīng)的檢測(cè)結(jié)果，包括：

獲取所述目標(biāo)數(shù)據(jù)檢測(cè)文件對(duì)應(yīng)的檢測(cè)規(guī)則；

確定所述待檢測(cè)數(shù)據(jù)中與所述目標(biāo)參數(shù)對(duì)應(yīng)的字段；

根據(jù)所述檢測(cè)規(guī)則對(duì)所述字段進(jìn)行檢測(cè)，得到對(duì)應(yīng)的檢測(cè)結(jié)果。

在其中一個(gè)實(shí)施例中，在根據(jù)生成的所述目標(biāo)數(shù)據(jù)檢測(cè)文件對(duì)所述待檢測(cè)數(shù)據(jù)的數(shù)據(jù)質(zhì)量進(jìn)行檢測(cè)，得到對(duì)應(yīng)的檢測(cè)結(jié)果之后，還包括：

獲取所述檢測(cè)規(guī)則的預(yù)期結(jié)果；

若所述檢測(cè)規(guī)則的預(yù)期結(jié)果與所述檢測(cè)結(jié)果匹配，則確定所述待檢測(cè)數(shù)據(jù)中的所述字段正常；

若所述檢測(cè)規(guī)則的預(yù)期結(jié)果與所述檢測(cè)結(jié)果不匹配，則確定所述待檢測(cè)數(shù)據(jù)中的所述字段異常，將所述檢測(cè)結(jié)果進(jìn)行存儲(chǔ)。

在其中一個(gè)實(shí)施例中，所述方法還包括：

獲取存儲(chǔ)的各個(gè)所述檢測(cè)結(jié)果以及對(duì)應(yīng)的待檢測(cè)數(shù)據(jù)的質(zhì)量問題類型；

將獲取的各個(gè)所述檢測(cè)結(jié)果和對(duì)應(yīng)的待檢測(cè)數(shù)據(jù)的質(zhì)量問題類型，按照預(yù)設(shè)順序加載至數(shù)據(jù)檢測(cè)報(bào)告模板中，生成對(duì)應(yīng)的數(shù)據(jù)檢測(cè)報(bào)告；