[發(fā)明專利]大數(shù)據(jù)離線數(shù)據(jù)質(zhì)量檢查方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010596321.8
• 申請(qǐng)日: 2020-06-28
• 公開（公告）號(hào): CN111897806A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 趙旭暉;張偵
• 申請(qǐng)（專利權(quán)）人: 蘇寧金融科技（南京）有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/242;G06F16/28
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 顧友

1.一種大數(shù)據(jù)離線數(shù)據(jù)質(zhì)量檢查方法，其特征在于，包括：

基于數(shù)據(jù)質(zhì)量檢查系統(tǒng)中預(yù)設(shè)的檢查規(guī)則配置檢查語(yǔ)句；

將所述檢查語(yǔ)句同步至大數(shù)據(jù)平臺(tái)的配置表中，由大數(shù)據(jù)平臺(tái)的程序腳本執(zhí)行所述檢查語(yǔ)句并從數(shù)據(jù)倉(cāng)庫(kù)中獲取檢查結(jié)果；

數(shù)據(jù)質(zhì)量檢查系統(tǒng)同步所述檢測(cè)結(jié)果，同時(shí)向用戶可視化展示。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，數(shù)據(jù)質(zhì)量檢查系統(tǒng)中預(yù)設(shè)的檢查規(guī)則包括：

數(shù)據(jù)及時(shí)性檢查規(guī)則、字段非空檢查規(guī)則、字段值域檢查規(guī)則、字段唯一性檢查規(guī)則、字段數(shù)據(jù)長(zhǎng)度檢查規(guī)則、字段特定值占比檢查規(guī)則、數(shù)據(jù)量同比檢查規(guī)則、數(shù)據(jù)量環(huán)比檢查規(guī)則、記錄數(shù)一致性檢查規(guī)則、數(shù)據(jù)子集檢查規(guī)則中的一種或多種。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于數(shù)據(jù)質(zhì)量檢查系統(tǒng)中預(yù)設(shè)的檢查規(guī)則配置檢查語(yǔ)句的方法包括：

根據(jù)檢測(cè)需求在數(shù)據(jù)質(zhì)量檢查系統(tǒng)中選擇對(duì)應(yīng)的檢查規(guī)則，并配置檢測(cè)參數(shù)；

基于所選的檢查規(guī)則和配置的檢測(cè)參數(shù)，自動(dòng)生成SQL檢查語(yǔ)句。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，在步驟將所述檢查語(yǔ)句同步至大數(shù)據(jù)平臺(tái)的配置表中，由大數(shù)據(jù)平臺(tái)的程序腳本執(zhí)行所述檢查語(yǔ)句并從數(shù)據(jù)倉(cāng)庫(kù)中獲取檢查結(jié)果之前還進(jìn)行以下配置參數(shù)設(shè)置：

通過(guò)數(shù)據(jù)質(zhì)量檢查系統(tǒng)中的工作流配置模塊，設(shè)置檢查語(yǔ)句在大數(shù)據(jù)平臺(tái)上的定時(shí)執(zhí)行時(shí)間；

通過(guò)數(shù)據(jù)質(zhì)量檢查系統(tǒng)中的預(yù)定義參數(shù)配置模塊，對(duì)檢查語(yǔ)句中的檢測(cè)參數(shù)做定期更新；

通過(guò)數(shù)據(jù)質(zhì)量檢查系統(tǒng)中的源系統(tǒng)配置模塊，設(shè)置數(shù)據(jù)倉(cāng)庫(kù)中待查數(shù)據(jù)的歸屬系統(tǒng)并關(guān)聯(lián)對(duì)應(yīng)責(zé)任人；

通過(guò)數(shù)據(jù)質(zhì)量檢查系統(tǒng)中的告警原因配置模塊，預(yù)設(shè)多種產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題原因的分類。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述檢查語(yǔ)句同步至大數(shù)據(jù)平臺(tái)的配置表中，由大數(shù)據(jù)平臺(tái)的程序腳本執(zhí)行所述檢查語(yǔ)句并從數(shù)據(jù)倉(cāng)庫(kù)中獲取檢查結(jié)果的方法包括：

通過(guò)大數(shù)據(jù)平臺(tái)將檢查語(yǔ)句和配置參數(shù)同步到配置表中，由大數(shù)據(jù)平臺(tái)的程序腳本定時(shí)執(zhí)行相應(yīng)的檢查語(yǔ)句對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)執(zhí)行篩檢；

利用大數(shù)據(jù)平臺(tái)把檢查結(jié)果中的合格數(shù)據(jù)記錄到結(jié)果表中，把檢查結(jié)果中的異常數(shù)據(jù)記錄到異常表中。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，數(shù)據(jù)質(zhì)量檢查系統(tǒng)同步所述檢測(cè)結(jié)果，同時(shí)向用戶可視化展示的方法包括：

數(shù)據(jù)質(zhì)量檢查系統(tǒng)同步結(jié)果表和異常表，并根據(jù)數(shù)據(jù)質(zhì)量問(wèn)題原因的分類對(duì)異常表中的問(wèn)題數(shù)據(jù)進(jìn)行歸類；

根據(jù)結(jié)果表和異常表進(jìn)行指標(biāo)計(jì)算分析，并將指標(biāo)計(jì)算分析的結(jié)果以圖表形式向用戶展示，所述指標(biāo)包括數(shù)據(jù)倉(cāng)庫(kù)中被檢測(cè)數(shù)據(jù)的及時(shí)性指標(biāo)和準(zhǔn)確性指標(biāo)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，數(shù)據(jù)質(zhì)量檢查系統(tǒng)同步所述檢測(cè)結(jié)果，同時(shí)向用戶可視化展示之后還包括：

數(shù)據(jù)質(zhì)量檢查系統(tǒng)將問(wèn)題數(shù)據(jù)及其歸類結(jié)果向相關(guān)責(zé)任人告警，以提醒相關(guān)責(zé)任人及時(shí)處理該問(wèn)題數(shù)據(jù)。

8.一種大數(shù)據(jù)離線數(shù)據(jù)質(zhì)量檢查裝置，其特征在于，包括：

配置單元，基于數(shù)據(jù)質(zhì)量檢查系統(tǒng)中預(yù)設(shè)的檢查規(guī)則配置檢查語(yǔ)句；

檢查執(zhí)行單元，用于將所述檢查語(yǔ)句同步至大數(shù)據(jù)平臺(tái)的配置表中，由大數(shù)據(jù)平臺(tái)的程序腳本執(zhí)行所述檢查語(yǔ)句并從數(shù)據(jù)倉(cāng)庫(kù)中獲取檢查結(jié)果；

結(jié)果顯示單元，利用數(shù)據(jù)質(zhì)量檢查系統(tǒng)同步所述檢測(cè)結(jié)果，同時(shí)向用戶可視化展示。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括：

告警提醒單元，用于將問(wèn)題數(shù)據(jù)及其歸類結(jié)果向相關(guān)責(zé)任人告警，以提醒相關(guān)責(zé)任人及時(shí)處理該問(wèn)題數(shù)據(jù)。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行上述權(quán)利要求1至7任一項(xiàng)所述方法的步驟。