[發(fā)明專利]數(shù)據(jù)質(zhì)量校驗(yàn)方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111576645.6
• 申請(qǐng)日: 2021-12-21
• 公開（公告）號(hào): CN114238381A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 楊東方;韓海燕;黎君;李元;肖和兵;李朝陽
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/2453;G06F16/2455
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 楊培權(quán)

1.一種數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述數(shù)據(jù)質(zhì)量校驗(yàn)方法包括：

獲取輸入?yún)?shù)，并從預(yù)配置的規(guī)則信息定義表中查詢出與所述輸入?yún)?shù)相關(guān)的規(guī)則配置信息，其中，所述規(guī)則信息定義表與各數(shù)據(jù)表的描述信息相適配，且底層封裝有若干校驗(yàn)規(guī)則表達(dá)式的校驗(yàn)邏輯；

將所述規(guī)則配置信息轉(zhuǎn)化為第一鍵值對(duì)集合，并根據(jù)所述輸入?yún)?shù)獲取到待校驗(yàn)數(shù)據(jù)表，以將所述待校驗(yàn)數(shù)據(jù)表轉(zhuǎn)化為第二鍵值對(duì)集合；

將所述第一鍵值對(duì)集合與所述第二鍵值對(duì)集合進(jìn)行匹配，以匹配得到所述待校驗(yàn)數(shù)據(jù)表中各字段對(duì)應(yīng)的目標(biāo)校驗(yàn)表達(dá)式；

按照所述目標(biāo)校驗(yàn)表達(dá)式對(duì)所述待校驗(yàn)數(shù)據(jù)表中的各字段進(jìn)行數(shù)據(jù)校驗(yàn)，以得到校驗(yàn)結(jié)果。

2.如權(quán)利要求1所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述規(guī)則信息定義表包括基礎(chǔ)信息表和校驗(yàn)規(guī)則定義表，

所述獲取輸入?yún)?shù)，并從預(yù)配置的規(guī)則信息定義表中查詢出與所述輸入?yún)?shù)相關(guān)的規(guī)則配置信息的步驟包括：

在接收到數(shù)據(jù)校驗(yàn)指令時(shí)，從所述數(shù)據(jù)校驗(yàn)指令中獲取數(shù)據(jù)庫名與數(shù)據(jù)表名，以作為所述輸入?yún)?shù)；

從預(yù)配置的基礎(chǔ)信息表與校驗(yàn)規(guī)則定義表中查詢到與所述數(shù)據(jù)庫名和數(shù)據(jù)表名相關(guān)的規(guī)則配置信息，其中，所述基礎(chǔ)信息表與所述校驗(yàn)規(guī)則定義表中均定義有數(shù)據(jù)庫名參數(shù)和數(shù)據(jù)表名參數(shù)。

3.如權(quán)利要求2所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述將所述規(guī)則配置信息轉(zhuǎn)化為第一鍵值對(duì)集合的步驟包括：

將所述規(guī)則配置信息轉(zhuǎn)化為若干第一鍵值對(duì)，其中，所述第一鍵值對(duì)中的關(guān)鍵字為所述校驗(yàn)規(guī)則定義表中所定義的一字段名稱，所述第一鍵值對(duì)中的值為所述字段名稱分別對(duì)應(yīng)在所述基礎(chǔ)信息表和校驗(yàn)規(guī)則定義表中的基礎(chǔ)信息和校驗(yàn)規(guī)則信息；

將若干所述第一鍵值對(duì)匯總為所述第一鍵值對(duì)集合。

4.如權(quán)利要求3所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述將所述第一鍵值對(duì)集合與所述第二鍵值對(duì)集合進(jìn)行匹配，以匹配得到所述待校驗(yàn)數(shù)據(jù)表中各字段對(duì)應(yīng)的目標(biāo)校驗(yàn)表達(dá)式的步驟包括：

將所述第二鍵值對(duì)集合中每一所述第二鍵值對(duì)的關(guān)鍵字與所述第一鍵值對(duì)集合中每一所述第一鍵值對(duì)的關(guān)鍵字進(jìn)行匹配；

基于匹配成功的第一鍵值對(duì)中的基礎(chǔ)信息和校驗(yàn)規(guī)則信息生成相應(yīng)的校驗(yàn)規(guī)則表達(dá)式，作為匹配成功的第二鍵值對(duì)所對(duì)應(yīng)字段的目標(biāo)校驗(yàn)表達(dá)式。

5.如權(quán)利要求1所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述根據(jù)所述輸入?yún)?shù)獲取到待校驗(yàn)數(shù)據(jù)表，以將所述待校驗(yàn)數(shù)據(jù)表轉(zhuǎn)化為第二鍵值對(duì)集合的步驟包括：

根據(jù)所述輸入?yún)?shù)生成數(shù)據(jù)查詢sql語句，使用所述sql語句語句查詢到所述待校驗(yàn)數(shù)據(jù)表；

通過分布式計(jì)算引擎將所述待校驗(yàn)數(shù)據(jù)表加載至彈性分布式數(shù)據(jù)集中；

對(duì)所述彈性分布式數(shù)據(jù)集中的所有分區(qū)并行遍歷，以將所述所有分區(qū)中的每行數(shù)據(jù)轉(zhuǎn)換成一第二鍵值對(duì)，其中，所述第二鍵值對(duì)的關(guān)鍵字為所述待校驗(yàn)數(shù)據(jù)表中的實(shí)際字段名稱，所述第二鍵值對(duì)中的值為所述實(shí)際字段名稱對(duì)應(yīng)的字段值；

將所述所有分區(qū)中的第二鍵值對(duì)匯總為所述第二鍵值對(duì)集合。

6.如權(quán)利要求1所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述按照所述目標(biāo)校驗(yàn)表達(dá)式對(duì)所述待校驗(yàn)數(shù)據(jù)表中的各字段進(jìn)行數(shù)據(jù)校驗(yàn)，以得到校驗(yàn)結(jié)果的步驟包括：

確定所述待校驗(yàn)數(shù)據(jù)表中各字段所匹配到的目標(biāo)校驗(yàn)表達(dá)式之間的依賴關(guān)系；

按照所述依賴關(guān)系先后對(duì)各所述字段執(zhí)行匹配到的目標(biāo)校驗(yàn)表達(dá)式，以對(duì)各所述字段進(jìn)行數(shù)據(jù)校驗(yàn)，并得到所述各字段分別對(duì)應(yīng)的校驗(yàn)結(jié)果。

7.如權(quán)利要求1所述的數(shù)據(jù)質(zhì)量校驗(yàn)方法，其特征在于，所述按照所述目標(biāo)校驗(yàn)表達(dá)式對(duì)所述待校驗(yàn)數(shù)據(jù)表中的各字段進(jìn)行數(shù)據(jù)校驗(yàn)，以得到校驗(yàn)結(jié)果的步驟之后，還包括：

若所述校驗(yàn)結(jié)果為異常校驗(yàn)結(jié)果，則根據(jù)所述異常校驗(yàn)結(jié)果生成數(shù)據(jù)異常提示信息，并確定所述提示信息的告警級(jí)別；

將所述待校驗(yàn)數(shù)據(jù)表中各字段的數(shù)據(jù)異常提示信息以及告警級(jí)別匯總為異常數(shù)據(jù)匯總表，并將所述異常數(shù)據(jù)匯總表推送至相關(guān)處理人員。