[發(fā)明專利]用于校驗數(shù)據(jù)清洗結(jié)果的方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011607682.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112685397A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 丁勇
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2458;G06F16/26
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

1.一種用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，包括：

接收校驗指令，確定與所述校驗指令相對應(yīng)的待清洗數(shù)據(jù)；

將所述待清洗數(shù)據(jù)導(dǎo)入預(yù)先配置好的維度層級樹，并基于逆序遍歷法從所述維度層級樹中獲取所述待清洗數(shù)據(jù)的第一維度編碼組合；

對所述待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，獲取所述待清洗數(shù)據(jù)的清洗結(jié)果，其中，所述清洗結(jié)果包括所述待清洗數(shù)據(jù)的第二維度編碼組合；

比對所述第一維度編碼組合和所述第二維度編碼組合，基于比對結(jié)果確定所述待清洗數(shù)據(jù)的清洗結(jié)果的準(zhǔn)確性。

2.如權(quán)利要求1所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，在所述將所述待清洗數(shù)據(jù)導(dǎo)入預(yù)先配置好的維度層級樹，并基于逆序遍歷法從所述維度層級樹中獲取所述待清洗數(shù)據(jù)的第一維度編碼組合的步驟之前，還包括：

獲取數(shù)據(jù)清洗的業(yè)務(wù)需求文檔，并從所述業(yè)務(wù)需求文檔中得到所有數(shù)據(jù)的維度信息；

按照預(yù)設(shè)的編碼規(guī)則對所述所有數(shù)據(jù)的維度信息進(jìn)行編碼，得到所述所有數(shù)據(jù)的維度編碼；

將所述所有數(shù)據(jù)的維度編碼導(dǎo)入預(yù)設(shè)的初始樹模型結(jié)構(gòu)，得到所述維度層級樹。

3.如權(quán)利要求2所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，所述將所述所有數(shù)據(jù)的維度編碼導(dǎo)入預(yù)設(shè)的初始樹模型結(jié)構(gòu)，得到所述維度層級樹的步驟，具體包括：

對所述所有數(shù)據(jù)的維度編碼進(jìn)行排序，得到維度編碼排序結(jié)果；

將所述維度編碼排序結(jié)果中優(yōu)先級最高的維度編碼填入所述初始樹模型結(jié)構(gòu)的根節(jié)點；以及

按照所述維度編碼排序結(jié)果的優(yōu)先級順序?qū)⑵溆嗑S度編碼依次填入所述初始樹模型結(jié)構(gòu)的子節(jié)點，得到所述維度層級樹。

4.如權(quán)利要求1所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，所述將所述待清洗數(shù)據(jù)導(dǎo)入預(yù)先配置好的維度層級樹，并基于逆序遍歷法從所述維度層級樹中獲取所述待清洗數(shù)據(jù)的第一維度編碼組合的步驟，具體包括：

獲取所述待清洗數(shù)據(jù)的當(dāng)前維度信息，基于所述當(dāng)前維度信息得到所述待清洗數(shù)據(jù)的當(dāng)前維度編碼；

在所述維度層級樹上查找與所述當(dāng)前維度編碼相匹配的子節(jié)點；

基于與所述當(dāng)前維度編碼相匹配的子節(jié)點逆序遍歷所述維度層級樹，獲取所述待清洗數(shù)據(jù)在各個維度層級的編碼；

組合所述待清洗數(shù)據(jù)的當(dāng)前維度編碼和所述待清洗數(shù)據(jù)在各個維度層級的編碼，生成所述待清洗數(shù)據(jù)的第一維度編碼組合。

5.如權(quán)利要求1所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，所述對所述待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，獲取所述待清洗數(shù)據(jù)的清洗結(jié)果的步驟，具體包括：

對所述待清洗數(shù)據(jù)進(jìn)行解析，得到所述待清洗數(shù)據(jù)中各個字段的信息；

將所述待清洗數(shù)據(jù)中各個字段的信息導(dǎo)入預(yù)設(shè)的正則表達(dá)式；

將所述待清洗數(shù)據(jù)的各個字段分別與正則表達(dá)式相匹配，將與所述正則表達(dá)式相匹配的字段作為所述待清洗數(shù)據(jù)的清洗結(jié)果。

6.如權(quán)利要求1至5任意一項所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，所述比對所述第一維度編碼組合和所述第二維度編碼組合，基于比對結(jié)果確定所述待清洗數(shù)據(jù)的清洗結(jié)果的準(zhǔn)確性的步驟，具體包括：

獲取所述第一維度編碼組合的編碼長度，得到第一編碼長度，以及獲取所述第二維度編碼組合的編碼長度，得到第二編碼長度；

判斷所述第一編碼長度和所述第二編碼長度是否相等；

若所述第一編碼長度和所述第二編碼長度不相等，則輸出編碼長度不相等的提示信息。

7.如權(quán)利要求6所述的用于校驗數(shù)據(jù)清洗結(jié)果的方法，其特征在于，在所述比對所述第一編碼長度和所述第二編碼長度的步驟之后，還包括：

分別將所述第一維度編碼組合和所述第二維度編碼組合的劃分為若干個相互對應(yīng)的編碼層級；

依次判斷相互對應(yīng)的若干個所述編碼層級中的編碼值是否相同；

若存在任意一對相互對應(yīng)的所述編碼層級中的編碼值不相同，則輸出編碼值不相同的提示信息。