[發(fā)明專利]一種異常數(shù)據(jù)診斷方法、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211143560.3
• 申請日: 2022-09-20
• 公開（公告）號: CN115391082A
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 朱寶君;蘭金山;陳進(jìn)添;傅偉林
• 申請（專利權(quán)）人: 杭州致成電子科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/30
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 何爽

本申請涉及一種異常數(shù)據(jù)診斷方法、系統(tǒng)及存儲介質(zhì)，其包括獲取若干待測數(shù)據(jù)信息；將若干待測數(shù)據(jù)信息進(jìn)行實(shí)時同步以獲得相應(yīng)的數(shù)據(jù)源信息；對數(shù)據(jù)源信息進(jìn)行處理以創(chuàng)建相應(yīng)的數(shù)據(jù)實(shí)體模型；獲取業(yè)務(wù)需求信息；根據(jù)業(yè)務(wù)需求信息配置相應(yīng)的稽核規(guī)則；根據(jù)相應(yīng)的稽核任務(wù)，在稽核規(guī)則配置后將數(shù)據(jù)實(shí)體模型匹配于稽核算法以獲得相應(yīng)的稽核結(jié)果，稽核算法對應(yīng)于不同的稽核規(guī)則，稽核結(jié)果包含精度結(jié)果、數(shù)據(jù)質(zhì)量評分等；根據(jù)精度結(jié)果、數(shù)據(jù)質(zhì)量評分判斷稽核結(jié)果是否表征為異常數(shù)據(jù)；若是，則將稽核結(jié)果進(jìn)行顯示，并生成相應(yīng)的稽核報(bào)告。本申請具有解決異常數(shù)據(jù)診斷不全面的問題的效果。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其是涉及一種異常數(shù)據(jù)診斷方法、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)質(zhì)量的好壞直接關(guān)系到信息準(zhǔn)確性和業(yè)務(wù)有效性，而只有解決數(shù)據(jù)的質(zhì)量問題并保證數(shù)據(jù)資產(chǎn)的科學(xué)性，才能有效地反映出企業(yè)運(yùn)營和市場事實(shí)，而目前的大數(shù)據(jù)時代，數(shù)據(jù)在呈爆炸式增長，大量的數(shù)據(jù)一方面會為運(yùn)營商帶來大量的信息資產(chǎn)，另一方面大量的無用數(shù)據(jù)、干擾數(shù)據(jù)也影響著數(shù)據(jù)質(zhì)量，因此，圍繞企業(yè)大數(shù)據(jù)的生命周期管理，實(shí)現(xiàn)數(shù)據(jù)的全過程質(zhì)量監(jiān)控非常重要。

相關(guān)技術(shù)中，對于異常數(shù)據(jù)的診斷首先是通過ETL采集數(shù)據(jù)，并對采集到的數(shù)據(jù)進(jìn)行初步的數(shù)據(jù)清理和預(yù)處理，然后根據(jù)預(yù)定義的數(shù)據(jù)稽核和效驗(yàn)規(guī)則對數(shù)據(jù)進(jìn)行差異分析和異常分析。

而相關(guān)技術(shù)中的方法，因數(shù)據(jù)梳理流程設(shè)置不當(dāng)，使得對數(shù)據(jù)的異常診斷工作只集中在前期的數(shù)據(jù)清洗、數(shù)據(jù)的處理和后面的數(shù)據(jù)質(zhì)量評估上，而忽略了數(shù)據(jù)在創(chuàng)建、獲取、傳輸、裝載、使用、回收等任意環(huán)節(jié)會出現(xiàn)的異常，而任一環(huán)節(jié)中出現(xiàn)異常都會導(dǎo)致數(shù)據(jù)質(zhì)量問題，異常數(shù)據(jù)診斷不全面。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N異常數(shù)據(jù)診斷方法、系統(tǒng)及存儲介質(zhì)，以解決上述異常數(shù)據(jù)診斷不全面的問題。

第一方面，本申請?zhí)峁┑囊环N異常數(shù)據(jù)診斷方法，采用如下的技術(shù)方案：

一種異常數(shù)據(jù)診斷方法，包括以下步驟：

獲取若干待測數(shù)據(jù)信息；

將若干所述待測數(shù)據(jù)信息進(jìn)行實(shí)時同步以獲得相應(yīng)的數(shù)據(jù)源信息；

對所述數(shù)據(jù)源信息進(jìn)行處理以創(chuàng)建相應(yīng)的數(shù)據(jù)實(shí)體模型；

獲取業(yè)務(wù)需求信息；

根據(jù)所述業(yè)務(wù)需求信息配置相應(yīng)的稽核規(guī)則；

根據(jù)相應(yīng)的稽核任務(wù)，在所述稽核規(guī)則配置后將所述數(shù)據(jù)實(shí)體模型匹配于稽核算法以獲得相應(yīng)的稽核結(jié)果，所述稽核算法對應(yīng)于不同的稽核規(guī)則，所述稽核結(jié)果包含精度結(jié)果、數(shù)據(jù)質(zhì)量評分等；

根據(jù)所述精度結(jié)果、數(shù)據(jù)質(zhì)量評分判斷所述稽核結(jié)果是否表征為異常數(shù)據(jù)；

若是，則將所述稽核結(jié)果進(jìn)行顯示，并生成相應(yīng)的稽核報(bào)告。

在其中的一些實(shí)施例中，所述稽核任務(wù)的創(chuàng)建包括以下步驟：

獲取進(jìn)行稽核的任務(wù)信息，所述任務(wù)信息包括時間、范圍等；

根據(jù)所述任務(wù)信息加載相應(yīng)的數(shù)據(jù)實(shí)體模型，并生成相應(yīng)的稽核任務(wù)。

在其中的一些實(shí)施例中，對所述數(shù)據(jù)源信息進(jìn)行處理以創(chuàng)建相應(yīng)的數(shù)據(jù)實(shí)體模型，包括模型配置步驟和數(shù)據(jù)剖析步驟；

所述模型配置步驟包括：

獲取所述數(shù)據(jù)源信息中的目標(biāo)表和源表；

從所述目標(biāo)表中選擇目標(biāo)數(shù)據(jù)的集合和字段；

從所述源表中選擇源數(shù)據(jù)的集合和字段；

將所述目標(biāo)數(shù)據(jù)的字段與所述源數(shù)據(jù)的字段進(jìn)行映射；

將所述源數(shù)據(jù)的集合和所述目標(biāo)數(shù)據(jù)的集合進(jìn)行分區(qū)配置；

所述數(shù)據(jù)剖析包括：

獲取需要進(jìn)行剖析的目標(biāo)數(shù)據(jù)的集合和字段；

根據(jù)所述目標(biāo)數(shù)據(jù)的字段選擇相應(yīng)的語法檢查邏輯，并獲得檢查結(jié)果；

將所述目標(biāo)數(shù)據(jù)的集合進(jìn)行分區(qū)配置。