[發(fā)明專利]一種異常數(shù)據(jù)診斷方法、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211143560.3
• 申請(qǐng)日: 2022-09-20
• 公開(kāi)（公告）號(hào): CN115391082A
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 朱寶君;蘭金山;陳進(jìn)添;傅偉林
• 申請(qǐng)（專利權(quán)）人: 杭州致成電子科技有限公司
• 主分類號(hào): G06F11/07
• 分類號(hào): G06F11/07;G06F11/30
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 何爽

1.一種異常數(shù)據(jù)診斷方法，其特征在于，包括以下步驟：

獲取若干待測(cè)數(shù)據(jù)信息；

將若干所述待測(cè)數(shù)據(jù)信息進(jìn)行實(shí)時(shí)同步以獲得相應(yīng)的數(shù)據(jù)源信息；

對(duì)所述數(shù)據(jù)源信息進(jìn)行處理以創(chuàng)建相應(yīng)的數(shù)據(jù)實(shí)體模型；

獲取業(yè)務(wù)需求信息；

根據(jù)所述業(yè)務(wù)需求信息配置相應(yīng)的稽核規(guī)則；

根據(jù)相應(yīng)的稽核任務(wù)，在所述稽核規(guī)則配置后將所述數(shù)據(jù)實(shí)體模型匹配于稽核算法以獲得相應(yīng)的稽核結(jié)果，所述稽核算法對(duì)應(yīng)于不同的稽核規(guī)則，所述稽核結(jié)果包含精度結(jié)果、數(shù)據(jù)質(zhì)量評(píng)分等；

根據(jù)所述精度結(jié)果、數(shù)據(jù)質(zhì)量評(píng)分判斷所述稽核結(jié)果是否表征為異常數(shù)據(jù)；

若是，則將所述稽核結(jié)果進(jìn)行顯示，并生成相應(yīng)的稽核報(bào)告。

2.根據(jù)權(quán)利要求1所述的一種異常數(shù)據(jù)診斷方法，其特征在于：所述稽核任務(wù)的創(chuàng)建包括以下步驟：

獲取進(jìn)行稽核的任務(wù)信息，所述任務(wù)信息包括時(shí)間、范圍等；

根據(jù)所述任務(wù)信息加載相應(yīng)的數(shù)據(jù)實(shí)體模型，并生成相應(yīng)的稽核任務(wù)。

3.根據(jù)權(quán)利要求1所述的一種異常數(shù)據(jù)診斷方法，其特征在于：對(duì)所述數(shù)據(jù)源信息進(jìn)行處理以創(chuàng)建相應(yīng)的數(shù)據(jù)實(shí)體模型，包括模型配置步驟和數(shù)據(jù)剖析步驟；

所述模型配置步驟包括：

獲取所述數(shù)據(jù)源信息中的目標(biāo)表和源表；

從所述目標(biāo)表中選擇目標(biāo)數(shù)據(jù)的集合和字段；

從所述源表中選擇源數(shù)據(jù)的集合和字段；

將所述目標(biāo)數(shù)據(jù)的字段與所述源數(shù)據(jù)的字段進(jìn)行映射；

將所述源數(shù)據(jù)的集合和所述目標(biāo)數(shù)據(jù)的集合進(jìn)行分區(qū)配置；

所述數(shù)據(jù)剖析包括：

獲取需要進(jìn)行剖析的目標(biāo)數(shù)據(jù)的集合和字段；

根據(jù)所述目標(biāo)數(shù)據(jù)的字段選擇相應(yīng)的語(yǔ)法檢查邏輯，并獲得檢查結(jié)果；

將所述目標(biāo)數(shù)據(jù)的集合進(jìn)行分區(qū)配置。

4.根據(jù)權(quán)利要求3所述的一種異常數(shù)據(jù)診斷方法，其特征在于：所述根據(jù)所述業(yè)務(wù)需求信息配置相應(yīng)的稽核規(guī)則，包括：

根據(jù)所述業(yè)務(wù)需求信息選擇相應(yīng)的規(guī)則體系，所述規(guī)則體系包括手動(dòng)配置規(guī)則和自動(dòng)落標(biāo)規(guī)則；

判斷所述業(yè)務(wù)需求信息中是否具有業(yè)務(wù)邏輯；

若有，則對(duì)應(yīng)配置手動(dòng)配置規(guī)則以對(duì)所述數(shù)據(jù)實(shí)體模型進(jìn)行稽核；

若沒(méi)有，則對(duì)應(yīng)配置有自動(dòng)落標(biāo)規(guī)則以對(duì)所述數(shù)據(jù)實(shí)體模型進(jìn)行稽核。

5.根據(jù)權(quán)利要求4所述的一種異常數(shù)據(jù)診斷方法，其特征在于：若配置手動(dòng)配置規(guī)則，還包括以下步驟：

獲取基于IDE界面的操作指令對(duì)所述手動(dòng)配置規(guī)則進(jìn)行修改以滿足所述目標(biāo)表和所述源表的關(guān)聯(lián)關(guān)系和過(guò)濾條件；

獲取相應(yīng)的稽核查詢信息以對(duì)所述數(shù)據(jù)實(shí)體模型內(nèi)的數(shù)據(jù)源信息進(jìn)行稽核；

若出現(xiàn)數(shù)據(jù)異常，則獲取所述異常節(jié)點(diǎn)數(shù)據(jù)信息，并根據(jù)所述異常節(jié)點(diǎn)數(shù)據(jù)信息進(jìn)行定位回溯。

6.根據(jù)權(quán)利要求5所述的一種異常數(shù)據(jù)診斷方法，其特征在于：將所述數(shù)據(jù)實(shí)體模型匹配于稽核算法以獲得相應(yīng)的稽核結(jié)果，包括：

根據(jù)所述目標(biāo)表和源表的映射關(guān)系獲取稽核分析結(jié)果，并將所述稽核分析結(jié)果進(jìn)行文本和/或圖像顯示；

對(duì)所述數(shù)據(jù)實(shí)體模型內(nèi)的數(shù)據(jù)采集層數(shù)據(jù)、數(shù)據(jù)處理過(guò)程進(jìn)行監(jiān)控，以獲得數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告，并根據(jù)預(yù)設(shè)的時(shí)間間隔對(duì)所述數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告進(jìn)行文本和/或圖像顯示。

7.根據(jù)權(quán)利要求6所述的一種異常數(shù)據(jù)診斷方法，其特征在于：所述精度結(jié)果的計(jì)算公式為：所述數(shù)據(jù)質(zhì)量評(píng)分包括質(zhì)量評(píng)分，所述質(zhì)量評(píng)分＝參與評(píng)分的各質(zhì)量維度評(píng)分總和/參與評(píng)估維度項(xiàng)，所述維度包括準(zhǔn)確性、完整性、差異性、及時(shí)性、有效性。