[發(fā)明專利]數(shù)據(jù)質(zhì)量檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010435414.2
• 申請(qǐng)日: 2020-05-21
• 公開(kāi)（公告）號(hào): CN111626586A
• 公開(kāi)（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 梁衛(wèi)寧;周鈺書(shū);秦鋮;唐文彬;張劍鋒;趙永國(guó);劉森;黎晚晴;陳玲娜
• 申請(qǐng)（專利權(quán)）人: 廣西電網(wǎng)有限責(zé)任公司;南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06Q50/06
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃恕

本申請(qǐng)涉及一種數(shù)據(jù)質(zhì)量檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)獲取電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)；先對(duì)電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)進(jìn)行時(shí)間區(qū)段分配算法訓(xùn)練，獲得電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果；根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果，構(gòu)建時(shí)間區(qū)段分配算法公式；最后根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)以及所述時(shí)間區(qū)段分配算法公式，獲取所述電能業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果。本申請(qǐng)根據(jù)經(jīng)過(guò)訓(xùn)練后選定的算法規(guī)則，可以從電能業(yè)務(wù)數(shù)據(jù)更智能化推薦出問(wèn)題數(shù)據(jù)，實(shí)現(xiàn)精準(zhǔn)高效的檢測(cè)出電能業(yè)務(wù)數(shù)據(jù)中的質(zhì)量問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)質(zhì)量檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

數(shù)據(jù)質(zhì)量是保證數(shù)據(jù)分析結(jié)果的基礎(chǔ)，好的數(shù)據(jù)才會(huì)得到好的分析結(jié)果，但是數(shù)據(jù)中不可避免的會(huì)存在各種各樣的問(wèn)題，如隨著時(shí)間推移進(jìn)行業(yè)務(wù)系統(tǒng)升級(jí)等原因造成各字段數(shù)據(jù)取值不一致、重復(fù)數(shù)據(jù)、存在缺失數(shù)據(jù)等，數(shù)據(jù)清洗是對(duì)數(shù)據(jù)中的問(wèn)題數(shù)據(jù)進(jìn)行清洗和處理的過(guò)程，是數(shù)據(jù)分析和挖掘的前提條件。

現(xiàn)有對(duì)電能業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選、查詢及統(tǒng)計(jì)的方法是基于抽取傳統(tǒng)營(yíng)銷業(yè)務(wù)系統(tǒng)的結(jié)果數(shù)據(jù)進(jìn)行分析，首先系統(tǒng)自動(dòng)篩選出已設(shè)置的參數(shù)進(jìn)行重復(fù)項(xiàng)過(guò)濾，形成數(shù)據(jù)問(wèn)題提示供分析人員確認(rèn)處理，初步清洗掉重復(fù)數(shù)據(jù)；然后，分析人員通過(guò)查詢條件對(duì)時(shí)間維度進(jìn)行明確的范圍劃分并查詢歸集，對(duì)各個(gè)時(shí)間范圍的數(shù)據(jù)進(jìn)行深入分析，初步處理掉字段數(shù)據(jù)取值不一致、缺失數(shù)據(jù)等問(wèn)題；最終通過(guò)統(tǒng)計(jì)功能，對(duì)重點(diǎn)數(shù)據(jù)信息進(jìn)行運(yùn)算，并輸出全面的數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告。

然而，目前的方法數(shù)據(jù)質(zhì)量檢測(cè)，對(duì)電能業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和處理只能停留在表面的結(jié)果數(shù)據(jù)基礎(chǔ)上，沒(méi)有深入到最原始的具體業(yè)務(wù)數(shù)據(jù)，不能夠全面且精準(zhǔn)地體現(xiàn)出實(shí)際的電能業(yè)務(wù)數(shù)據(jù)存在的質(zhì)量問(wèn)題。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠更加有效的數(shù)據(jù)質(zhì)量檢測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種數(shù)據(jù)質(zhì)量檢測(cè)方法，所述方法包括：

獲取電能業(yè)務(wù)數(shù)據(jù)；

根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)獲取電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)；

對(duì)電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)進(jìn)行時(shí)間區(qū)段分配算法訓(xùn)練，獲得電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果；

根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果，構(gòu)建時(shí)間區(qū)段分配算法公式；

根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)以及所述時(shí)間區(qū)段分配算法公式，獲取所述電能業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述電能業(yè)務(wù)數(shù)據(jù)獲取電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)包括：

根據(jù)預(yù)設(shè)訓(xùn)練集大小從所述電能業(yè)務(wù)數(shù)據(jù)中的截取初始訓(xùn)練集數(shù)據(jù)；

對(duì)所述初始訓(xùn)練集數(shù)據(jù)進(jìn)行一致性檢查，獲取一致性檢查結(jié)果；

根據(jù)所述一致性檢查結(jié)果對(duì)所述初始訓(xùn)練集數(shù)據(jù)中的取值異常進(jìn)行修正；

根據(jù)修正后的初始訓(xùn)練集數(shù)據(jù)的數(shù)據(jù)數(shù)值，對(duì)所述修正后的初始訓(xùn)練集數(shù)據(jù)進(jìn)行離散化處理，獲取電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)。

在其中一個(gè)實(shí)施例中所述對(duì)電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)進(jìn)行時(shí)間區(qū)段分配算法訓(xùn)練，獲得電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果包括：

根據(jù)所述電能業(yè)務(wù)訓(xùn)練數(shù)據(jù)獲取正數(shù)訓(xùn)練集以及負(fù)數(shù)訓(xùn)練集；

根據(jù)所述正數(shù)訓(xùn)練集以及所述負(fù)數(shù)訓(xùn)練集，確定候選時(shí)間類型；

根據(jù)所述候選時(shí)間類型與預(yù)設(shè)時(shí)間窗口的對(duì)比度，確定電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果。

在其中一個(gè)實(shí)施例中所述根據(jù)所述候選時(shí)間類型與預(yù)設(shè)時(shí)間窗口的對(duì)比度，確定電能業(yè)務(wù)數(shù)據(jù)質(zhì)量分析結(jié)果包括：

獲取所述候選時(shí)間類型與預(yù)設(shè)時(shí)間窗口的對(duì)比度，并確定使所述候選時(shí)間類型對(duì)比度最大的預(yù)設(shè)時(shí)間窗口；