[發(fā)明專利]一種用電數(shù)據(jù)異常值的識別與處理方法

有效

• 申請?zhí)枺?/td>: 201910037480.1
• 申請日: 2019-01-15
• 公開（公告）號: CN109727446B
• 公開（公告）日: 2021-03-05
• 發(fā)明（設(shè)計）人: 趙文清;張詩滿;李剛
• 申請（專利權(quán)）人: 華北電力大學(xué)（保定）
• 主分類號: G08C25/00
• 分類號: G08C25/00
• 代理公司: 石家莊冀科專利商標事務(wù)所有限公司 13108
• 代理人: 李羨民;高錫明

一種用電數(shù)據(jù)異常值的識別與處理方法，用于提高電能計量的準確性，所述方法包括以下步驟：a.設(shè)置滑動窗口；b.計算當前滑動窗口中數(shù)據(jù)的離群距離；c.計算當前滑動窗口中各個數(shù)據(jù)的離群系數(shù)；d.異常值的判定和更正；e.將滑動窗口向后移動一個數(shù)據(jù)，重復(fù)步驟b～步驟d，直至遍歷整個數(shù)據(jù)集，完成異常值的處理。本發(fā)明根據(jù)滑動窗口中用電數(shù)據(jù)的離群系數(shù)判定其是否異常，并對異常數(shù)據(jù)進行更正，該方法可使數(shù)據(jù)更為準確地反映用戶的真實用電情況，減少某些異常值、缺失數(shù)據(jù)對電能計量造成的不良影響，確保后續(xù)工作順利進行并提高電能計量的準確性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種適用于智能電表采集的基于時間序列的離散數(shù)據(jù)的異常值識別與處理方法，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。

背景技術(shù)

隨著社會的發(fā)展和科技的創(chuàng)新，各行各業(yè)信息化程度越來越高，數(shù)據(jù)不再僅僅是結(jié)果的體現(xiàn)，而是各種系統(tǒng)運行狀態(tài)的反映。二十一世紀的今天，數(shù)據(jù)的價值已經(jīng)引起了社會各界的充分重視，因為數(shù)據(jù)是一種歷史狀態(tài)的記錄，通過對歷史數(shù)據(jù)的分析，可以找尋造成當前結(jié)果的原因，也可以預(yù)測未來將要發(fā)生的事情，甚至可以造就一個美好的未來。當前各種復(fù)雜的信息系統(tǒng)構(gòu)成了我們依賴的數(shù)字世界，從數(shù)據(jù)流向的角度來看，可將信息系統(tǒng)分為數(shù)據(jù)產(chǎn)生、數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)分析四個主要步驟。傳感技術(shù)的發(fā)展和信息系統(tǒng)的增多為數(shù)據(jù)的產(chǎn)生提供了更多的數(shù)據(jù)源，同時也推動促進了數(shù)據(jù)采集技術(shù)的進步，數(shù)據(jù)體量的劇增讓我們無法在單個服務(wù)器上實時處理海量數(shù)據(jù)，因此“大數(shù)據(jù)”和“云計算”等技術(shù)一出現(xiàn)便得到了快速發(fā)展和廣泛應(yīng)用，另外，基于大數(shù)據(jù)和云計算的人工智能也在如火如荼地發(fā)展，革新甚至取代了眾多機械性的行業(yè)。

面對種類多、體量大的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)質(zhì)量往往并不理想，存在不同程度的缺失和異常數(shù)據(jù)。實際項目經(jīng)驗也告訴我們，數(shù)據(jù)預(yù)處理是項目開發(fā)過程中不可或缺的一個環(huán)節(jié)和工作，而且處理質(zhì)量直接關(guān)系到數(shù)據(jù)分析結(jié)果，與項目的成敗有直接關(guān)系。工業(yè)現(xiàn)場采集的原始數(shù)據(jù)通常存在噪聲和異常值，這些原始數(shù)據(jù)的問題主要集中在以下幾個方面：一是對于同一設(shè)備，不同測量裝置的測量結(jié)果是不同的；二是傳感器在壓縮或傳輸數(shù)據(jù)時存在不確定性影響，造成數(shù)據(jù)丟失等，這為后續(xù)分析處理帶來了很大的困難。因此，對采集到的原始數(shù)據(jù)進行預(yù)處理是一項非常必要的工作，需要著重進行缺失值補全、異常值處理和指標篩選等。數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等步驟。數(shù)據(jù)清洗主要是對缺失值和異常值進行處理，根據(jù)缺失值的重要程度，可將其刪除或插補，數(shù)據(jù)的插補根據(jù)實際情況可選用固定值法、最近值法、均值法、中位數(shù)法、眾數(shù)法，以及回歸法、拉格朗日插值法和牛頓插值法；對異常值的處理有識別和處理兩個步驟，都需結(jié)合數(shù)據(jù)特點進行分析處理，且以數(shù)據(jù)最小失真為目標。數(shù)據(jù)集成是將多個數(shù)據(jù)源的數(shù)據(jù)整合到一起，形成一個統(tǒng)一且相對完整的數(shù)據(jù)集合，其主要技術(shù)難點是處理冗余和沖突數(shù)據(jù)。數(shù)據(jù)變換需要將數(shù)據(jù)轉(zhuǎn)換成適合方法分析和挖掘的形式，篩選出特征指標，涉及到數(shù)據(jù)的規(guī)范化、聚集和屬性構(gòu)造等方面的技術(shù)。隨著信息化程度的加深，數(shù)據(jù)不僅是結(jié)果的呈現(xiàn)，更是社會發(fā)展過程的記錄，面對大數(shù)據(jù)分析和挖掘存在效率不高問題，數(shù)據(jù)規(guī)約技術(shù)可得到數(shù)據(jù)集的規(guī)約表示，在縮減數(shù)據(jù)量的同時，保持原數(shù)據(jù)的完整性。

智能電表對電能使用情況的記錄是基于時間序列的離散采樣數(shù)據(jù)，在實際應(yīng)用過程中，由于電表質(zhì)量、通信故障等多種客觀因素的影響，導(dǎo)致記錄數(shù)據(jù)出現(xiàn)缺失和異常，因此必須進行識別和處理。