[發(fā)明專利]一種測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法

有效

• 申請?zhí)枺?/td>: 201310351761.7
• 申請日: 2013-08-13
• 公開（公告）號: CN103440283A
• 公開（公告）日: 2013-12-11
• 發(fā)明（設(shè)計）人: 吳克河;朱亞運;黨芳芳
• 申請（專利權(quán)）人: 江蘇華大天益電力科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王云

技術(shù)領(lǐng)域

本發(fā)明涉及一種電網(wǎng)企業(yè)數(shù)據(jù)完整性的維護方法，具體涉及一種對缺失的測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法。

背景技術(shù)

在現(xiàn)代化企業(yè)發(fā)展和宏觀經(jīng)濟的影響下,電網(wǎng)企業(yè)作為主營電網(wǎng)業(yè)務(wù)的運營商和區(qū)域電力市場交易的主體,對企業(yè)管理和經(jīng)營數(shù)據(jù)及時有效統(tǒng)計的需求越來越高。我國電網(wǎng)企業(yè)的業(yè)務(wù)數(shù)據(jù)報送手段多數(shù)還采用人工方式，這種方式很容易受到人員素質(zhì)和部門管理方式的影響，使得數(shù)據(jù)在創(chuàng)建過程中就可能出現(xiàn)不完整的質(zhì)量問題，給后期的數(shù)據(jù)使用、數(shù)據(jù)傳輸和數(shù)據(jù)維護等階段帶來巨大的質(zhì)量隱患。有的電網(wǎng)公司引入了專業(yè)的采集軟件系統(tǒng)進行數(shù)據(jù)采集，但這些系統(tǒng)只松散地完成某些采集功能，人工作業(yè)還是占了相當(dāng)一部分比例。隨著電力企業(yè)的不斷發(fā)展，資產(chǎn)積累、部門增加以及專業(yè)分工細(xì)化等因素，企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)分類越來越多，導(dǎo)致數(shù)據(jù)缺失情況嚴(yán)重，進而導(dǎo)致計算統(tǒng)計量的精度降低，計算結(jié)果不準(zhǔn)確，甚至導(dǎo)致某些后續(xù)計算過程不能完成，影響企業(yè)的統(tǒng)計分析工作。

目前，國內(nèi)的電網(wǎng)企業(yè)業(yè)務(wù)數(shù)據(jù)收集普遍采用相關(guān)的數(shù)據(jù)采集平臺與人工報送相結(jié)合的方式進行，在采集過程中，由于人工操作失誤、部門未及時上報相關(guān)業(yè)務(wù)數(shù)據(jù)等因素，常常會導(dǎo)致指標(biāo)數(shù)據(jù)出現(xiàn)缺失。由于電網(wǎng)企業(yè)的大部分業(yè)務(wù)數(shù)據(jù)之間具有很強的依賴關(guān)系，歷史數(shù)據(jù)和某些平行業(yè)務(wù)數(shù)據(jù)之間的可追溯性也比較強，且呈正態(tài)分布的樣本數(shù)據(jù)比例比較高，同時，電網(wǎng)行業(yè)對數(shù)據(jù)的精度要求較高，在缺失度比較大的情況下，統(tǒng)計數(shù)據(jù)群的精度會嚴(yán)重受損。此時可采用刪除元組的方式對缺失數(shù)據(jù)進行處理，然后重新通過平臺采集或要求相關(guān)人員重新報送，然而在缺失度不高的情況下，如果直接刪除，將對數(shù)據(jù)造成極大的浪費，同時也會增加工作復(fù)雜度。因此，在這種情況下應(yīng)采用填充的方法來提高統(tǒng)計數(shù)據(jù)群的精度，但是某些關(guān)鍵數(shù)據(jù)卻非常孤立，用一般的計算方法很難給出有價值的填充值。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法。

技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明的一種測點數(shù)據(jù)的補缺系統(tǒng)，包括業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)以及與業(yè)務(wù)指標(biāo)數(shù)據(jù)探測模塊相連接的數(shù)據(jù)填充系統(tǒng)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)包括源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊、與源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊相連的數(shù)據(jù)訪問模塊、連接于數(shù)據(jù)訪問模塊的業(yè)務(wù)邏輯模塊、連接于業(yè)務(wù)邏輯模塊的數(shù)據(jù)顯示模塊；所述數(shù)據(jù)填充系統(tǒng)中設(shè)有線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)。

優(yōu)選的，所述源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊為設(shè)于綜合數(shù)據(jù)系統(tǒng)中的負(fù)責(zé)存儲業(yè)務(wù)指標(biāo)定義表和通過實時數(shù)據(jù)采集平臺收集以及人工報送的周期性的源業(yè)務(wù)指標(biāo)數(shù)據(jù)模塊；所述數(shù)據(jù)訪問模塊為用于查找和記錄缺失數(shù)據(jù)的模塊。

作為優(yōu)選，所述均值填充系統(tǒng)包括橫向均值填充系統(tǒng)和縱向均值填充系統(tǒng)。

本發(fā)明還公開了一種測點數(shù)據(jù)的補缺系統(tǒng)的補缺方法，包括以下步驟：

（1）使用數(shù)據(jù)訪問模塊遍歷綜合數(shù)據(jù)系統(tǒng)，查找并記錄存在的業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項，根據(jù)缺失項查找業(yè)務(wù)指標(biāo)定義表，確定各指標(biāo)間的橫向關(guān)聯(lián)范圍；

（2）在數(shù)據(jù)顯示模塊中顯示數(shù)據(jù)訪問模塊所記錄的缺失項，并提供針對缺失項的三種數(shù)據(jù)填充系統(tǒng)的接口；

（3）用戶根據(jù)需求，從線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)中選擇一種系統(tǒng)對業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項進行填充處理，業(yè)務(wù)邏輯模塊接收到用戶的指令，開始執(zhí)行相對應(yīng)的填充算法，并將計算出的缺失項填充值返回給數(shù)據(jù)顯示模塊；其中，所述業(yè)務(wù)邏輯模塊執(zhí)行包括以下四種的填充算法：

a）線性回歸填充算法：該算法通過歷史數(shù)據(jù)或橫向指標(biāo)數(shù)據(jù)對指標(biāo)數(shù)據(jù)缺失值進行預(yù)測，需通過最小二乘法建立以下線性回歸模型來計算填充值：

Y=a+Σi=1kbiXi+e]]>

式中，k為自變量的個數(shù)，即用來進行填充值估算的樣本數(shù)據(jù)群的容量，Y為所求的填充值，X_i為樣本數(shù)據(jù)群中每一個樣本的數(shù)值，e為隨機參數(shù)；

相關(guān)系數(shù)a和b_i可采用如下公式進行估算：