[發(fā)明專利]一種測點(diǎn)數(shù)據(jù)的補(bǔ)缺系統(tǒng)及補(bǔ)缺方法

有效

• 申請?zhí)枺?/td>: 201310351761.7
• 申請日: 2013-08-13
• 公開（公告）號(hào): CN103440283A
• 公開（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 吳克河;朱亞運(yùn);黨芳芳
• 申請（專利權(quán)）人: 江蘇華大天益電力科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王云

1.一種測點(diǎn)數(shù)據(jù)的補(bǔ)缺系統(tǒng)，其特征在于：包括業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)以及與業(yè)務(wù)指標(biāo)數(shù)據(jù)探測模塊相連接的數(shù)據(jù)填充系統(tǒng)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)包括源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊、與源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊相連的數(shù)據(jù)訪問模塊、連接于數(shù)據(jù)訪問模塊的業(yè)務(wù)邏輯模塊、連接于業(yè)務(wù)邏輯模塊的數(shù)據(jù)顯示模塊；所述數(shù)據(jù)填充系統(tǒng)中設(shè)有線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的測點(diǎn)數(shù)據(jù)的補(bǔ)缺系統(tǒng)，其特征在于：所述源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊為設(shè)于綜合數(shù)據(jù)系統(tǒng)中的負(fù)責(zé)存儲(chǔ)業(yè)務(wù)指標(biāo)定義表和通過實(shí)時(shí)數(shù)據(jù)采集平臺(tái)收集以及人工報(bào)送的周期性的源業(yè)務(wù)指標(biāo)數(shù)據(jù)模塊；所述數(shù)據(jù)訪問模塊為用于查找和記錄缺失數(shù)據(jù)的模塊。

3.根據(jù)權(quán)利要求1所述的測點(diǎn)數(shù)據(jù)的補(bǔ)缺系統(tǒng)，其特征在于：所述均值填充系統(tǒng)包括橫向均值填充系統(tǒng)和縱向均值填充系統(tǒng)。

4.基于權(quán)利要求1至3任一項(xiàng)所述的測點(diǎn)數(shù)據(jù)的補(bǔ)缺系統(tǒng)的補(bǔ)缺方法，其特征在于包括以下步驟：

（1）使用數(shù)據(jù)訪問模塊遍歷綜合數(shù)據(jù)系統(tǒng)，查找并記錄存在的業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項(xiàng)，根據(jù)缺失項(xiàng)查找業(yè)務(wù)指標(biāo)定義表，確定各指標(biāo)間的橫向關(guān)聯(lián)范圍；

（2）在數(shù)據(jù)顯示模塊中顯示數(shù)據(jù)訪問模塊所記錄的缺失項(xiàng)，并提供針對缺失項(xiàng)的三種數(shù)據(jù)填充系統(tǒng)的接口；

（3）用戶根據(jù)需求，從線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)中選擇一種系統(tǒng)對業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項(xiàng)進(jìn)行填充處理，業(yè)務(wù)邏輯模塊接收到用戶的指令，開始執(zhí)行相對應(yīng)的填充算法，并將計(jì)算出的缺失項(xiàng)填充值返回給數(shù)據(jù)顯示模塊；其中，所述業(yè)務(wù)邏輯模塊執(zhí)行包括以下四種的填充算法：

a）線性回歸填充算法：該算法通過歷史數(shù)據(jù)或橫向指標(biāo)數(shù)據(jù)對指標(biāo)數(shù)據(jù)缺失值進(jìn)行預(yù)測，需通過最小二乘法建立以下線性回歸模型來計(jì)算填充值：

Y=a+Σi=1kbiXi+e]]>

式中，k為自變量的個(gè)數(shù)，即用來進(jìn)行填充值估算的樣本數(shù)據(jù)群的容量，Y為所求的填充值，X_i為樣本數(shù)據(jù)群中每一個(gè)樣本的數(shù)值，e為隨機(jī)參數(shù)；

相關(guān)系數(shù)a和b_i可采用如下公式進(jìn)行估算：

a=y‾-bx‾bi=Σi=1k(xi-x‾)(xi-y‾)Σi=1k(xi-x‾)2=Σi=1kxiyi-kxy‾Σi=1kxi2-kx‾2]]>

b)橫向均值填充算法：將在業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)查找到的數(shù)據(jù)的缺失項(xiàng)標(biāo)識(shí)為INDEX_ID，使用INDEX_ID訪問指標(biāo)分類表，取得其父分類指標(biāo)的標(biāo)識(shí)記為PARENTID，通過數(shù)據(jù)訪問模塊取得所有父指標(biāo)ID為PARENTID的指標(biāo)，并按照以下公式進(jìn)行計(jì)算：

v=1nΣi=1nvi]]>

式中，v_i為各父指標(biāo)的數(shù)值，n為所有父指標(biāo)的個(gè)數(shù)，v即為數(shù)據(jù)缺失項(xiàng)的橫向均值填充值；

c）縱向均值填充算法：該算法采取的統(tǒng)計(jì)時(shí)間為12個(gè)月，將在業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)查找到的數(shù)據(jù)的缺失項(xiàng)標(biāo)識(shí)為INDEX_ID，再取得缺失項(xiàng)所在記錄的時(shí)間，記為DATATIME，使用該標(biāo)識(shí)再次訪問指標(biāo)數(shù)據(jù)表，取DATATIME所標(biāo)識(shí)時(shí)間點(diǎn)的前12個(gè)月的指標(biāo)數(shù)據(jù)記錄，然后則按照以下公式進(jìn)行計(jì)算：

v=112Σi=112vi]]>

式中，v即為數(shù)據(jù)缺失項(xiàng)的縱向均值填充值；

d）人工填充算法：由用戶在數(shù)據(jù)顯示模塊的填充界面上對數(shù)據(jù)缺失項(xiàng)進(jìn)行添加；

（4）此時(shí)數(shù)據(jù)顯示模塊中出現(xiàn)是否保存該填充值的選項(xiàng)，若用戶選擇保存，則該填充值通過業(yè)務(wù)邏輯模塊和數(shù)據(jù)訪問模塊保存至源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊中。