[發(fā)明專利]一種電力營銷缺失數(shù)據(jù)補全方法

在審

• 申請?zhí)枺?/td>: 201410758328.X
• 申請日: 2014-12-10
• 公開（公告）號: CN104392400A
• 公開（公告）日: 2015-03-04
• 發(fā)明（設(shè)計）人: 吉濤;慕福林;翁亞利;譚元剛;王剛;趙莉;傅宏;張向東;鄭迎春;邱小平;孔維禪;孫淵;劉虓豪
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;國網(wǎng)重慶市電力公司客戶服務(wù)中心;重慶小目科技有限責(zé)任公司
• 主分類號: G06Q50/06
• 分類號: G06Q50/06
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 盛元坤

技術(shù)領(lǐng)域

本發(fā)明涉及電力系統(tǒng)數(shù)據(jù)處理領(lǐng)域。

背景技術(shù)

數(shù)據(jù)缺失即數(shù)據(jù)不完整，表現(xiàn)在數(shù)據(jù)庫中，即為該記錄屬性為空，通常數(shù)據(jù)缺失從缺失機制上可以分為完全性隨機缺失、隨機性缺失以及非完全性隨機缺失。

從對象是否存在屬性缺失，可以把變量分為不完全變量，即指存在數(shù)據(jù)缺失的變量或者屬性；完全變量，即數(shù)據(jù)集數(shù)據(jù)完整，不含缺失屬性。

現(xiàn)實條件下，數(shù)據(jù)缺失的主要原因可以歸為以下幾類：

(1)無法有效使用的數(shù)據(jù)

這類數(shù)據(jù)，主要是指統(tǒng)計屬性對于對象主體不具有實際意義，例如：該用戶用電量為0,但其用電時間統(tǒng)計非0，則該數(shù)據(jù)是無效數(shù)據(jù)。

(2)遺漏數(shù)據(jù)

比如，由于采集設(shè)備問題，數(shù)據(jù)采集過程中造成的數(shù)據(jù)缺失，同時由于采集過程不可逆，采集實時性要求很高，則不能通過其他方法獲取數(shù)據(jù)?；蛘撸捎谙到y(tǒng)設(shè)計有問題，用戶在數(shù)據(jù)填寫過程中，某一數(shù)據(jù)的漏填或者采集不全。

(3)無法獲取的數(shù)據(jù)

由于人為或者系統(tǒng)問題，在短期內(nèi)無法實現(xiàn)采集的數(shù)據(jù)。比如說，醫(yī)院臨床檢驗的時候，在一段時間內(nèi)，有些數(shù)據(jù)無法得到。

(4)獲取代價很大的數(shù)據(jù)

采集需要耗費大量的人力和物力導(dǎo)致采集方無法進(jìn)行全面的數(shù)據(jù)采集而造成的缺失。

現(xiàn)有的缺失數(shù)據(jù)補全方法包括以下幾種：

(1)刪除法

將含有缺失數(shù)據(jù)的對象全部屬性刪除，剩余數(shù)據(jù)集作為整體進(jìn)行數(shù)據(jù)處理。根據(jù)研究對象的特征，刪除法又包括：配對刪除、列表刪除、個案刪除三種。

(2)常量補全

常量補全基于對數(shù)據(jù)集的研究上，對于不同的數(shù)據(jù)集，根據(jù)該對象屬性的數(shù)據(jù)特性，采用一個固定的常量值進(jìn)行補全，也可以針對數(shù)據(jù)全集進(jìn)行全局?jǐn)?shù)據(jù)補全。例如，常用Null代替關(guān)系型數(shù)據(jù)庫中的缺失數(shù)據(jù)。

(3)簡單補全

指利用簡單易懂的公式進(jìn)行數(shù)據(jù)的補全。例如，在缺失數(shù)據(jù)附近進(jìn)行歐式距離計算，確定K個相鄰數(shù)據(jù)，將這幾個數(shù)據(jù)進(jìn)行加權(quán)均值計算，作為補全數(shù)據(jù)。該方法的缺點是，進(jìn)行歐式距離計算時，需要進(jìn)行數(shù)據(jù)遍歷，真對大量數(shù)據(jù)計算效率較低。

(4)統(tǒng)計補全

通過對已知的數(shù)據(jù)集進(jìn)行統(tǒng)計方法計算，對缺失數(shù)據(jù)進(jìn)行補全。根據(jù)數(shù)據(jù)特點，可以對數(shù)據(jù)集進(jìn)行總體統(tǒng)計補全，也可以將數(shù)據(jù)集分組，進(jìn)行組內(nèi)統(tǒng)計補全。

(5)復(fù)雜估算方法補全

該方法是目前較為有效的缺失數(shù)據(jù)補全方法?；谌?jǐn)?shù)據(jù)，進(jìn)行模型建立，預(yù)測每一個缺失的數(shù)據(jù)進(jìn)行補全。主要方法有：回歸模型補全方法、貝葉斯補全方法、決策樹補全方法、期望值最大化補全方法等。

由于電力營銷數(shù)據(jù)來源廣泛、類型復(fù)雜，在數(shù)據(jù)倉庫建立過程中，數(shù)據(jù)冗余和不一致、噪音數(shù)據(jù)、表示方法錯誤、數(shù)據(jù)缺失等問題嚴(yán)重干擾了數(shù)據(jù)挖掘的結(jié)果，上述補全方法仍然不能夠完全解決這些問題。

發(fā)明內(nèi)容

本發(fā)明基于對數(shù)據(jù)缺失現(xiàn)象的原因分析，提出雙尺度貝葉斯數(shù)據(jù)補全方法，以解決數(shù)據(jù)挖掘前期數(shù)據(jù)缺失問題。

為實現(xiàn)本發(fā)明目的而采用的技術(shù)方案是這樣的，一種電力營銷缺失數(shù)據(jù)補全方法，其特征在于：

1)采集電力營銷數(shù)據(jù)，并將這些數(shù)據(jù)保存在數(shù)據(jù)集中，所述數(shù)據(jù)集中有N個記錄，每個記錄有M個屬性；數(shù)據(jù)集中任意一個紀(jì)錄記為記錄x，x為紀(jì)錄的序列號，取值為自然數(shù)；記錄x的屬性分別為X₁,……,X_M；令c₁,...,c_L是X_i樣本空間的劃分，i＝1、2……m；屬性X_i的分類個數(shù)為L_i；N_i代表了包含已知X_i屬性的記錄個數(shù)；當(dāng)X_i等于它的第K個分類時，c_ik的記錄的個數(shù)設(shè)為N_ik；N_jr|ik是當(dāng)X_j等于它的第r個分類c_jr的記錄的個數(shù)；

2)計算紀(jì)錄x的屬性Xi缺失概率：P(c_k/X)'：

計算每一個屬性的先驗概率:

P(X_i＝c_ik)＝N_ik/N_i

i＝1,...,M；k＝1,...,L_i