[發(fā)明專利]一種計量數(shù)據(jù)恢復(fù)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010423811.8
• 申請日: 2020-05-19
• 公開（公告）號: CN111625399A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計）人: 趙紫敬;李剛;肖杰;何澤昊;楊光;李野;季浩;馬玉瑩;孔祥玉;董得龍;竇健;顧強;郄爽;孫虹;盧靜雅;李靜;劉浩宇;張兆杰;喬亞男;翟術(shù)然;許迪;呂偉嘉
• 申請（專利權(quán)）人: 國網(wǎng)天津市電力公司電力科學(xué)研究院;國網(wǎng)天津市電力公司;中國電力科學(xué)研究院有限公司;國家電網(wǎng)有限公司;天津大學(xué)
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06Q10/00;G06Q50/06
• 代理公司: 天津盛理知識產(chǎn)權(quán)代理有限公司 12209
• 代理人: 王來佳

本發(fā)明涉及一種計量數(shù)據(jù)恢復(fù)方法及系統(tǒng)，本發(fā)明使用矩陣正則化可以避免過擬合的問題，提高具有稀疏矩陣的概率矩陣分解方法的性能。并在數(shù)據(jù)恢復(fù)過程中考慮異常數(shù)據(jù)對恢復(fù)效果的影響，采用孤立森林算法檢測異常數(shù)據(jù)并剔除，可以實現(xiàn)異常數(shù)據(jù)快速挖掘，提高恢復(fù)缺失計量數(shù)據(jù)的準確性。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)恢復(fù)領(lǐng)域，尤其是一種計量數(shù)據(jù)恢復(fù)方法及系統(tǒng)。

背景技術(shù)

隨著泛在電力物聯(lián)網(wǎng)建設(shè)的推進，智能電表及多種能源計量的部署，電量數(shù)據(jù)的獲取效率與質(zhì)量得到了極大的提升，但數(shù)據(jù)的記錄誤差與隨機丟失仍然不可避免，而設(shè)備損壞、線路停電檢修、大型節(jié)慶活動，甚至用戶竊電等特殊情況也會引起異常的峰谷波動。這些數(shù)據(jù)誤差與異常必將覆蓋用電曲線的真實走向趨勢，使后續(xù)用電管理與負載預(yù)測出現(xiàn)重大偏差，導(dǎo)致電力規(guī)劃和運行維護成本的提高，直接影響到供電系統(tǒng)的自動化調(diào)度運行。因此，高效、精確地修補現(xiàn)有用電數(shù)據(jù)中的誤差與缺失，檢測異常用電情況已成為電力部門信息化進程中的關(guān)鍵研究課題，具有重要的現(xiàn)實意義。

用電數(shù)據(jù)恢復(fù)的最簡單方法是均值替換，它會推算所有非缺失值的平均值以替換缺失值。但是，均值替換不能保留變量之間的關(guān)系，因此在大多數(shù)情況下不能提供正確的估計值。通常，概率矩陣分解(probabilistic matrix factorization,PMF)用于將單個矩陣分解為兩個矩陣的乘積。PMF在電力系統(tǒng)中的應(yīng)用有兩個主要優(yōu)勢。首先，由于分解后所得矩陣的維數(shù)較低，因此PMF允許減少大數(shù)據(jù)數(shù)組的存儲值總數(shù)。另外，由于PMF具有通過計算兩個矩陣的乘積來獲取原始矩陣的屬性，因此也可以使用此屬性來恢復(fù)原始矩陣中的缺失值。將PMF方法應(yīng)用于丟失的數(shù)據(jù)恢復(fù)問題時，仍然存在一些挑戰(zhàn)。首先，復(fù)雜度隨著矩陣大小的增加而呈指數(shù)增長。其次，當(dāng)算法試圖使導(dǎo)致通用性喪失的錯誤最小化時，可能會出現(xiàn)過度擬合問題。同時，異常數(shù)據(jù)會降低數(shù)據(jù)恢復(fù)精度。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，解決電力系統(tǒng)中計量數(shù)據(jù)的異常檢測與缺失數(shù)據(jù)修復(fù)問題，提供一種計量數(shù)據(jù)恢復(fù)方法及系統(tǒng)。

本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實現(xiàn)的：

一種計量數(shù)據(jù)恢復(fù)方法，包括以下步驟：

步驟一，采集需要進行處理的計量數(shù)據(jù)；

步驟二，對采集的計量數(shù)據(jù)進行歸一化處理，得到歸一化矩陣；

步驟三，利用歸一化矩陣中的計量數(shù)據(jù)構(gòu)建iTree組成的孤立森林模型；

步驟四，利用建立的孤立森林模型計算計量數(shù)據(jù)的異常分數(shù)，判斷數(shù)據(jù)是否為異常數(shù)據(jù)；

步驟五，剔除由孤立森林模型檢測出的異常數(shù)據(jù)，形成計量數(shù)據(jù)集；

步驟六，利用計量數(shù)據(jù)集定義待修復(fù)數(shù)據(jù)矩陣、修復(fù)矩陣及描述丟失數(shù)據(jù)點位的矩陣；

步驟七，利用定義的待修復(fù)數(shù)據(jù)矩陣、修復(fù)矩陣及描述丟失數(shù)據(jù)點位的矩陣建立計量數(shù)據(jù)恢復(fù)優(yōu)化模型并求解以獲得最佳修復(fù)矩陣；

步驟八，將最佳修復(fù)矩陣進行反歸一化，得到修復(fù)后的計量數(shù)據(jù)。

而且，所述的計量數(shù)據(jù)從智能電表及等電量計量終端中采集。

而且，所述需要進行處理的計量數(shù)據(jù)包括下述中的至少一種：臺區(qū)信息、用戶ID、用電時間及用電功率。

而且，所述對采集的計量數(shù)據(jù)進行歸一化處理，得到歸一化矩陣采用如下公式：

其中，元素x_ij,norm為歸一化后的值，取值范圍在[0,1]之間；元素x_ij表示第j個臺區(qū)或用戶在第i時刻的用電量，x_ij,min是矩陣X中元素的最小值，x_ij,max是矩陣X中元素的最大值。