[發明專利]一種居民用電數據挖掘中應用貝葉斯估計補充缺失值的方法

在審

• 申請號: 202010920130.2
• 申請日: 2020-09-04
• 公開（公告）號: CN111966676A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 周浩;顧一峰;胡炳謙;韓俊
• 申請（專利權）人: 上海積成能源科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q30/02;G06Q50/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

在居民用電數據管理分析中，對于數據的完整性有很高的要求，對于收集到的原數據中的缺失值，需要通過各種數學方法完成補充，并保持數據的有效性。本發明公開了一種對居民用電數據中的缺失值應用貝葉斯估計補充的方法，可以通過一系列數學計算有效補充居民用電數據中的缺失數據,達到提高數據質量，保證數據完整的的目的。

技術領域

本發明涉及電力負荷預測技術領域，具體涉及一種居民用電數據挖掘中對居民用電數據中的缺失值應用貝葉斯估計補充缺失數據的方法。

背景技術

對居民用電消費受較多因素的影響，掌握居民用電習慣及其主要影響因素間的規律對電力系統調度，電力市場化的推進，智能化城市管理都具有重要意義。要對居民用電數據進行分析挖掘的第一步就是收集完整有效的居民用電數據。但是居民用電數據的數據集會因為各種原因（例如突發事件導致的數據丟失等）而包含缺失值，這些缺失值通常會被留為空白，或是被標記為占位符。當數據挖掘模型訓練一個包含很多缺失值的數據集時，缺失值的存在會很大程度上影響機器學習模型的表現。數據阿挖掘中的一些算法會假設所有值都是數值型且包含意義的，當這些缺失值被引入數據挖掘模型中會給模型的分析結果帶來不可控的影響和準確性損失的后果。面對這種情況，一種更策略是插補缺失值，也就是從觀測的數據中推測出缺失值的大小，其中一種比較好的方法就是貝葉斯估計。本發明公開了一種對居民數據的缺失值應用貝葉斯估計的方法補充缺失數據，達到保證居民用電數據完整性的目的。

發明內容

本發明提出了一種針對居民用電數據中的缺失值應用貝葉斯估計補充缺失數據的方法, 其特點在于利用貝葉斯估計方法算出極大似然數以補充居民用電數據集中的缺失值。

貝葉斯估計是統計學中一種對模型的參數確定的方法，認為數據集中的各個參數是服從某種概率分布的，已有的數據只是在這種參數的分布下產生的。所以，直觀理解上，就是假設一個參數 θ，然后根據數據來求出這個θ. 其中θ出現的概率p(θ) 需要人為設定，之后再考慮結合最大化可能值的方法來求一個具體的θ。貝葉斯估計在數據量較少或者比較稀疏的情況下，考慮先驗來提升準確率，其估計的參數能夠較好的反映實際情況。貝葉斯估計在本發明中的應用是針對電力負荷預測中的缺失數據，在整個數據集的分布中進行擬合以找到最大似然數，填補空缺值，保證數據的完整性，進而確保居民用電數據挖掘模型的運行效果，填補缺失值前的原始數據集合及填補缺失值后的數據集合將進行單因素方差分析（one way-ANOVA），計算兩組數據間顯著性差異值，需要保證兩組數據間沒有顯著性差異。如果兩組數據驗證后存在顯著性差異，則需要調整貝葉斯估計模型中的具體限制性參數的選擇，或者仍然剔除缺失值以確保填補后的數據與原始數據不存在顯著性差異，整體數據集可以保持一定的有效性，實際收集到的居民用電數據或經過去除異常值/去噪處理的數據集經過貝葉斯估計補充缺失值，可以提高整體數據集的有效性。將經過填補的數據集用于數據挖掘將大大的提高居民用電管理的可靠度與準確性。

附圖說明

圖1本發明實施例中利用貝葉斯估計補充缺失值的處理流程示意圖。

具體實施方式

為使得本發明的內容、目的、特征及優點能夠更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本發明一部分實施例，而非全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護說明書的范圍，如圖1所示本發明實施步驟如下。

步驟一、數據預處理：對采集到的原始居民用電數據按時間序列排列，確定數據集起止時間，檢查數據在時間序列上的缺省，標明缺省值并記錄缺省的起止時間。

步驟二、貝葉斯估計補充缺失值：將經過步驟1預處理的居民用電數據標注時間戳后進行貝葉斯估計運算，補充在某些時間段沒有相對應的數據，電力負荷數據在時間序列上的連貫性。具體采用的計算方法如下：