[發明專利]基于云平臺的分布式能源數據監控清洗方法

有效

• 申請號: 201810011720.6
• 申請日: 2018-01-05
• 公開（公告）號: CN108170825B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 曹超;馬玉鑫;常悅
• 申請（專利權）人: 上海電氣分布式能源科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

本發明公開了一種基于云平臺的分布式能源數據監控清洗方法，包括：第一步驟：在遠程運維報文數據解析結束后執行數據質量監控，其中判別報文數據全為0的情況以及報文數據中出現連續預定條數據卡死的情況；第二步驟：針對每天存儲的發電功率和負荷功率數據，執行每日運行數據清洗。

技術領域

本發明涉及分布式能源數據處理領域，尤其涉及一種基于云平臺的分布式能源數據監控清洗方法。

背景技術

現實生活中，數據總是不完整的，缺少某些值得關注的屬性或者僅包含統計數據，也有可能含有錯誤或存在偏離期望的孤立點值。數據可能需要將多個數據源合并，由此帶來偏差沖突或者矛盾等諸多問題。

越干凈的數據集進行數據挖掘的效果越好，如果數據質量很差，那么數據分析的效果一定與真實的結果有很大的偏差。

隨著電力大數據時代的來臨，電力企業信息化與智能電力系統的建成使電力數據的體量以前所未有的速度增長；電力大數據應用中，對行業內外諸如能源、天氣等數據的關聯分析需求使得收集的電力數據類型出現明顯的增多；電力大數據分析高實時性的需求使數據處理的速度必須更高。

近幾年分布式能源迅速發展，產生的數據參差不齊，基于云平臺對數據進行預處理，包括數據清洗、集成、轉換與約簡，是大數據時代的一個重要難題，通過數據質量監控可以很快的發現并排除數據問題，對數據進行處理可以使數據更加準確可靠，為進行分布式能源的數據統計和預測調度提供了數據支持。

離群點檢測是基于密度的LOF算法開發的策略，該策略對于閾值、選取數據的長度都有要求，當前策略的閾值是固定值，可能對離群點選擇會有影響，修正缺失值和離群點值采用常規的均值插值法，未根據數據的特征采用算法進行補值，會對結果的準確性產生影響。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是提供一種基于云平臺的分布式能源數據監控清洗方法。

為實現上述目的，本發明提供了一種基于云平臺的分布式能源數據監控清洗方法，包括：第一步驟：在遠程運維報文數據解析結束后執行數據質量監控，其中判別報文數據全為0的情況以及報文數據中出現連續預定條數據卡死的情況；第二步驟：針對每天存儲的發電功率和負荷功率數據，執行每日運行數據清洗。

優選地，在判別出現報文數據全為0的情況時，發送相應的第一警告信息；在判別出現報文數據中出現連續預定條數據卡死的情況時，發送相應的第二警告信息。

優選地，第一警告信息和第二警告信息以郵件的形式發送給用戶。

優選地，每日運行數據清洗包括下述處理中的一種或多種：對數據進行完整度查詢測試以判斷數據的完整性，對數據進行一致性查詢測試以判斷數據是否出現卡死的情況，對數據采用LOF算法進行離群點錯誤點查詢，對數據進行錯誤查詢修正處理，對數據進行缺失數據補全處理。

優選地，在對數據進行完整度查詢測試以判斷數據的完整性時，查看數據中空數據占整個一天數據的比例，如果該比例超過預定閾值，則刪除該天數據。

優選地，在對數據進行一致性查詢測試時，如果出現連續預定條數據相同的情況，則判定數據出現卡死。

優選地，對數據采用LOF算法進行離群點錯誤點查詢包括：將測試數據和預設數據庫數據放入測試算法中進行計算以找出離群點，并且對離群點進行修正。

優選地，對數據進行錯誤查詢修正處理包括：將超過最大發電功率的數據值修正為額定功率值。

本發明基于云平臺處理數據快速的特點，對遠程運維報文數據解析結束后，增加數據質量監控功能，判別數據全為0或數據卡死情況，在數據的源頭發現問題，以諸如郵件的形式及時通知運維人員，針對每天存儲的發電功率和負荷功率數據，對數據進行完整度查詢、一致性查詢、采用LOF算法離群點錯誤點查詢、錯誤缺失數據補全等全流程的數據清洗，完成全方位的數據檢測和清洗。