[發明專利]一種用于電力傳感數據的清洗方法、裝置和系統

有效

• 申請號: 201710790445.8
• 申請日: 2017-09-05
• 公開（公告）號: CN107679089B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 陳江琦;劉賀;劉衛衛;趙婷;楊訸;黃復鵬;王曉慧;朱承治
• 申請（專利權）人: 全球能源互聯網研究院;國網浙江省電力公司;國家電網公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/17;G06F16/182
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明提供一種用于電力傳感數據的清洗方法、裝置和系統，采用K?Means聚類法將電力傳感數據中的結構化數據聚類為多個分區，對每個分區中的結構化數據進行檢測，對檢測得到的異常數據進行修復，最終實現異常數據的清洗。本發明采用K?Means聚類法將電力傳感數據中的結構化數據聚類為多個分區的過程中，在對最優簇數量對應的K?Means聚類的聚類結果再進行聚類時考慮了連續電力傳感數據之間的關聯等特性，能夠發現更多的異常數據，能夠有效改善大規模電力傳感數據的數據質量；且將電力傳感數據的時間特性引入異常數據檢測過程，能夠識別出在閾值范圍內但與鄰近點的值存在較大偏差的異常數據。

技術領域

本發明涉及數據清洗技術，具體涉及一種用于電力傳感數據的清洗方法、裝置和系統。

背景技術

電力傳感設備從屬于不同的電力設備，廣泛分布在電網的各級單位，智能電網的絕大多數數據是由電力傳感設備產生的，且智能電網的規模非常龐大，且規模正在逐年擴展。伴隨智能電網規模的擴大，電力傳感設備產生的電力傳感數據將越來越多。然而，受到數據干擾源、電力傳感數據采集和網絡傳輸異常等因素的影響，電力傳感數據通常存在數據質量問題，即電力傳感數據存在數據準確性不高且屬于異常數據。

數據清洗是確保數據信息源的數據質量的方法之一，異常數據的檢測和修復便成為數據清洗的關鍵問題，目前關于異常數據的清洗主要采取以下兩種措施：

1)使用自動化方法和工具清洗企業信息數據：該措施能夠針對海量的企業信息數據進行以下處理：找出相似重復的數據以便去重，對不同來源的數據進行匹配，還使數據標準化。通過網站提供的在線數據匹配工具，可把不同來源的企業信息數據匹配到統一的編碼下，以便合并，實現對現有的企業信息數據進行查重和去重。

2)通過數據質量管理平臺軟件QualityCube清洗系統數據：數據質量管理平臺軟件QualityCube制定并實施數據質量檢核，暴露各系統數據的質量問題，具體是通過持續監控各系統數據質量波動情況及數據質量規則占比分析，定期生成各系統關鍵數據質量報告，掌握系統數據質量狀況，結合系統提供的清洗組件以及數據質量問題處理流程為各系統數據質量提升提供有效支撐。

然而，上述兩種方法對于連續數值型記錄多關注各個數據值本身是否在合理閾值范圍之內，很多異常數據無法被檢測到，上述兩種方法具有數據清洗不干凈的缺點。

發明內容

為了克服上述現有技術中數據清洗不干凈的不足，本發明提供一種用于電力傳感數據的清洗方法、裝置和系統，方法先采用K-Means聚類法將電力傳感數據中的結構化數據聚類為多個分區，然后對每個分區中的結構化數據進行檢測，最后對檢測得到的異常數據進行修復，系統設有采集裝置、清洗裝置和存儲裝置，通過清洗裝置實現電力傳感數據的清洗。

為了實現上述發明目的，本發明采取如下技術方案：

第一個方面，本發明提供一種用于電力傳感數據的清洗方法，包括：

采用K-Means聚類法將電力傳感數據中的結構化數據聚類為多個分區；

對每個分區中的結構化數據進行檢測；

對檢測得到的異常數據進行修復。

所述采用K-Means聚類將電力傳感數據中的結構化數據聚類為多個分區包括：

按下式計算類內平均距離：

其中，K表示簇的數量，MIA(K)表示簇數量為K時的類內平均距離，d_k表示第k個簇中樣本點到簇中心的平均距離，且其中表示C_k中的第n個元素，C_k表示第k個簇，n_k表示C_k中的元素數，x_k表示C_k的簇中心；