[發明專利]基于云計算的海量智能用電數據挖掘方法及裝置

有效

• 申請號: 201410165803.2
• 申請日: 2014-04-23
• 公開（公告）號: CN105005570B
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 譚剛;趙莉;胡君;何容;陳俐冰
• 申請（專利權）人: 國家電網公司;國網重慶市電力公司客戶服務中心
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 張勇

技術領域

本發明涉及計算機領域，特別涉及一種基于云計算的海量智能用電數據挖掘方法及裝置。

背景技術

面對強勁增長的電力需求和日漸緊張的電力供應，以及不斷提高的節能減排任務，國家電網公司積極應對，加快建設堅強智能電網，深入推進“兩個轉變”，積極構建“三集五大”體系。隨著用戶用電信息的“全覆蓋”和“全采集”，每日將獲取海量的數據，這些海量數據不但全面反映了用戶的電量消費，還包含著大量有價值的信息，涵蓋電網運行狀態、電力市場動態、電能計量工況、客戶能源消耗、供電服務質量和采集設備運行等各個方面，及時掌握和充分利用這些有價值的信息，可徹底改變在電費電價分析、有序用電管理、線損統計分析、電能質量監測、配電網規劃和運行、用戶異常用電分析、采集設備運行分析、計量裝置運行監測、反竊電管理、客戶增值服務以及指導用戶節能改造等工作中的被動和滯后，全面促進和支撐實現電網業務的創新，實現以客戶為導向的配電網發展戰略思路。但由于這些有價值的信息“隱藏”在“汪洋大海”般的采集信息中，這就需要針對上述業務，明確需求，深度開展海量數據的挖掘處理和智能分析，為電網生產和營銷業務提供支持。

專利《一種智能電網海量數據流的分布式數據挖掘方法》中，數據分流器對數據進行分流是數據挖掘開始后首先對數據的預處理，會大量增加整個數據挖掘時間，本專利是在存儲數據時就已經提前對數據進行了預處理，可以直接用來進行數據挖掘；此專利在數據挖掘過程中，需要對所有挖掘數據進行傳輸，對于海量數據，此過程會浪費大量時間，并且占用大量帶寬資源，本專利僅需對少量數據進行傳輸。

專利《基于分布式數據挖掘的協同入侵檢測系統》只是在對數據進行收集和集成時實現并行執行，而在數據挖掘時，控制臺模塊只是選擇負載最輕的客戶端模塊，進行數據挖掘，其它的客戶端模塊并未參與數據挖掘，因此數據挖掘過程并不是并行進行。

專利《一種基于云計算的數據挖掘系統功能層析架構》提出用戶層、應用層和算法層三層架構以及之間的關系，并未對每一層具體實現進行描述，并未對數據存儲和共享問題進行描述，是否實現數據挖掘并行執行也未描述。

專利《一種基于云計算的數據挖掘方法、系統及裝置》設計的方法和裝置，雖然涉及實現數據挖掘的并行執行，但未涉及數據存儲方法問題，也未涉及對計算節點數據挖掘過程的監控及控制，未對數據挖掘任務拆分成多個子任務方式進行描述。

目前僅僅單純地依靠統計手段和數據庫管理系統的查詢檢索機制等方法已經遠不能滿足現實需要，迫切要求數據處理技術能夠自動、智能地將待處理的海量數據轉化為有用的信息和知識。目前雖然數據挖掘技術已經廣泛的應用到電力系統的各個領域，在存在大量數據的地方都有對使用數據挖掘技術提供有價值信息的嘗試。但是首先，針對數據存儲，特別是針對多數據源、海量用電數據的存儲問題并沒有得到很好地解決，其次數據挖掘效率目前較低，如何真正實現數據挖據的并行執行，提高挖掘效率，是需要解決的一個問題。

發明內容

本發明的目的就是為解決上述數據挖掘問題，特別是針對海量智能用電數據挖掘提供一種基于云計算的海量智能用電數據挖掘方法及裝置，利用云計算中的分布式存儲方法和MapReduce并行計算技術對海量用戶用電信息進行高效地挖掘，實現對家庭用戶用電量進行預測，制定最優用能策略；判斷企業用戶是否適合分時電價，形成用戶設備節能方案；為物價管理部門制定階梯電價政策和分時電價政策提供依據；為供電企業對停電故障分析及恢復供電時間分析、用戶細分提供依據等功能。

為實現上述目的，本發明采用如下技術方案：

基于云計算的海量智能用電數據挖掘方法，主要包括以下工作步驟：

步驟A:將用電信息采集系統、SG186營銷業務應用系統、智能小區管理系統和企業能源管理系統外圍系統產生的海量用電數據存入云計算的分布式文件系統；

步驟B:用戶主動發起業務請求，主節點接收請求，并對業務請求進行分析，根據具體實際情況，選擇需要參與挖掘的從節點以及挖掘算法，將維度分解后的任務分配給從節點；

步驟C:各從節點根據分配到的任務，數據存儲模塊與任務執行模塊相互配合，使用主節點選擇的數據挖掘算法獨立進行用電數據挖掘任務，實現并行計算，并與任務管理模塊進行交互。

所述步驟C中的數據挖掘算法是云計算的分布式存儲技術或云計算的MapReduce并行計算技術。

所述步驟A中，將海量用電數據存入分布式文件系統的過程為：