[發明專利]一種基于云平臺的局部加權線性回歸預測運算的方法

有效

• 申請號: 201110356943.4
• 申請日: 2011-11-11
• 公開（公告）號: CN102509177A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 劉建明;王繼業;趙丙鎮;栗寧;王風雨;張素香;呂厚雷;閆愛梅
• 申請（專利權）人: 國網信息通信有限公司;北京國電通網絡技術有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

技術領域

本發明涉及云平臺領域，特別涉及一種基于云平臺的局部加權線性回歸預測運算的方法。

背景技術

在調查研究的基礎上，對事物的未來進行科學的分析，研究其發展變化的規律性叫做預測分析。實際生活中，某些現象的發展和變化取決于若干因素的影響。基于這些影響因素的主次關系與變化規律等要素，將其進行統計、分析和運算從而通過數學方法進行的實際預測，常用的方式就包括有線性回歸算法。

局部加權線性回歸算法，簡稱LWLR算法，就是應用在預測分析中一種常見的算法。該算法的主要思想是先去一定數量的局部數據，然后再通過這部分局部數據集中擬合多項式回歸曲線，由此觀察得到數據在局部表現出來的規律和趨勢。不過該算法運算量非常巨大，特別是所運算的局部數據數目龐大的時候，單機計算的時間可能達到幾天甚至更長。

隨著智能電網技術的建設和發展，LWLR算法也多在其中發揮作用。智能電網旨在改造原有電網各環節，而實現更加環保、高效的現代化電力系統。同時，智能電網的建設中，數據量也發生爆炸式的增長。傳統的單機計算實現LWLR算法的缺陷就在于，它對海量數據的處理能力已經遠不能滿足智能電網中的實際需要。

發明內容

有鑒于此，本發明主要目的是提供一種基于云平臺的局部加權線性回歸預測運算的方法，來解決大量數據運算過程中執行效率降低的問題。

本發明所述方法，具體技術方案如下：

一種基于云平臺的局部加權線性回歸預測運算的方法，其特征在于，所述方法將局部加權線性回歸預測運算構建在映射簡化計算框架之下，該方法包括以下步驟：

確定帶預測點，映射簡化計算框架將待運算的數據點劃分到多個節點儲存在云平臺上；

各節點同時開始對劃分到本節點上的待運算數據點進行運算，采用臨近算法計算數據點與待測點的距離，找到帶運算數據點中距離符合第一閾值的數據點，第一閾值的范圍預先設定；

將每個節點上找到的符合第一閾值的數據點集中，并對數據點中數據進行加權處理，利用加權處理后的數據值計算出回歸系數，代入到回歸方程，計算出的回歸方程的解即為預測值。

所述映射簡化計算框架將帶運算數據點劃分到節點具體為：

映射計算框架估算數據總量以及算法對系統內存的消耗量，計算出需劃分節點的個數。

優選的，所述將每個節點上找到的符合第一閾值的數據點集中進一步包括：

將所有符合第一閾值的數據點集中以后，再從中進一步篩選出符合第二閾值的數據點，第二閾值的范圍預先設定。

所述對數據點進行加權處理具體為：

利用混合高斯模型計算各數據點的權重。

其特征在于，所述計算數據點與待測點的距離具體為：

將數據點與待測點數據分成用戶ID、時間、溫度和天氣四個維度，分別計算數據點與待測點四個維度的距離，在計算四個維度距離的和，即為數據點與待測點的距離。

所述對用戶ID信息數據距離的計算具體為：

數據點與待測點相同ID信息距離為0，不同ID信息距離為無窮大。

所述對時間信息數據距離的計算具體為：

以預定時長為單位的時間數據，制定周期環形模式計算距離，取數據點與待測點時間數據在周期環上最近的距離。

所述預定時長為月、星期、日或小時，并設定月周期環周長為30，星期周期環周長為7，日周期環周長為24，小時周期環周長為60。

所述對時間溫度數據距離的計算具體為：

數據點與待測點溫度數值間差值即為數據距離。

所述對天氣信息數據距離的計算具體為：

將天氣信息劃分為有雨和無雨兩種情況，設定有雨距離為1，無雨距離為0。

通過以上技術方案可知，本發明存在的有益效果為，通過映射簡化計算框架將大量數據分成若干節點同時進行局部加權線性回歸預測運算，從而成倍數縮短了計算時間，實現了高效處理海量數據，滿足了目前階段業務需要。

附圖說明

圖1：局部加權線性回歸預測運算主要步驟流程圖。

圖2：MapReduce計算框架之下局部加權線性回歸預測運算的方法具體實施例流程圖。

具體實施方式

本發明提供一種基于云平臺的局部加權線性回歸預測運算的方法，即基于云平臺實現LWLR預測算法的方法。通過將LWLR算法構建在云平臺的映射計算框架中，利用映射簡化計算框架將海量數據劃分節點并行運算，從而提高效率。映射簡化計算框架即MapReduce計算框架。