[發明專利]一種基于大數據平臺的短期負荷預測方法

在審

• 申請號: 201910815422.7
• 申請日: 2019-08-30
• 公開（公告）號: CN110516884A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 杜刃刃;楊超
• 申請（專利權）人: 貴州大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06N20/20
• 代理公司: 52100 貴陽中新專利商標事務所
• 代理人: 胡緒東<國際申請>=<國際公布>=<進入

1.一種基于大數據平臺的短期負荷預測方法，其特征在于：該方法包括以下步驟：

(1)構建大數據平臺：采用MapReduce架構搭建多個虛擬主機，其中一臺作為MapReduce架構主節點Mastert，其余作為分節點，為每臺虛擬主機配置處理器和內存以及安裝CentOS6.5系統；

第二步：在CentOS 6.5系統中創建Hadoop賬戶，并賦予Hadoop賬戶管理員權限，通過修改hosts為主節點和從節點配置IP地址，然后配置SSH使各節點間實現密碼登錄，完成后各臺機器之間直接通過ssh+機器名進行訪問；

第三步：安裝Spark計算引擎，安裝成功后，將Xgboot算法克隆到本地磁盤并進行編譯，編譯成功后通過指令以yarn模式啟動spark-shell，并引用xgboost包；

第四步：將訓練數據及相應參數輸入Xgboost算法后得到運行，輸出下一個時間周期的負荷數據，實現Xgboot算法進行短期負荷預測。

2.根據權利要求1所述的一種基于大數據平臺的短期負荷預測方法，其特征在于：Xgboost算法對輸入的樣本數據通過目標函數去訓練數據樣本，得到新的數據，即是預測值。

3.根據權利要求2所述的一種基于大數據平臺的短期負荷預測方法，其特征在于：目標函數為：

Obj(θ)＝L(θ)+Ω(θ) (1)

式中L(θ)為誤差函數，表示模型擬合數據的程度，Ω(θ)為正則化項，表示懲罰復雜的模型，Xgboost算法還采用GBDT中的Shrinkage和隨機森林的列抽樣。

4.根據權利要求3所述的一種基于大數據平臺的短期負荷預測方法，其特征在于：Shrinkage中采用多顆決策樹組成的決策樹森林模型，tree ensemble模型公式：

式中F是所有回歸樹集合，目標函數遵循原則為：

式中第一部分是目標真實值y_i與預測值之間的誤差，第二部分是每棵樹的復雜度之和，公式參數采用additive training的方式來訓練，面對不是平方誤差時，使用泰勒展開來定義一個近似的目標函數，進行對這一步計算的簡化除去常數項，目標函數僅僅取決于于每個數據點在誤差函數上的一階導數和二階導數：

公式3中Ω(f_k)用來定義樹的復雜度，把樹拆分成兩個部分如結構部分q和葉子權重部分ω，定義則目標函數可以改寫為：

目標函數計算葉子j最優權重以及對應的最優目標函數值枚舉所有樹結構采用的方法是貪心法，從一個單葉子節點開始迭代來給樹添加分支這種方法進行代替，得到的增益公式如下：

式中為左分支樹，為右分支樹，為不進行分割情況下得到的分數，γ為加入新葉子節點后引入的復雜度代價。