[發(fā)明專利]一種基于大數(shù)據(jù)平臺的短期負荷預(yù)測方法

在審

• 申請?zhí)枺?/td>: 201910815422.7
• 申請日: 2019-08-30
• 公開（公告）號: CN110516884A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計）人: 杜刃刃;楊超
• 申請（專利權(quán)）人: 貴州大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06N20/20
• 代理公司: 52100 貴陽中新專利商標事務(wù)所
• 代理人: 胡緒東<國際申請>=<國際公布>=<進入

本發(fā)明公開了一種基于大數(shù)據(jù)平臺的短期負荷預(yù)測方法，該方法包括步驟：構(gòu)建大數(shù)據(jù)平臺：采用MapReduce架構(gòu)搭建多個虛擬主機，其中一臺作為MapReduce架構(gòu)主節(jié)點Mastert，其余作為分節(jié)點，為每臺虛擬主機配置處理器和內(nèi)存以及安裝CentOS6.5系統(tǒng)；第二步：在CentOS 6.5系統(tǒng)中創(chuàng)建Hadoop賬戶，通過修改hosts為主節(jié)點和從節(jié)點配置IP地址，然后配置SSH使各節(jié)點間實現(xiàn)密碼登錄，完成后各臺機器之間直接通過ssh+機器名進行訪問；第三步：Spark計算引擎安裝成功后將Xgboot算法克隆到本地并進行編譯，編譯成功后通過指令以yarn模式啟動spark?shell，并引用xgboost包；第四步：將訓(xùn)練數(shù)據(jù)及相應(yīng)參數(shù)輸入Xgboost算法后得到運行結(jié)果。本發(fā)明在搭建的大數(shù)據(jù)平臺上利用并行后的算法進行預(yù)測，提高了負荷預(yù)測的精度和預(yù)測速度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于大數(shù)據(jù)平臺的短期負荷預(yù)測方法，屬于短期負荷預(yù)測技術(shù)領(lǐng)域。

背景技術(shù)

負荷預(yù)測在我國經(jīng)濟高速成長的今天，對于電力系統(tǒng)規(guī)劃以及可靠性和經(jīng)濟性的運行有著非常重要的作用。對于電網(wǎng)調(diào)度機構(gòu)來說，負荷預(yù)測對于發(fā)供電計劃的制定，電網(wǎng)的供需平衡以及電力市場的平穩(wěn)運行具有十分重要的意義，因而我們必要提高負荷預(yù)測的精度進而提高系統(tǒng)中設(shè)備的利用率，降低運行的危害。近年來由于科學(xué)技術(shù)的進步，負荷預(yù)測的相關(guān)理論與技術(shù)也相應(yīng)得到非常大的發(fā)展，理論研究也同時一點一點深入。對于電網(wǎng)中的負荷數(shù)據(jù)，負荷預(yù)測的準確性影響著電力系統(tǒng)的生產(chǎn)、檢修、調(diào)度等環(huán)節(jié)。傳統(tǒng)及智能負荷預(yù)測方法不能快速有效的訓(xùn)練大量數(shù)據(jù)樣本模型的問題，以及針對負荷預(yù)測近大遠小的特點不能有效利用歷史負荷數(shù)據(jù)問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：提供一種基于大數(shù)據(jù)平臺的短期負荷預(yù)測方法，以解決上述現(xiàn)有技術(shù)中存在的問題。

本發(fā)明采取的技術(shù)方案為：一種基于大數(shù)據(jù)平臺的短期負荷預(yù)測方法，該方法包括以下步驟：

(1)構(gòu)建大數(shù)據(jù)平臺：采用MapReduce架構(gòu)搭建多個虛擬主機，其中一臺作為MapReduce架構(gòu)主節(jié)點Mastert，其余作為分節(jié)點，為每臺虛擬主機配置處理器和內(nèi)存以及安裝CentOS6.5系統(tǒng)；

第二步：在CentOS 6.5系統(tǒng)中創(chuàng)建Hadoop賬戶，并賦予Hadoop賬戶管理員權(quán)限，通過修改hosts為主節(jié)點和從節(jié)點配置IP地址，然后配置SSH使各節(jié)點間實現(xiàn)密碼登錄，完成后各臺機器之間直接通過ssh+機器名進行訪問；

第三步：安裝Spark計算引擎，安裝成功后，將Xgboot算法克隆到本地并進行編譯，編譯成功后通過指令以yarn模式啟動spark-shell，并引用xgboost包；

第四步：將訓(xùn)練數(shù)據(jù)及相應(yīng)參數(shù)輸入Xgboost算法后得到運行，輸出下一個時間周期的負荷數(shù)據(jù)，實現(xiàn)Xgboot算法進行短期負荷預(yù)測。

Xgboost算法對輸入的樣本數(shù)據(jù)通過目標函數(shù)去訓(xùn)練數(shù)據(jù)樣本，得到新的數(shù)據(jù)，即是預(yù)測值。

目標函數(shù)為：

Obj(θ)＝L(θ)+Ω(θ) (1)

式中L(θ)為誤差函數(shù)，表示模型擬合數(shù)據(jù)的程度，Ω(θ)為正則化項，表示懲罰復(fù)雜的模型，Xgboost算法還采用GBDT中的Shrinkage(縮減)和隨機森林的列抽樣。

Shrinkage中采用多顆決策樹組成的決策樹森林模型，tree ensemble模型公式：

式中F是所有回歸樹集合，目標函數(shù)遵循原則為：