[發(fā)明專利]基于Hadoop平臺多并行度的能耗預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202011631581.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112633599A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 高世鵬;胡文斌;張聲銓;姚躍;胡希;龐功點(diǎn)
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06Q10/06;G06N5/00
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 陳鵬

本發(fā)明公開了一種基于Hadoop平臺多并行度的能耗預(yù)測方法，首先采用灰色關(guān)聯(lián)法對采集的牽引能耗影響因素歷史數(shù)據(jù)進(jìn)行重要性排序，選取重要性靠前的影響因素作為數(shù)據(jù)樣本，隨后對數(shù)據(jù)樣本進(jìn)行隨機(jī)化和歸一化預(yù)處理，并劃分為訓(xùn)練樣本和測試樣本；采用Hadoop平臺并行計(jì)算特性將訓(xùn)練樣本進(jìn)行分塊處理，每一個(gè)分塊數(shù)據(jù)由單獨(dú)的Map任務(wù)進(jìn)行能耗預(yù)測模型的構(gòu)建，并將多個(gè)模型進(jìn)行保留，每個(gè)預(yù)測模型對測試樣本進(jìn)行能耗預(yù)測，并將多個(gè)預(yù)測結(jié)果進(jìn)行匯總，最終將所有預(yù)測結(jié)果取平均值來解決單一模型泛化能力弱的問題。本發(fā)明能夠?qū)崿F(xiàn)企業(yè)未來能耗的精確預(yù)測，提高預(yù)測算法的計(jì)算速度和泛化能力。

技術(shù)領(lǐng)域

本發(fā)明屬于城市軌道交通能耗預(yù)測技術(shù)領(lǐng)域，具體涉及一種基于Hadoop平臺多并行度的能耗預(yù)測方法。

背景技術(shù)

城市軌道交通運(yùn)營管理過程中，準(zhǔn)確預(yù)測列車的牽引能耗有利于合理制定運(yùn)輸組織模式和評價(jià)牽引用能效率，成為輔助行業(yè)運(yùn)營和服務(wù)的有力工具，進(jìn)而為制定節(jié)能運(yùn)行策略和節(jié)能效果評估提供可靠的數(shù)據(jù)支撐。牽引能耗數(shù)據(jù)是時(shí)間序列數(shù)據(jù)，隨著機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的推進(jìn)，對牽引能耗的預(yù)測方法也在不斷改善。

在統(tǒng)計(jì)特性研究層面，有趨勢外推法、線性回歸、隱形馬爾科夫預(yù)測模型及卡爾曼濾波等；在機(jī)器學(xué)習(xí)方法層面，通過挖掘歷史數(shù)據(jù)隱含的信息，實(shí)現(xiàn)牽引能耗的迭代估計(jì)，支持向量機(jī)、決策樹、隨機(jī)森林、貝葉斯網(wǎng)絡(luò)、小波理論、BP神經(jīng)網(wǎng)絡(luò)等不同模型都應(yīng)用在牽引能耗預(yù)測中。

在對能耗預(yù)測的不斷研究中，單純的使用單一算法模型在實(shí)際的預(yù)測中總會存在一定的局限性。模型訓(xùn)練的不足或者數(shù)據(jù)的異常都會大大降低預(yù)測模型的精度，并且單一模型算法的泛化能力較弱。因此通過建立多個(gè)預(yù)測模型的集成學(xué)習(xí)算法能夠提高算法的預(yù)測精度，但是由于集成算法模型建立的時(shí)間復(fù)雜度過高，計(jì)算資源消耗量大。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于Hadoop平臺多并行度的能耗預(yù)測方法，其并行建立能耗預(yù)測模型可以提高模型的泛化能力和預(yù)測精度，解決了模型建立時(shí)間復(fù)雜度高等問題。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于Hadoop平臺多并行度的地鐵列車能耗預(yù)測方法，包括以下步驟：

步驟1、基于列車歷史統(tǒng)計(jì)數(shù)據(jù)，采用灰色關(guān)聯(lián)分析法建立能耗影響因素評估體系，體系中包括對影響因素重要度排序，確定樣本數(shù)據(jù)；

步驟2、將樣本數(shù)據(jù)通過Hadoop中的Map任務(wù)進(jìn)行隨機(jī)化處理，使得步驟1確定的樣本數(shù)據(jù)進(jìn)行重新打亂；

步驟3、將步驟2新生成的數(shù)據(jù)樣本按照一定的比例劃分為訓(xùn)練樣本和測試樣本，并對訓(xùn)練樣本和測試樣本進(jìn)行歸一化處理；

步驟4、將訓(xùn)練樣本作為Hadoop平臺的輸入，訓(xùn)練樣本被劃分為一個(gè)個(gè)數(shù)據(jù)塊，設(shè)計(jì)Map函數(shù)，每一個(gè)數(shù)據(jù)塊在Hadoop的Map任務(wù)里建立回歸決策樹模型對地鐵列車能耗進(jìn)行預(yù)測，模型中包括能耗預(yù)測模型的輸入特征變量，能耗預(yù)測模型的輸出目標(biāo)向量，最終將模型通過Reduce任務(wù)進(jìn)行保留；

步驟5、將步驟3生成的測試集作為步驟4建立的每個(gè)預(yù)測模型的輸入，每個(gè)模型進(jìn)行并行計(jì)算，并將預(yù)測的結(jié)果輸出到Reduce任務(wù)中進(jìn)行匯總；

步驟6、根據(jù)步驟5匯總的結(jié)果取平均數(shù)計(jì)算出最終的能耗預(yù)測值。

進(jìn)一步地，步驟1所述的列車歷史統(tǒng)計(jì)數(shù)據(jù)主要是從SCADA系統(tǒng)中獲取的地鐵牽引能耗原始數(shù)據(jù)，原始數(shù)據(jù)包括待預(yù)測日期之前若干天的地鐵牽引能耗歷史數(shù)據(jù)以及溫度、客流、運(yùn)行里程、開行列次的歷史數(shù)據(jù)。緊接著建立能耗影響因素評估體系，根據(jù)灰色關(guān)聯(lián)分析法選取牽引能耗的影響因素作為模型的輸入，具體如下：

步驟1.1：選取地鐵日牽引能耗為參考數(shù)列，能耗的影響因素變量為比較數(shù)列，記為Z_i＝{z_i(k)|k＝1,2,…,n},i＝0,1,2,…m；