[發明專利]一種基于深度置信網的數據流系統資源預測機制

在審

• 申請號: 201910080222.1
• 申請日: 2019-01-28
• 公開（公告）號: CN109871278A
• 公開（公告）日: 2019-06-11
• 發明（設計）人: 任鵬程;張衛山;房凱
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/063;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于深度置信網(DBN)的數據流系統資源預測機制，采用無監督的深度學習，以DBN為基礎，進行時間序列分析來實現。該機制分為兩個階段，數據預處理和模型訓練階段：數據預處理階段主要采取平滑的方法對數據進行預處理，從原始的時間序列數據生成一個差分變換以消除數據中的線性因素；模型訓練階段由兩層RBMs構成的DBN網絡模型對數據進行擬合訓練，然后對節點負載做預測分析。該發明的深度學習機制，提供短期負載情況和長期負載情況的預測，可在提交計算任務時全面了解系統的狀態。

技術領域

本發明涉及深度學習、時間序列分析、流數據處理領域，具體涉及到一種基于深度置信網的數據流系統資源預測機制。

背景技術

數據流的日志采集系統通常會面臨系統資源的匱乏問題，如何調度系統資源實現合理分配是系統效率高低的重要保障。如日志收集系統Flume，也存在節點負載資源的缺乏，無法預知某時間段的系統狀態以及長時間或短時間的資源負載情況。深度置信網作為無監督的深度學習網絡模型，可以實現模型的自動訓練，以時序數據作為訓練，預測資源負載情況。近年來最接近本發明的技術有：

(1)、深度置信網絡:DBN是一個概率生成模型，Hinton于2006 年提出了基于玻爾茲曼機(RBM，Restricted Boltzmann Machine) 的深度置信網絡(Deep Belief Network)結構。最初該網絡應用在圖像領域的研究之中，近年來深度置信網絡在序列學習方面帶來了新的應用，為此創新應用到資源負載預測方面。

該方法對于深度學習資源數據之間的關系，實現對系統長期資源以及短期資源的粗略預估，提高了系統狀態的透明度。

發明內容

為解決現有技術中的缺點和不足，本發明提出了一中基于深度置信網(DBN)的數據流系統資源預測機制，解決數據流系統資源負載的預測。

本發明的技術方案為：

采用無監督的深度學習，以DBN為基礎，進行時間序列分析。主要包括預處理和模型訓練階段，數據預處理階段主要采取平滑的方法對數據進行預處理，從原始的時間序列數據生成一個差分變換以消除數據中的線性因素；模型訓練階段由兩層RBMs構成的DBN網絡模型對數據進行擬合訓練，然后對節點負載做預測分析。

本發明的有益效果：

(1)在深度置信網(DBN)的基礎上，以負載數據的時間序列分析為手段加以實現，實現在提交計算任務時全面了解系統的狀態。。

(2)提供短期負載情況和長期負載情況的預測，保證數據流系統資源的合理調度。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明機制網絡模型圖；

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

本發明基于深度置信網(DBN)的數據流系統資源預測機制預測器如圖1所示，機制包括數據預處理、模型訓練兩個階段。

數據預處理：

神經網絡對于非線性數據能起到很好的預測作用，但是對于線性因素很強的數據則預測效果會減弱。采取平滑方法對數據進行預處理，從原始的時間序列數據生成一個差分變換