[發明專利]基于深度學習的對監控數據趨勢的預測方法及系統

在審

• 申請號: 201710941098.4
• 申請日: 2017-10-11
• 公開（公告）號: CN107832913A
• 公開（公告）日: 2018-03-23
• 發明（設計）人: 方皓達;彭冬;黃帥
• 申請（專利權）人: 微夢創科網絡科技（中國）有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F17/30
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙)11624
• 代理人: 任漱晨

1.一種基于深度學習的對監控數據趨勢的預測方法，其特征在于，所述方法包括：

離線訓練系統從實時流數據中提取若干數據構成數據集，并對數據集進行計算得到預測模型；

實時在線系統從實時流數據中提取若干數據構成預測集，并使用預測模型對預測集進行計算，得到監控系統的未來流數據的預測結果；所述數據集與預測集的交集為空。

2.根據權利要求1所述的基于深度學習的對監控數據趨勢的預測方法，其特征在于，所述離線訓練系統從實時流數據中提取若干數據構成數據集，并對數據集進行計算得到預測模型，具體包括：

以預定頻率從實時流數據中提取若干數據構成數據集；

將數據集劃分為訓練集和測試集；

將訓練集輸入計算模型進行訓練，所述計算模型包括長短時記憶網絡LSTM模型；

將測試集輸入訓練后的計算模型進行測試，通過測試的訓練后的計算模型為預測模型。

3.根據權利要求1或2所述的基于深度學習的對監控數據趨勢的預測方法，其特征在于，所述離線訓練系統從實時流數據中提取若干數據構成數據集之前，還包括：

分布式文件系統以預定頻率將實時流數據傳送至離線訓練系統；

所述對數據集進行計算得到預測模型之后，還包括：

分布式文件系統從離線訓練系統中獲取預測模型并進行存儲。

4.根據權利要求3所述的基于深度學習的對監控數據趨勢的預測方法，其特征在于，所述分布式文件系統以預定頻率將實時流數據傳送至離線訓練系統之前，還包括：

分布式發布訂閱消息系統從監控系統中獲取實時流數據，并將實時流數據持久化處理后分別傳送至分布式文件系統和實時在線系統；傳送至分布式文件系統的實時流數據構成的集合與傳送至實時在線系統的實時流數據構成的集合交集為空；

所述使用預測模型對預測集進行計算，得到監控系統的未來流數據的預測結果，之后還包括：

數據庫連接池從實時在線系統中獲取監控系統的未來流數據的預測結果，并傳送至商業智能儀表盤dashboard；

所述dashboard將監控系統的未來流數據的預測結果用曲線的形式進行展示。

5.根據權利要求4所述的基于深度學習的對監控數據趨勢的預測方法，其特征在于，

所述實時在線系統包括但不限于：采用數據倉庫技術ETL的計算引擎Spark；

所述分布式文件系統包括但不限于：大數據分布式文件系統HDFS；

所述分布式發布訂閱消息系統包括但不限于：高吞吐量的分布式發布訂閱消息系統kafka；

所述數據庫連接池包括但不限于：德魯伊Druid。

6.一種基于深度學習的對監控數據趨勢的預測系統，其特征在于，所述系統包括：

離線訓練系統，用于從實時流數據中提取若干數據構成數據集，并對數據集進行計算得到預測模型；

實時在線系統，用于從實時流數據中提取若干數據構成預測集，并使用預測模型對預測集進行計算，得到監控系統的未來流數據的預測結果；所述數據集與預測集的交集為空。

7.根據權利要求6所述的基于深度學習的對監控數據趨勢的預測系統，其特征在于，所述離線訓練系統包括：

獲取單元，用于以預定頻率從實時流數據中提取若干數據構成數據集；

劃分單元，用于將數據集劃分為訓練集和測試集；

訓練單元，用于將訓練集輸入計算模型進行訓練，所述計算模型包括長短時記憶網絡LSTM模型；

測試單元，用于將測試集輸入訓練后的計算模型進行測試，通過測試的訓練后的計算模型為預測模型。

8.根據權利要求6或7所述的基于深度學習的對監控數據趨勢的預測系統，其特征在于，所述系統還包括：

分布式文件系統，用于以預定頻率將實時流數據傳送至離線訓練系統；以及，從離線訓練系統中獲取預測模型并進行存儲。