[發明專利]一種基于數據中心數據采集平臺的多指標異動分析方法

有效

• 申請號: 201810083677.4
• 申請日: 2018-01-29
• 公開（公告）號: CN108073497B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 劉斌;孫激;高闖
• 申請（專利權）人: 上海洞識信息科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于數據中心數據采集平臺的多指標異動分析方法，包括：一、模型預測：包括模型訓練、模型使用和實時處理；二、單指標模型訓練；三、多指標分析；四、多指標異動分析；五、多指標預警。本發明通過對多指標進行異動分析和異常根因分析，可以快速定位問題主因指標，從而大大節省問題定位時間，并有效提升IT運維管理人員的問題解決能力。

技術領域

本發明涉及一種分析方法，具體是一種基于數據中心數據采集平臺的多指標異動分析方法。

背景技術

目前數據中心的指標數據主要是基于大數據平臺進行采集，根據運維人員的歷史經驗對于不同的指標設定不同的閾值，對指標進行監控預警，數據利用率較低，對數據的監控分析較弱，不能基于歷史的指標數據進行智能分析與預測和自動故障定位，告警時往往系統性能已經嚴重惡化，或者已經影響對外服務，不能快速定位問題主機，在故障出現之前預先發現故障趨勢，及時有效的避免故障的發生。

目前傳統的監控告警方法主要具有以下缺點：反應不迅速，監控閾值固定，無變化；時效性差，告警時往往系統性能已經嚴重惡化，或者已經影響到對外服務；辨識率差，系統發生告警時，往往會產生消息風暴，而傳統的ITOM工具很難實現告警事件關聯；沒有價值，傳統的數據中心運維僅僅著眼于ITOM收集的主機性能數據，對于主機性能數據與業務系統性能之間的數據關聯，傳統ITOM無法實現數據價值挖掘；缺乏技術支持，告警產生以后，在運維專家到達現場之前，往往無法正常開始搶修工作，缺少運維專家知識庫的指引；無法對問題主機快速定位，傳統監控只是單一的監控各個指標變化，無法確定主因指標，定位問題主機。在數據中心的指標監控中，迫切地需要能夠補足短時預測及長時趨勢分析的短板，掌握運維的主動權，提前于監控系統發現潛在的風險，快速定位問題主機，從而為排除系統故障贏得更多的時間。

發明內容

本發明的目的在于提供一種基于數據中心數據采集平臺的多指標異動分析方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種基于數據中心數據采集平臺的多指標異動分析方法，包括：

一、模型預測：包括模型訓練、模型使用和實時處理；

模型訓練包括以下步驟：1)從hdfs獲取歷史數據，做數據預處理發送給模型訓練模塊；2)將訓練后的模型持久化到mysql或文本，保存在模型庫；

模型使用包括以下步驟：1)將持久化的模型反持久化給指標預測模塊，供預測使用；2)從hdfs中獲取指標預測時間點前段時間的歷史數據，做數據清洗后傳給指標預測模塊；3)執行指標預測，得到預測值并存儲到結果庫；

實時處理包括以下步驟：1)使用spark streaming實時獲取中間件Kafka中的數據，一邊傳給kafka，另一邊存儲在結果庫中；2)CEP從kafka獲取實時數據，根據實時數據從結果庫獲取上、下邊界值；3)CEP根據設定好的規則得到告警的時間，生成告警記錄存儲在結果庫；4)結果庫中數據在展示層中顯示；

二、單指標模型訓練；

三、多指標分析：1)找出多個KPI指標之間存在的潛在關系，如果隱含關系被打破，即被認定為異常；2)結合多指標異常分析結果，對這多個指標進行根因分析，尋找主因指標，對導致異常的原因進行定位；