[發明專利]一種智能運維多源數據采集可視化分析系統

在審

• 申請號: 202110287622.7
• 申請日: 2021-03-17
• 公開（公告）號: CN112884452A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 李東輝;趙亞偉
• 申請（專利權）人: 北京冪數科技有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q10/06;G06F16/28
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

本發明提供了一種智能運維多源數據采集可視化分析系統，包括步驟：Q1、多源化數據采集；Q2、數據分析；Q3、數據可視化。本發明可以對多源化數據，挖掘分析各項關鍵性數據指標，對各項運維指標進行分類管理，建立最優化策略進行數據指標多維分析、異常檢測、容量規劃、預測等更多場景的運維工作。

技術領域

本發明屬于數據應用技術領域，具體涉及一種智能運維多源數據采集可視化分析系統。

背景技術

現有的運維工作大多是由運維人員手工完成的，運維人員又被稱為系統管理員，運維人員負責的工作包括監控產品運行狀態和性能指標、產品上線、變更服務等。

隨著互聯網的發展，產品的個數或者產品服務的用戶規模呈線性增長，而運維人員的工作量和運維人員的數量也是隨之增長，部分手工運維工作轉為自動化運維，一些常見的重復性的運維工作可以通過自動化的腳本來實現；一部分自動化腳本用以監控分布式系統產生大量的日志以及各種類型的主機所產生的不同種類的數據。

但是現有技術的運維工作存在的缺點為：互聯網的發展，系統運行中產生的大量不同類型的數據，采集各種類型的數據，并讓這些數據對運維工作產生價值上存在著大量的運維工作并消耗大量的人力資源；同時運維監控存在大量數據的監控和分析，這也讓運維工作在發現問題和查找問題的原因上消耗大量的人力資源，大量的、重復性的報警也導致了一些狀況的誤判，干擾運維中出現的問題原因的查找。

發明內容

根據上述闡述，本發明的目的在于提供一種智能運維多源數據采集可視化分析系統，基于互聯網大數據時代，解決運維數據的多樣化、數據的可視化、數據分析的技術問題。

本發明提供的技術方案：

一種智能運維多源數據采集可視化分析系統，包括如下步驟：

Q1、多源化數據采集，對數據源的數據進行采集，所述數據源包括監控/時間序列數據、資源配置管理數據、應用服務日志數據、各種設備日志數據多種類的數據，數據格式包括：結構化數據、半結構化數據、非結構化數據；針對不同數據源數據的數據格式通過數據模板、數據分析規則等進行模式匹配，利用數據規則模式匹配方法進行統一的格式轉換，將轉換后的數據保存到相應數據存儲中，不占用核心業務的存儲資源；

Q2、數據分析，通過定時任務定期對已存儲的數據進行處理，包括對數據進行預處理，采用數據特征抽取、數據融合，通過對應用服務器、網絡設備、日志服務器等設備的數據進行關聯性分析，對數據進行重新組織，提取出數據關鍵性指標、以及數據的關聯關系進而形成一個相應的數據關系圖，根據數據統計特征、供給鏈的特征以及行為特征等，對數據分析的流程進行制定，最終形成數據分析模型，對數據進行多維度下鉆分析，發現數據信息中存在的運維問題，找到問題的根本原因，最終完成對運維數據的分析并排查發生問題的根本原因；

Q3、數據可視化，在Q1中存儲得到的數據基礎上，通過Q2進行數據分析后，提取數據中各項分類：包括CPU、磁盤空間、內存、網絡流量、日志關鍵詞關鍵性指標，并針對相應的各項關鍵性指標數據進行實時監測，并對要監控的數據進行快速配置，按照先總體、后分項；先圖形、后列表的方式進行可視化展示，對數據進行可視化監控。

本發明的有益效果：通過對運行的系統所產生的多種數據進行采集，統一轉換，獨立部署在網絡中，并對監控/時間序列數據、資源配置管理數據、應用服務日志數據、各種設備日志數據等多源數據進行提取、預處理，對核心業務系統的正常運行影響較小；采用大數據的存儲技術對采集后數據進行實時處理轉化提供了基礎性平臺，并可以對多源數據進行統一的查詢、檢索，使用大數據可視化，讓大量的數據信息通過可視化方法轉化為連貫的態勢圖，可以進行觀測、發現運維中異常指標數據，并直觀把控運維工作的狀況，本發明可以對多源化數據，挖掘分析各項關鍵性數據指標，對各項運維指標進行分類管理，建立最優化策略進行數據指標多維分析、異常檢測、容量規劃、預測等更多場景的運維工作。

具體實施方式