[發明專利]一種可視化的分布式運維方法及裝置

在審

• 申請號: 201810230925.3
• 申請日: 2018-03-22
• 公開（公告）號: CN110300002A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 勤智數碼科技股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;H04L29/06;H04L12/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種可視化的分布式運維方法及裝置，包括在各個應用系統進行無侵入式埋點，采集各個應用系統的日志信息；在應用的操作系統上部署開源插件，采集操作系統的硬件運行信息和操作日志信息；將采集到的各種數據信息通過消息中間件集群傳遞給流式計算框架集群，流式計算框架集群將接收的數據信息存儲成HBase或者HDFS格式的文件；在ELK框架中的Kibana框架的基礎上，結合業界的報表插件來實現在Web頁面中展示各種視圖，并通過分布式緩存來實時推送更新各種視圖中的數據。本發明優點：可極大的降低分布式系統的運維難度，提升分布式應用的運維效率，為系統的建設、部署、運行、維護、升級改造等過程提供強有力的保障。

技術領域

本發明涉及互聯網運維技術領域，具體涉及一種可視化的分布式運維方法及裝置。

背景技術

隨著近幾年互聯網和移動互聯網用戶的大量增長，需要大量高質量網絡安全設備來予以保障。對網絡設備的運行維護、實時監控更加重要。在IT運維監控系統中，將對企業的網絡設備運行數據進行采集和處理，使得企業可以掌握和管理所有IT資源的運行情況。然而，現有的運維監控軟件對設備的監控不夠直觀，對設備處理的數據質量無法智能的進行提示告警。

目前全國各地網絡設備資源的顯現度低，現場設備運行維護人員的工作往往具有難度大和工作量大的問題。目前運行維護人員的工作方式大多為被動響應式的，容易造成發現設備出現問題的時間比較滯后，不容易及時發現設備出現的一些小問題以及數據質量下降的一些問題，易造成問題積累而產生大問題出現大影響。現場接入網絡的設備數量大，設備的性能參數和軟硬件環境不完全相同，現場運維人員的工作仍主要采用手動監控方式，技術門檻較高，效率低下，很難及時發現和預見問題的發生。手動監控是一種離線的、片面的、以點見面式的檢查方式，不能夠持續對設備運行狀態進行監控。更難以對整體系統的運行進行調優工作。另外，現場網絡設備的監控需要通過大量的命令語句來進行管理和監控運行狀態，有一定的技術難度，運行維護人員遇到問題往往過度依賴廠家。而廠家支持部門的人力資源嚴重不足，運行維護人員的工作負荷也過重，目前往往處于既要應對發現的明顯問題的支持解決，又要面臨不斷改進服務和提高數據質量、分析故障原因的壓力。

基于以上情況，需要有一套完整的、體系化的應用可視化項目，來支撐系統的日常運維工作，以極大的降低分布式系統的運維難度，提升分布式應用的運維效率，為系統的建設、部署、運行、維護、升級改造等過程提供強有力的保障。

發明內容

本發明要解決的技術問題之一，在于提供一種可視化的分布式運維方法，通過該方法來實現分布式系統應用的可視化管理，可極大的降低分布式系統的運維難度，提升分布式應用的運維效率，為系統的建設、部署、運行、維護、升級改造等過程提供強有力的保障。

本發明是這樣實現技術問題之一的：一種可視化的分布式運維方法，所述方法包括如下步驟：

步驟1、在各個應用系統上進行無侵入式埋點，采集各個應用系統的日志信息；在應用的操作系統上部署開源插件，采集操作系統的硬件運行信息和操作日志信息；

步驟2、將采集到的各種數據信息通過消息中間件集群傳遞給流式計算框架集群，流式計算框架集群將接收到的數據信息存儲成HBase或者HDFS格式的文件；

步驟3、在ELK框架中的Kibana框架的基礎上，結合業界的報表插件來實現在Web頁面中展示各種視圖，包括獲取存儲的數據信息，并根據數據信息以及數據層中的CMDB配置庫信息來進行業務發展視圖、應用性能視圖、應用部署視圖、后臺輪詢調度視圖、應用接口調用視圖、用戶體驗視圖或者應用監控視圖的展示；同時通過分布式緩存來實時推送更新各種視圖中的數據。

進一步地，所述步驟1具體為：

使用各類鉤子腳本在各個應用系統上進行無侵入式埋點，通過各類鉤子腳本來攔截各個應用系統中的應用程序或者內部組件的傳遞參數，以實現獲取各個應用系統的日志信息；