[發明專利]一種可視化的分布式運維方法及裝置

在審

• 申請號: 201810230925.3
• 申請日: 2018-03-22
• 公開（公告）號: CN110300002A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 勤智數碼科技股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;H04L29/06;H04L12/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種可視化的分布式運維方法，其特征在于：所述方法包括如下步驟：

步驟1、在各個應用系統上進行無侵入式埋點，采集各個應用系統的日志信息；在應用的操作系統上部署開源插件，采集操作系統的硬件運行信息和操作日志信息；

步驟2、將采集到的各種數據信息通過消息中間件集群傳遞給流式計算框架集群，流式計算框架集群將接收到的數據信息存儲成HBase或者HDFS格式的文件；

步驟3、在ELK框架中的Kibana框架的基礎上，結合業界的報表插件來實現在Web頁面中展示各種視圖，包括獲取存儲的數據信息，并根據數據信息以及數據層中的CMDB配置庫信息來進行業務發展視圖、應用性能視圖、應用部署視圖、后臺輪詢調度視圖、應用接口調用視圖、用戶體驗視圖或者應用監控視圖的展示；同時通過分布式緩存來實時推送更新各種視圖中的數據。

2.根據權利要求1所述的一種可視化的分布式運維方法，其特征在于：所述步驟1具體為：

使用各類鉤子腳本在各個應用系統上進行無侵入式埋點，通過各類鉤子腳本來攔截各個應用系統中的應用程序或者內部組件的傳遞參數，以實現獲取各個應用系統的日志信息；

在應用的操作系統上部署開源的Flume插件，并通過該Flume插件來采集操作系統上的各種硬件運行信息；同時，在應用的操作系統上部署開源的Logstash或Fluentd插件，并通過該Logstash或Fluentd插件來采集操作系統上的操作日志信息。

3.根據權利要求1所述的一種可視化的分布式運維方法，其特征在于：所述步驟2具體為：

將采集到的各種數據信息通過socket異步拋給消息中間件集群，并由消息中間件集群將各種數據信息傳遞給流式計算框架集群；

流式計算框架集群將接收到的數據信息直接分類并存儲成HBase或者HDFS格式的文件；或者流式計算框架集群先采用Storm技術對接收到的數據信息進行流式計算，以根據預先配置在流式計算庫中的攔截規則來對數據信息進行過濾和清洗，然后將過濾和清洗后的數據信息分類并存儲成HBase或者HDFS格式的文件。

4.根據權利要求1所述的一種可視化的分布式運維方法，其特征在于：在所述步驟3中，所述“根據數據信息以及數據層中的CMDB配置庫信息來進行業務發展視圖、應用性能視圖、應用部署視圖、后臺輪詢調度視圖、應用接口調用視圖、用戶體驗視圖或者應用監控視圖的展示”具體為：

通過基于復雜事件處理的事件流引擎來對數據信息中的業務發展數據進行復雜事件計算，并根據計算結果以及配置的相關業務規則來進行業務發展視圖的展示；

根據數據信息中的相關應用的性能數據來實時計算API耗時，并根據計算結果來進行應用性能視圖的展示；

根據數據層中的CMDB配置庫信息并結合設備間的拓撲關系來進行應用部署視圖的展示；

根據CMDB配置庫中的拓撲關系信息得到設備在應用中所承擔的角色，同時提取角色作為輪詢調度主機列表，完成對后臺輪詢調度任務的分析和統計，并根據統計結果來進行后臺輪詢調度視圖的展示；

根據數據信息中的接口服務調用數據來分析和統計應用接口的調用情況，且根據應用接口的調用情況來進行應用接口調用視圖的展示；

根據數據信息中的用戶操作行為數據來分析和統計用戶的體驗情況，并根據用戶的體驗情況來進行用戶體驗視圖的展示；

通過基于復雜事件處理的事件流引擎來對數據信息中的告警信息進行復雜事件計算，并根據計算結果來進行應用監控視圖的展示；同時，在數據層中設置告警閾值，當出現計算結果超過告警閾值的情況時，自動向相關人員發送告警信息。