[發明專利]一種基于大數據的全鏈路監控系統

在審

• 申請號: 201711399297.3
• 申請日: 2017-12-22
• 公開（公告）號: CN109962792A
• 公開（公告）日: 2019-07-02
• 發明（設計）人: 石光捷;張良;付飛龍;張曉莉
• 申請（專利權）人: 南京欣網互聯網絡科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 南京源古知識產權代理事務所(普通合伙) 32300
• 代理人: 馬曉輝

本發明涉及電信運營商電子系統運維領域，具體涉及一種基于大數據的全鏈路監控系統，包括監控目標、數據抽取單元、日志傳輸單元、存儲單元、監控展現單元以及任務調度服務框架。監控目標包括資源中間件服務器等的運行情況。數據抽取單元將各個監控目標運行的狀態信息進行記錄并暫存成日志文件。日志傳輸單元將所有監控目標產生的日志記錄進行匯總清洗過濾掉有問題的日志記錄，并將其進行結構轉換，提取必要的信息。存儲單元用于存儲有效的監控日志，并對信息進行維護。任務調度服務框架針對存儲的日志信息進行分析及深度挖掘；監控展現單元以圖表的方式將當前監控目標集中呈現給運維人員，從而便于運維人員對系統的跟蹤及問題解決。

技術領域

本發明涉及電信運營商電子系統運維領域，具體涉及一種基于大數據的全鏈路監控系統。

背景技術

隨著移動運營服務商的服務種類服務規模的日益擴大，帶來了移動運營的技術與業務的發展。隨著技術和業務的發展，使服務系統的架構越來越復雜，系統架構從原來的單一架構到基本SOA的架構或者現在流利的微服務架構，架構帶來了很多的好處，但同時也給運維人員帶來很多問題，比如多個應用同時報錯，不知道出現在哪，大量報錯需要花很多時間才能定位，項目出現一堆異常根本不關心等等。于是我們會將日志統一歸集到一個指定的平臺臺。但是它們一般存在沒有辦法跟蹤業務之間的調用關系，沒有辦法快速定位應用的性能瓶頸等缺點。基于以上的現狀，我們需要打造一個全鏈路的監控系統。

發明內容

1、所要解決的技術問題：

本發明提供一種基于大數據的全鏈路監控系統。本系統中是通過系統的監控日志，分析并展現當前系統各種狀態的平臺環境，通過從系統的運行節點獲取的日志信息，并對其進行收集清洗、匯總并轉換后，將這些信息存儲在分布式的搜索引擎環境中，然后通過對這些信息進行分析，最終以圖表等方式展現或通知給運維以及系統開發人員，從而為提升系統穩定性、高可用性等指標提供有效的參考依據。

2、技術方案：

一種基于大數據的全鏈路監控系統，其特征在于：包括監控目標、數據抽取單元、日志傳輸單元、存儲單元、監控展現單元以及任務調度服務框架。

所述監控目標包括資源分配情況、中間件服務器的運行情況、應用服務的狀態、周邊系統的接口調用以及App客戶端的運行情況。

所述數據抽取單元將各個監控目標運行的狀態信息，通過監控目標各自特定的方式及格式，以監控日志和接口方式進行記錄并暫存成日志文件。

所述日志傳輸單元將所有監控目標產生的日志記錄進行匯總，并對這些日志進行清洗，過濾掉有問題或者不完整的日志記錄，并將其進行結構轉換，提取必要的信息，以及添加時間、位置信息，從而便于分析及存儲。

存儲單元將有效的監控日志信息存儲，并對這些信息進行維護，從而便于對這些信息進行查詢及分析。

任務調度服務框架針對存儲的日志信息進行分析及深度挖掘，從而定位系統的運行狀況及各種性能問題；同時任務調度服務框架還對個監控目標進行預警分析以及通知。

監控展現單元用于以圖表的方式將當前監控目標的每一種性能及狀態指標集中呈現給運維人員，從而便于運維人員對系統的跟蹤及問題解決。

在上述的方案中，所述監控目標包括的資源分配情況為數據庫、Nginx服務器、緩存、CPU及內存、磁盤、網絡資源的分配情況。

進一步地，所述日志傳輸單元還包括緩存模塊，所述日志傳輸單元處理好的日志傳輸至緩存模塊進行存儲。

3、有益效果：

（1）本監控系統監控全面，不僅監控平臺的資源分配情況，還監控中間服務器的運行情況，以及周邊系統的接口調用情況。