[發明專利]一種基于訪問日志的應用狀態監控報警系統及方法

在審

• 申請號: 202010025168.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111258971A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 李玉福
• 申請（專利權）人: 北京農信互聯科技集團有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/25;G06F16/2455;G06F16/27;G06F11/30
• 代理公司: 北京智為時代知識產權代理事務所(普通合伙) 11498
• 代理人: 楊靜

本發明公開了一種基于訪問日志的應用狀態監控報警系統及方法，所述系統包括日志收集模塊、日志訂閱模塊、過濾器鏈組件以及數據庫模塊，其中，所述日志收集模塊用于將來自日志源的應用日志文件進行處理和格式轉換為數據流，將數據流按照主題作為應用日志消息進行存儲和發布；日志訂閱模塊用于根據主題訂閱應用日志消息，并將應用日志消息推送給過濾器鏈組件，進行應用日志消息處理；所述過濾器鏈組件還用于訪問數據庫模塊，將應用日志消息及其處理結果進行存取、查詢和更新；所述過濾器鏈組件中包括報警模塊，用于根據應用日志消息的業務狀態，以及應用與系統的關聯規則，向系統關聯負責人發送報警信息。

技術領域

本發明屬于分布式發布訂閱消息技術領域，特別是涉及到分布式訂閱消息用于應用狀態監控報警的技術。

背景技術

目前移動互聯技術高度發達，人們日常生活中的各種功能、事務都借助于網絡服務來解決。另一方面，隨著互聯網用戶的不斷增加，大型的網站一般會采用多臺相同角色的應用服務器，組成分布式網絡系統，從而在用戶訪問網站時，各應用服務器能夠較為均衡地接入用戶，從而實現分布式網絡系統的負載均衡。

在現有分布式網絡系統中，為了保障網站的正常運行，需要對網站的可用性進行監控。網站的可用性包括各應用服務器系統層面的可用性以及應用服務器提供的網頁頁面應用內容的可用性，其中，對于系統層面的可用性，現有技術的監控比較完善，例如，可以針對負載、網絡帶寬、CPU、IO、內存等基礎數據提供完善的監控。而對于應用內容的可用性監控比較復雜，具體來說，一方面，應用內容錯誤并不一定導致系統層面的錯誤，另一方面，應用內容錯誤直接與用戶獲取信息的準確度相關，而應用內容的異常情況多種多樣，例如，應用程序部分異常，會降低網頁展示的應用內容的準確性，使得該網頁頁面展示的應用內容是錯誤的，或者是不全的。

為了及時處理應用服務器由于應用程序出現的應用內容錯誤，一些應用方案及其存在的技術問題如下所述。

1.應用監控報警技術。應用程序會自定義一個health_check的頁面，來對應用的狀態進行輸出，如果應用服務出現服務異常，通過監控此health_check的方式來及時發現應用服務的故障問題，通過報警及時通知技術人員分析原因。應用的監控報警技術存在覆蓋率不足的問題，覆蓋率依賴于部署的監控的客戶端和業務是否增加了報警的統一規則，一般只是代表監控客戶端的物理情況、網絡情況，并不能代表所有線上真實用戶的訪問情況，因此可能會遺漏部分場景，特別是對于集群環境下的監控，部署的監控節點的客戶端存在路由覆蓋不到的情況，部分集群內的機器業務的狀態并不能被監控到。

2.Http服務監控。Http服務監控技術會定時請求訪問的資源，通過定義返回的狀態和返回的值來判斷是否存在異常情況，如果存在異常狀態，則通知用戶報警。HTTP服務監控一般是單獨部署模擬的客戶端模擬實際請求調用應用的服務，存在的主要缺陷是客戶端有限，沒法覆蓋全部場景，因為IP的有限，也很難覆蓋到集群服務下的所有業務的服務主機。由于現在的系統部署都采用高可用的集群部署方式，而覆蓋率往往依賴于客戶端的節點情況，比如如果節點IP被HASH到同一臺或者其中幾臺業務機器上，其他的機器的運行情況并不能被發現。還有種情況是各地運營商的情況不同，服務的響應可能也不一樣。

3.應用日志監控。為了及時發現應用服務的錯誤，應用服務大部分會集成日志框架，比如log4j、logback等，日志框架會分別定義debug、info、warn、error等不同級別的日志級別，一般發系統級錯誤異常通過error的級別去輸出，很多公司會基于對error日志的監控，來通過應用管理員及時發現和關注應用的服務日志。雖然這些應用利用日志方式針對自己的服務狀態做了監控，但這僅僅是對自己的業務系統的事件或者日志進行監控和報警，而實際的很多場景是因為業務系統外部的因素導致服務不可用，比如網絡不穩定、外部安全設備攔截等導致的問題，業務系統是感知不到的。另外，應用級別的監控技術只局限于業務的異常，對資源是否存在、URL是否錯誤、超時類異常等都很難捕獲，特別是靜態資源、接口調用方面出現的概率比較大。

發明內容