[發明專利]一種基于大數據的運行監控分析系統及方法

有效

• 申請號: 202011309992.8
• 申請日: 2020-11-20
• 公開（公告）號: CN112306817B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 張俊
• 申請（專利權）人: 深圳格隆匯信息科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/172;G06F16/174;G06F16/18
• 代理公司: 深圳市鼎智專利代理事務所(普通合伙) 44411
• 代理人: 曹勇

1.一種基于大數據的運行監控分析系統，其特征在于：所述監控分析系統包括分類模塊、一級級別標識添加模塊、二級級別標識添加模塊和級別標識識別模塊，所述分類模塊預先給各個監控對象分為一級監控對象和二級監控對象，所述一級級別標識添加模塊用于一級監控對象運行產生日志文件時，給相應的日志文件添加一級級別標識，所述二級級別標識添加模塊用于在二級監控對象運行產生日志文件時，給相應的日志文件添加二級級別標識，所述級別標識識別模塊用于識別監控對象運行產生日志文件上的級別標識，根據日志文件上不同的級別標識確定日志文件的存儲方式；

所述級別標識識別模塊包括識別信息傳輸模塊、一級處理模塊和二級處理模塊，所述識別信息傳輸模塊在識別日志文件上的級別標識為一級級別標識時傳輸信息令一級處理模塊工作，在識別日志文件上的級別標識為二級級別標識時傳輸信息令二級處理模塊工作，所述一級處理模塊包括一級異常判斷模塊、一級無異常處理模塊和一級異常處理模塊，所述一級異常判斷模塊用于判斷級別標識為一級級別標識的日志文件是否異常，并在不存在異常時，令一級無異常處理模塊工作，在存在異常時，令一級異常處理模塊工作；所述二級處理 模塊包括二級異常判斷模塊、二級無異常處理模塊和二級異常處理模塊，所述二級異常判斷模塊用于判斷級別標識為二級級別標識的日志文件是否異常，并在不存在異常時，令二級無異常處理模塊工作，在存在異常時，令二級異常處理模塊工作；

所述一級無異常處理模塊包括第一緩沖存儲模塊、占用內存獲取模塊、占用內存比較模塊和第一打包壓縮發送模塊，所述第一緩沖存儲模塊在判斷該具有一級級別標識的日志文件不存在異常時將該日志文件存儲到緩沖存儲節點，所述占用內存獲取模塊用于獲取緩沖存儲節點已存入某監控對象日志文件的占用內存，所述占用內存比較模塊在比較出已存入某監控對象日志文件的占用內存大于等于內存閾值時，獲取緩沖存儲節點該監控對象各個日志文件的存入時間以及當前該監控對象所存儲日志文件的最早存入時間，所述第一打包壓縮發送模塊用于將存入時間與最早存入時間的時間間隔大于等于第二時間間隔閾值的日志文件以及最早存入的日志文件一起打包壓縮發送至正式存儲節點；所述一級異常處理模塊包括第一正式存儲模塊、第一打包壓縮存儲關聯模塊、緊急標識添加模塊和緊急標識后續處理模塊，所述第一正式存儲模塊在具有一級級別標識的日志文件上存在異常時將該日志文件作為第一異常日志文件，并將第一異常日志文件存儲到正式存儲節點，并傳輸信息令第一打包壓縮存儲關聯模塊獲取緩沖存儲節點內最近一段預設時長內的日志文件，將其打包壓縮傳輸到正式存儲節點后與第一異常日志文件相關聯，并令緊急標識添加模塊獲取產生第一異常日志文件的相應的一級監控對象，將其在有效時間長度內產生的日志文件添加緊急標識，其中，當日志文件上添加有緊急標識時，將該日志文件直接存儲到正式存儲節點，所述緊急標識后續處理模塊用于獲取正式存儲節點帶有緊急標識的日志文件的最晚存儲時間，如果當前時間與最晚存入的時間間隔大于等于第一時間閾值，將正式存儲節點內未被打包壓縮且帶有緊急標識的日志文件打包壓縮，并將打包壓縮后的文件與其相應的第一異常日志文件相關聯，其中，當緊急標識到達有效時間長度時，取消在該一級監控對象產生的日志文件上添加緊急標識；

所述二級無異常處理模塊包括第二緩沖存儲模塊和刪除判斷模塊，所述第二緩沖存儲模塊在判斷該具有二級級別標識的日志文件不存在異常時將該日志文件存儲到緩沖存儲節點，所述刪除判斷模塊獲取各個具有二級級別標識的日志文件的存入時間與當前時間的時間間隔，如果時間間隔大于等于第一時間間隔閾值，將該日志文件從緩沖存儲節點中刪除，所述二級異常處理模塊包括第二正式存儲模塊、第二打包壓縮存儲關聯模塊、限制標識添加模塊和限制標識修改模塊，所述第二正式存儲模塊在具有二級級別標識的日志文件上存在異常時將該日志文件作為第二異常日志文件，并將第二異常日志文件存儲到正式存儲節點，并傳輸信息令第二打包壓縮存儲關聯模塊獲取緩沖存儲節點內最近一段預設時長內的日志文件，將其打包壓縮傳輸到正式存儲節點后與第二異常日志文件相關聯，所述限制標識添加模塊用于獲取產生第二異常日志文件的相應的二級監控對象，將該二級監控對象產生的日志文件上的二級級別標識修改為帶有有效時長的一級級別標識和帶有有效時長的緊急標識，所述限制標識修改模塊在二級監控對象產生的日志文件的帶有一級級別標識的實際時長大于等于有效時長時，刪除日志文件上的帶有有效時長的緊急標識，并將帶有有效時長的一級級別標識修改為二級級別標識；

所述監控分析方法包括以下步驟：

預先給各個監控對象分類，所述監控對象分類包括一級監控對象和二級監控對象，當一級監控對象運行產生日志文件時，給該日志文件添加一級級別標識，當二級監控對象運行產生日志文件時，給該日志文件添加二級級別標識，

識別監控對象運行產生日志文件上的級別標識，根據日志文件上不同的級別標識確定日志文件的存儲方式；

所述根據日志文件上不同的級別標識確定日志文件的存儲方式包括：

如果識別日志文件上的級別標識為一級級別標識，判斷該日志文件是否存在異常，

如果該日志文件不存在異常，先將該日志文件存儲到緩沖存儲節點，再將其存入正式存儲節點；

如果該日志文件上存在異常，則該日志文件為第一異常日志文件，立即將第一異常日志文件存儲到正式存儲節點，同時獲取緩沖存儲節點內最近一段預設時長內的日志文件，將其打包壓縮傳輸到正式存儲節點后與第一異常日志文件相關聯，并且獲取產生第一異常日志文件的相應的一級監控對象，將其在有效時間長度內產生的日志文件添加緊急標識，其中，當日志文件上添加有緊急標識時，將該日志文件直接存儲到正式存儲節點；

所述將其在有效時間長度內產生的日志文件添加緊急標識后還包括：

獲取正式存儲節點帶有緊急標識的日志文件的最晚存儲時間，如果當前時間與最晚存入的時間間隔大于等于第一時間閾值，將正式存儲節點內未被打包壓縮且帶有緊急標識的日志文件打包壓縮，并將打包壓縮后的文件與其相應的第一異常日志文件相關聯，其中，當緊急標識到達有效時間長度時，取消在該一級監控對象產生的日志文件上添加緊急標識；

所述先將該日志文件存儲到緩沖存儲節點，當再將其存入正式存儲節點包括獲取緩沖存儲節點已存入某監控對象日志文件的占用內存，如果已存入某監控對象日志文件的占用內存大于等于內存閾值，獲取緩沖存儲節點該監控對象各個日志文件的存入時間以及當前該監控對象所存儲日志文件的最早存入時間，將存入時間與最早存入時間的時間間隔大于等于第二時間間隔閾值的日志文件以及最早存入的日志文件一起打包壓縮發送至正式存儲節點；

所述根據日志文件上不同的級別標識確定日志文件的存儲方式還包括：

如果識別日志文件上的級別標識為二級級別標識，判斷該日志文件是否存在異常，如果該日志文件不存在異常，將該日志文件存儲到緩沖存儲節點，獲取各個日志文件的存入時間與當前時間的時間間隔，如果時間間隔大于等于第一時間間隔閾值，將該日志文件從緩沖存儲節點中刪除；

如果該日志文件存在異常，則該日志文件為第二異常日志文件，直接將第二異常日志文件存儲到正式存儲節點，獲取緩沖存儲節點內最近一段預設時長內的日志文件，將其打包壓縮傳輸到正式存儲節點后與第二異常日志文件相關聯，獲取產生第二異常日志文件的相應的二級監控對象，將該二級監控對象產生的日志文件上的二級級別標識修改為帶有有效時長的一級級別標識和帶有有效時長的緊急標識；

所述將該二級監控對象產生的日志文件上的二級級別標識修改為帶有有效時長的一級級別標識和帶有有效時長的緊急標識后還包括：當二級監控對象產生的日志文件的帶有一級級別標識的實際時長大于等于有效時長，刪除日志文件上的帶有有效時長的緊急標識，并將帶有有效時長的一級級別標識修改為二級級別標識。