[發明專利]一種日志分析方法和系統

有效

• 申請號: 201910147163.5
• 申請日: 2019-02-27
• 公開（公告）號: CN109951323B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李鵬
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L67/1087;G06F16/18
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 王昌貴

本發明提供了一種日志分析方法，所述方法包括：所述調度中心接收日志分析請求，確定所述日志分析請求對應的目標自治服務器，向所述目標自治服務器發送日志分析指令；每臺所述目標自治服務器獲取并分析所述日志分析指令對應的目標日志文件，生成子分析結果，并將所述子分析結果發送至所述數據處理中心；所述數據處理中心對全部所述子分析結果進行處理生成處理結果，將所述處理結果發送至所述調度中心，以使所述調度中心基于所述處理結果響應所述日志分析請求。采用本發明可以有效縮短日志分析任務的完成時間，進而可以有效降低日志分析請求的響應延時，提高日志分析系統的服務質量。

技術領域

本發明涉及互聯網技術領域，特別涉及一種日志分析方法和系統。

背景技術

CDN(Content Delivery Network，內容分發網絡)服務在現有的互聯網中部署多個節點服務器，使用戶可以從一個較近或較優的邊緣節點服務器獲取數據，為用戶提供網絡加速服務。

現階段，CDN服務商主要通過中心計算平臺對CDN網絡內的邊緣節點服務器的日志進行統一的分析。具體的，邊緣節點服務器可以以日志的形式記錄CDN服務的服務狀態信息，并將日志文件發送至離線計算平臺進行存儲。這樣，當離線計算平臺接收到日志分析請求時，可以在存儲的所有日志文件中查找上述日志分析請求對應的全部日志文件，并對上述日志分析請求對應的全部日志文件進行分析，生成分析結果，以響應上述日志分析請求。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

當日志分析請求對應有大量日志時，中心計算平臺在存儲的所有日志文件中查找日志分析請求對應的全部日志文件的過程，及中心計算平臺對上述查找到的全部日志文件進行分析的過程，均需要耗費較長的時間，進而導致上述日志分析請求的響應延時較高。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種日志分析方法和系統,技術方案如下：

第一方面，提供了一種日志分析方法，所述方法應用于日志分析系統，所述日志分析系統至少包括調度中心、數據處理中心、以及分布式部署的多臺自治服務器和邊緣節點服務器，每臺所述自治服務器對應多臺所述邊緣節點服務器，所述方法包括：

所述調度中心接收日志分析請求，確定所述日志分析請求對應的目標自治服務器，向所述目標自治服務器發送日志分析指令；

每臺所述目標自治服務器獲取并分析所述日志分析指令對應的目標日志文件，生成子分析結果，并將所述子分析結果發送至所述數據處理中心；

所述數據處理中心對全部所述子分析結果進行處理生成處理結果，將所述處理結果發送至所述調度中心，以使所述調度中心基于所述處理結果響應所述日志分析請求。

進一步的，所述日志分析請求攜帶有業務指示標識；

所述確定所述日志分析請求對應的目標自治服務器，包括：

如果所述日志分析請求還攜帶有自治服務器的機器標識，則確定所述機器標識對應的目標自治服務器，否則，確定所述業務指示標識對應的目標自治服務器。

進一步的，所述方法還包括：

每臺所述邊緣節點服務器周期性將當前周期內生成的日志文件發送至所述邊緣節點服務器對應的自治服務器；

所述自治服務器接收所述邊緣節點服務器發送的日志文件，并按照預設的自治服務器的日志存儲時長存儲所述日志文件。

進一步的，所述日志分析系統還包括中心計算平臺，所述方法還包括：

每臺所述邊緣節點服務器周期性將當前周期內生成的日志文件發送至所述中心計算平臺；

所述中心計算平臺接收并存儲所有邊緣節點服務器發送的所有日志文件。