[發明專利]一種日志處理方法、設備和系統

無效

• 申請號: 201010138020.7
• 申請日: 2010-03-29
• 公開（公告）號: CN102208991A
• 公開（公告）日: 2011-10-05
• 發明（設計）人: 劉占亮;趙琳霖;李銳
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 廣州三環專利代理有限公司 44202
• 代理人: 郝傳鑫;潘中毅

技術領域

本發明涉及通信領域，尤其涉及一種日志處理方法、設備和系統。

背景技術

在現有的傳統互聯網業務中，日志是一個必不可少的部分，通過對業務日志的分析處理，我們可以了解到業務的經營狀況，同時在服務器出現健康問題的時候，也可以通過日志定位問題所在，方便問題的解決。當前，日志文件都是以原始的格式存放于文件系統或者數據庫系統，在對業務運營數據進行分析和統計的時候，需要對原始格式的日志數據文件進行處理分析，得到想要的統計結果。

現有技術中互聯網業務運營數據分析和統計以及web服務器、業務服務器運行狀況監控的流程如圖1所示：

步驟S101：提交產品運營數據統計分析、監控需求或產品業務模塊性能、健康狀況監控需求；

步驟S102：根據需求進行分析，設計針對特定需求的實施方案；

步驟S103：進行系統設計和系統編碼，以對原始日志文件進行特定的分析和處理；

步驟S104：交付使用。

對每一個業務運營數據統計的需求中，都需要經過圖1所示的流程，針對特定的需求設計編碼，從原始日志中獲取想要的統計結果，從而導致開發成本高，開發周期很長。

發明內容

本發明實施例在于提供一種日志處理方法、一種日志處理設備和一種日志處理系統，通過設置的配置文件信息對日志文件進行整理，生成業務項目對應的結構化數據，解決了現有技術中開發成本高的問題，縮短了開發周期。

為了達到上述技術效果，本發明實施例提出了一種日志處理方法，包括：

獲取網絡側發送的日志文件；

根據預先設置的配置文件信息整理所述日志文件；

將整理出的文件信息處理為與業務項目對應的結構化數據，并將所述結構化數據存儲在結構化存儲系統中。

優選地，所述日志處理方法還包括：

根據業務項目的統計需求實時修改配置文件信息。

優選地，所述根據預先設置的配置文件信息整理所述日志文件的步驟包括：

根據所述配置文件信息將所述日志文件整理出業務項目統計需求的文件信息。

優選地，所述將整理出的文件處理為與業務項目對應的結構化數據的步驟包括：

周期性地調用業務項目對應的實時處理腳本分析整理出的文件信息，生成與業務項目對應的結構化數據。

優選地，所述生成與業務項目對應的結構化數據的步驟之后，還包括：

根據所述結構化數據對業務的健康狀況進行監控，并進行報警處理；或/和

根據所述結構化數據對業務熱點進行自動發現和自動預警。

相應地，本發明實施例公開了一種日志處理設備，包括：

獲取模塊，用于獲取網絡側發送的日志文件；

整理模塊，用于根據預先設置的配置文件信息整理所述獲取模塊獲取的日志文件；

結構化處理模塊，用于將所述整理模塊整理出的文件信息處理為與業務項目對應的結構化數據，并將所述結構化數據存儲在結構化存儲系統中。

優選地，所述日志處理設備還包括：

配置文件信息設置模塊，用于根據業務項目的統計需求實時修改配置文件信息。

優選地，所述整理模塊根據所述配置文件信息設置模塊設置的配置文件信息將所述獲取模塊獲取的日志文件整理出業務項目統計需求的文件信息。

優選地，所述結構化處理模塊包括：

分析生成單元，用于周期性地調用業務項目對應的實時處理腳本分析所述整理模塊整理出的文件信息，生成與業務項目對應的結構化數據；

發送單元，用于將所述分析生成單元生成的所述結構化數據發送給結構化存儲系統進行存儲。

相應地，本發明實施例公開了一種日志處理系統，包括網絡側服務器和日志分發器，所述日志處理系統還包括至少一個日志處理設備，所述日志處理設備為上述的日志處理設備；

所述網絡側服務器將生成的日志文件發送給所述日志分發器，所述日志分發器按照負載均衡策略將所述日志文件轉發向所述日志處理設備，由所述日志處理設備對所述日志文件進行處理。

優選地，所述日志處理系統還包括至少一個結構化存儲系統，用于存儲結構化數據。

優選地，所述日志處理系統還包括：

監控報警設備，用于根據所述結構化數據對業務的健康狀況進行監控，并進行報警處理；或/和

發現預警設備，用于根據所述結構化數據對業務熱點進行自動發現和自動預警。