[發明專利]日志收集系統和方法

有效

• 申請號: 201710058570.X
• 申請日: 2017-01-23
• 公開（公告）號: CN106777371B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 陳天明;董啟政
• 申請（專利權）人: 北京齊爾布萊特科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/172
• 代理公司: 11396 北京思睿峰知識產權代理有限公司
• 代理人: 趙愛軍;謝建云<國際申請>=<國際公布>

本發明公開了一種日志收集系統，該系統包括：一個或多個第一服務器，一個或多個第二服務器以及監控服務器。其中，監控服務器用于實時獲取各第二服務器的運行狀態，并生成可用的第二服務器列表。第一服務器基于客戶端發起的HTTP請求生成格式化的日志數據，監聽可用的第二服務器列表，并將格式化的日志數據發送至可用的第二服務器。第二服務器接收到日志數據后，根據其所屬的日志類型將其本地化存儲于相應的日志文件中。本發明還公開了適于在上述日志收集系統中執行的日志收集方法。

技術領域

本發明涉及數據采集技術領域，尤其涉及一種日志收集系統和方法。

背景技術

用戶對互聯網的訪問實際上就是對某臺服務器的訪問，即向服務器發起HTTP請求。當服務器被訪問時，會在本地生成用戶訪問日志。對日志數據進行分析和挖掘可以為行業/企業帶來巨大的價值。

隨著互聯網技術的發展和終端設備的普及，用戶對服務器的訪問量增大，相應地，服務器端生成的用戶訪問日志的數據體量也越來越大。面對海量的日志數據，簡單的日志本地化采集和處理已無法滿足需求，因此，需要提供一種分布式的日志收集系統。

目前比較常用的分布式日志收集系統為Flume日志收集框架。Flume以Agent為最小的獨立運行單位。一個Agent由Source、Channel和Sink三大組件構成。Flume的數據流由Event(事件)貫穿始終。Event是Flume的基本數據單位，它攜帶日志數據(字節數組形式)并且攜帶有header(頭信息)。盡管Flume是一種高可用的分布式海量日志采集、聚合和傳輸的系統，但是，其在日志的分類整理和流量統計監控的實現上很不方便。例如，用Flume實現日志的分類整理時，需要由技術人員自行實現interceptor(攔截器)接口，對請求進行攔截，區分不同的日志類型，然后給每個Event添加header。此外，還需要對Channel和Sink進行配置，當日志種類很多的時候，配置很麻煩。

發明內容

為此，本發明提供一種日志收集系統和方法，以解決或至少緩解上面存在的問題。

根據本發明的一個方面，提供一種日志收集系統，該系統包括：一個或多個第一服務器，每一個第一服務器中均存儲有多個配置文件，所述配置文件適于指定每種日志類型所對應的請求路徑和日志數據格式，每一個第一服務器均包括：日志生成單元，適于從客戶端發起的HTTP請求中解析出請求路徑，根據請求路徑確定日志類型，根據該日志類型所對應的配置文件中所指定的日志數據格式將所述HTTP請求生成日志數據；第一輸出單元，適于將日志數據發送至第二服務器；一個或多個第二服務器，每一個第二服務器均包括：本地化存儲單元，適于接收第一服務器發送的日志數據，并根據日志數據所屬的日志類型將接收到的日志數據存儲于第二服務器的相應日志文件中；監控服務器，適于獲取第二服務器的運行狀態，生成可用的第二服務器列表；其中，第一輸出單元中還包括：監聽模塊，適于監聽所述可用的第二服務器列表，所述第一輸出單元適于根據所述可用的第二服務器列表向可用的第二服務器發送日志數據。

可選地，在根據本發明的日志收集系統中，監控服務器進一步適于：每隔第一時間向每一個第二服務器發送確認信息；若在第二時間內接收到第二服務器的反饋信息，則將該第二服務器判定為可用的第二服務器，加入可用的第二服務器列表。

可選地，在根據本發明的日志收集系統中，可用的第二服務器列表包括一條或多條可用的第二服務器記錄，每條可用的第二服務器記錄包括IP地址和端口號信息。

可選地，在根據本發明的日志收集系統中，第一輸出單元還適于：在可用的第二服務器的數量小于第一閾值時，將所述日志數據存儲于第一服務器；在可用的第二服務器的數量大于等于第一閾值時，將第一服務器中已存儲的日志數據和日志生成單元在當前時刻生成的日志數據發送至可用的第二服務器。