[發明專利]日志收集系統和方法

有效

• 申請號: 201710058570.X
• 申請日: 2017-01-23
• 公開（公告）號: CN106777371B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 陳天明;董啟政
• 申請（專利權）人: 北京齊爾布萊特科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/172
• 代理公司: 11396 北京思睿峰知識產權代理有限公司
• 代理人: 趙愛軍;謝建云<國際申請>=<國際公布>

1.一種日志收集系統，所述系統包括：

一個或多個第一服務器，每一個第一服務器中均存儲有多個配置文件，所述配置文件適于指定每種日志類型所對應的請求路徑和日志數據格式，每一個第一服務器均包括：

日志生成單元，適于從客戶端發起的HTTP請求中解析出請求路徑，根據請求路徑確定日志類型，根據該日志類型所對應的配置文件中所指定的日志數據格式將所述HTTP請求生成日志數據；

第一輸出單元，適于將日志數據發送至第二服務器；

一個或多個第二服務器，每一個第二服務器均包括：

本地化存儲單元，適于接收第一服務器發送的日志數據，將日志數據放到隊列中，開啟多個線程來處理隊列中的日志數據，并根據日志數據所屬的日志類型將接收到的日志數據存儲于第二服務器的相應日志文件中，其中第二服務器中存儲有針對不同日志類型所設置的配置文件，用于指定將日志數據存入日志文件過程中的參數；

監控服務器，適于獲取第二服務器的運行狀態，生成可用的第二服務器列表；

其中，第一輸出單元中還包括：監聽模塊，適于監聽所述可用的第二服務器列表，所述第一輸出單元適于在可用的第二服務器的數量小于第一閾值時，將所述日志數據存儲于第一服務器；在可用的第二服務器的數量大于等于第一閾值時，將第一服務器中已存儲的日志數據和日志生成單元在當前時刻生成的日志數據發送至可用的第二服務器。

2.如權利要求1所述的系統，其中，所述監控服務器進一步適于：

每隔第一時間向每一個第二服務器發送確認信息；

若在第二時間內接收到第二服務器的反饋信息，則將該第二服務器判定為可用的第二服務器，加入可用的第二服務器列表。

3.如權利要求1或2所述的系統，其中，所述可用的第二服務器列表包括一條或多條可用的第二服務器記錄，每條可用的第二服務器記錄包括IP地址和端口號信息。

4.如權利要求1所述的系統，其中，所述第一輸出單元還適于：

在可用的第二服務器的數量大于等于第一閾值時，以輪詢的方式從多個可用的第二服務器中確定一個第二服務器，并將日志數據發送至確定的所述第二服務器。

5.如權利要求1所述的系統，其中，第二服務器中還包括第二輸出單元，適于讀取第二服務器中存儲的日志文件，將所述日志文件中的日志數據發送至數據應用端。

6.如權利要求5所述的系統，其中，所述第二輸出單元進一步適于：

將待發送的日志類型添加至隊列中，其中，每個日志類型包括一個或多個日志文件；

創建多個線程；

對于每一個線程：

從隊頭取出一個日志類型；

讀取該日志類型所對應的日志文件中的日志數據并將其發送至數據應用端；

將該日志類型放回隊尾。

7.如權利要求5所述的系統，其中，所述數據應用端包括：Hadoop集群、Kafka集群、UDP服務器中的一種或多種。

8.如權利要求5所述的系統，其中，所述日志生成單元、第一輸出單元、本地化存儲單元、第二輸出單元中均包括監控模塊，適于監控每一種日志類型的日志數據的流量情況。