[發明專利]基于Logstash分布式系統的日志監控系統

有效

• 申請號: 201611244198.3
• 申請日: 2016-12-29
• 公開（公告）號: CN106855888B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 王仄夷
• 申請（專利權）人: 北京車智贏科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/182
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

1.一種基于Logstash分布式系統的日志監控系統，其特征在于，所述系統包括：三個獨立的工作端：

日志收集端，每一個所述日志收集端均設置有唯一序列號；負責監控本地日志文件的變化，及時把日志文件的最新內容收集起來，輸出到日志轉發器暫存；

日志存儲端，預先存儲有查看并分析列表，所述查看并分析列表中存儲有所述日志查看分析端的編碼號；實時或設置每個一段時間間隔從所述日志轉發器中讀取日志文件，接收并存儲從所述日志轉發器發送的日志信息；

日志查看分析端，從日志存儲端調取目標日志查看并分析；

其中一個所述日志轉發器與多個所述日志收集端通信連接；一個所述日志存儲端與多個所述日志查看分析端通信連接；任意一個或多個日志查看分析端僅查看并分析由預先指定一個或多個日志收集端收集到的日志文件；

所述日志監控系統中工作端的選擇規則如下：所述日志存儲端將收集到的日志信息中的序列號，與查看并分析列表中存儲的所述日志查看分析端的編碼號進行對比；當所述查看并分析列表中存在與所述序列號相對應的所述編碼號時，所述日志信息發送至所述編碼號對應的所述日志查看分析端；當所述查看并分析列表并不存在與所述序列號相對應的所述編碼號時，所述日志信息發送到隨機選定的所述日志查看分析端中。

2.根據權利要求1所述基于Logstash分布式系統的日志監控系統，其特征在于，所述日志收集端需配置的參數包括：需要監控的文件、監控日志輸出的控制臺、監控日志輸出的日志轉發器的端口號、監控日志輸出的日志轉發器的主機地址、監控日志輸出的日志轉發器的數據庫編號、監控日志使用的發布/訂閱模式和監控日志發布的通道名稱。

3.根據權利要求2所述基于Logstash分布式系統的日志監控系統，其特征在于，所述日志收集端還包括監控日志輸出的日志轉發器的備用主機地址。

4.根據權利要求1所述基于Logstash分布式系統的日志監控系統，其特征在于，所述日志收集端收集到日志文件數據后，經過文件處理后，暫存到日志轉換器中。

5.根據權利要求1所述基于Logstash分布式系統的日志監控系統，其特征在于，所述日志存儲端從日志轉發器讀取日志文本，將讀取的文本修改為format文件后存儲，同時，所述日志存儲端設置了需存儲的日志寫入文件路徑。

6.根據權利要求1所述基于Logstash分布式系統的日志監控系統，其特征在于，本系統運行的環境為JAVA。

7.一種基于如權利要求1至6任意一項所述基于Logstash分布式系統的日志監控系統的日志監控方法，其特征在于，所述方法：

S1，日志收集端實時判斷監的日志文件是否更新，如果是，則調取更新的日志文件并暫存到日志轉發器中；如果否，則返回S1，繼續判斷；

S2，當日志存儲端收到日志轉發器暫存更新日志文件的消息后，接收并存儲從日志轉發器發送的日志信息；所述日志信息包括：日志文件的輸出地址、日志文件內容和收集日志文件的日志收集端；

S3，日志查看分析端在接收到日志存儲端存儲了更新日志文件的消息后，從日志存儲端調取目標日志查看并分析；所述日志查看分析端為處于空閑狀態的日志查看分析端或查看分析任務最少的日志查看分析端；

所述日志監控系統的工作步驟為：判斷所述日志存儲端收集到的任意一條日志信息中存儲的所述日志收集端的唯一序列號，將所述唯一序列號與預先存儲的制定查看并分析列表進行比對，如果所述唯一序列號在所述查看并分析列表中某個或某些所述日志查看分析端的編碼號對應，則將該日志信息發送到與編碼號對應的所述日志查看分析端中；如果在所述查看并分析列表并不存在所述唯一序列號，則將該日志信息發送到隨機選定的所述日志查看分析端中。