[發明專利]一種基于filebeats獲取系統日志的運維方法及裝置

在審

• 申請號: 202010905196.4
• 申請日: 2020-09-01
• 公開（公告）號: CN112073233A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 董曉斌;喻波;王志海;安鵬;王志華
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06;G06F16/18;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于filebeats獲取系統日志的運維方法及裝置，所述方法包括：在布署系統的服務器上安裝FileBeats，配置FileBeats文件的輸出地址；FileBeats監控系統中不同服務輸出的日志文件，讀取日志文件的數據，生成FileBeats文件，將所述FileBeats文件發送到Logstash服務；Logstash服務接收并解析所述FileBeats文件，解析生成半結構化數據；Logstash服務將所述半結構化數據文件推送至ES服務；從所述ES服務中獲取半結構化數據文件，分析系統的服務的運行狀態。根據本發明的方案，運維人員無需登錄服務，就可以實時觀察、分析系統狀態，還能夠通過日志詳細查看具體服務的錯誤日志。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于filebeats獲取系統日志的運維方法及裝置。

背景技術

隨著系統的發展及功能的日漸完善，系統有越來越多的服務日志，這些日志可能是由多個不同服務產生的。運維人員查看日志可以確定潛在的故障風險、解決故障。

但系統能夠提供的服務越來越多，所產生的日志的數量呈指數增長，運維人員需要登錄各個服務，在多個服務之間切換，以查看日志，進而檢查系統的健康情況。運維人員由于頻繁登陸各個服務，影響了運維人員的工作效率，提升了運維人員的運維成本。

因此，需要對系統運維人員獲取日志信息的方式進行改進，使得系統運維人員無需登錄系統中的服務，就可以獲取日志，用以檢查系統的健康情況。

發明內容

為解決上述技術問題，本發明提出了一種基于filebeats獲取系統日志的運維方法及裝置，所述方法及裝置，用以解決現有技術中運維人員由于頻繁登陸各個服務，影響了運維人員的工作效率的問題。

根據本發明的第一方面，提供一種基于filebeats獲取系統日志的運維方法，所述方法包括以下步驟：

步驟S101：在布署系統的服務器上安裝FileBeats，配置FileBeats文件的輸出地址，使FileBeats文件的輸出地址指向Logstash服務對應的IP地址和端口；

步驟S102：FileBeats監控系統中不同服務輸出的日志文件，讀取日志文件的數據，生成FileBeats文件，將所述FileBeats文件發送到Logstash服務；

步驟S103：Logstash服務接收并解析所述FileBeats文件，解析日志信息、日志中記錄的訪問內容、時間、IP地址，解析生成半結構化數據；

步驟S104：Logstash服務將所述半結構化數據文件推送至ES服務，并由ES服務存儲所述半結構化數據文件；

步驟S105：從所述ES服務中獲取半結構化數據文件，分析系統的服務的運行狀態。

進一步地，FileBeats使用tail-f命令讀取日志文件的數據。

進一步地，所述半結構化數據為半結構化的日志結構，是JSON格式的數據，所述半結構化數據包括日志文件中記錄的IP地址、內容、時間。

進一步地，所述步驟S104：Logstash服務將所述半結構化數據文件推送至ES服務，并由ES服務存儲所述半結構化數據文件，其中：

ES服務與Logstash服務對接時，Logstash的服務配置文件僅需要配置ES服務的地址、端口，以及存儲的索引正則表達式，即可完成所述半結構化數據的存儲。

根據本發明第二方面，提供一基于filebeats獲取系統日志的運維裝置，所述裝置包括：

配置模塊：配置為在布署系統的服務器上安裝FileBeats，配置FileBeats文件的輸出地址，使FileBeats文件的輸出地址指向Logstash服務對應的IP地址和端口；