[發(fā)明專利]一種基于Logstash的日志管理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210856966.X
• 申請日: 2022-07-20
• 公開（公告）號: CN115203155A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計）人: 李雪爽;丁子彪
• 申請（專利權(quán)）人: 北京鼎普科技股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F9/54;G06F8/71;G06F40/186
• 代理公司: 北京知呱呱知識產(chǎn)權(quán)代理有限公司 11577
• 代理人: 張永維

本發(fā)明公開了一種基于Logstash的日志管理方法及系統(tǒng)，通過頁面參數(shù)配置完成日志管理工具Logstash配置文件內(nèi)容，實現(xiàn)日志的收集和處理；通過修改日志管理工具Logstash配置文件將日志原始數(shù)據(jù)保存至數(shù)據(jù)存儲服務(wù)器。通過頁面配置實現(xiàn)Logstash配置文件內(nèi)容配置，無需手動修改Logstash配置文件，新增日志處理更加便捷，原始數(shù)據(jù)保存至數(shù)據(jù)存儲服務(wù)器Elastcisearch，對原始數(shù)據(jù)查看更加方便快捷和清晰。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于Logstash的日志管理方法及系統(tǒng)。

背景技術(shù)

Logstash是免費(fèi)且開放的服務(wù)器端數(shù)據(jù)處理管道，能夠從多個來源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到用戶設(shè)置的“存儲庫”中。現(xiàn)有技術(shù)中每次新增日志來源及輸出目標(biāo)通過手動修改Logstash配置文件，每次手動修改配置文件收集及轉(zhuǎn)發(fā)日志，操作繁瑣，并且沒有對原始數(shù)據(jù)進(jìn)行存儲，元數(shù)據(jù)查看只能通過查看原始日志文件，元數(shù)據(jù)查看也較為繁瑣。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種基于Logstash的日志管理方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中每次需手動修改配置文件、元數(shù)據(jù)查看只能通過查看原始日志文件存在的操作繁瑣問題。

為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

根據(jù)本發(fā)明實施例的第一方面，提出了一種基于Logstash的日志管理方法，所述方法包括：

通過頁面參數(shù)配置完成日志管理工具Logstash配置文件內(nèi)容，實現(xiàn)日志的收集和處理；

通過修改日志管理工具Logstash配置文件將日志原始數(shù)據(jù)保存至數(shù)據(jù)存儲服務(wù)器。

進(jìn)一步地，所述數(shù)據(jù)存儲服務(wù)器采用Elasticsearch服務(wù)器，實現(xiàn)原始數(shù)據(jù)的結(jié)構(gòu)化存儲和查詢。

進(jìn)一步地，通過頁面參數(shù)配置完成日志管理工具Logstash配置文件內(nèi)容，實現(xiàn)日志的收集和處理，具體包括：

通過原始數(shù)據(jù)數(shù)據(jù)配置頁面進(jìn)行原始數(shù)據(jù)配置，具體為，根據(jù)根據(jù)原數(shù)據(jù)格式添加原數(shù)據(jù)模板；

通過目標(biāo)數(shù)據(jù)配置頁面進(jìn)行目標(biāo)數(shù)據(jù)配置，具體為，根據(jù)目標(biāo)數(shù)據(jù)格式添加目標(biāo)數(shù)據(jù)模板；

通過日志配置頁面進(jìn)行日志配置，具體為，根據(jù)原數(shù)據(jù)模板和目標(biāo)數(shù)據(jù)模板，配置需要的日志配置。

進(jìn)一步地，所述原始數(shù)據(jù)配置內(nèi)容包括原始數(shù)據(jù)列表以及數(shù)據(jù)字段，所述目標(biāo)數(shù)據(jù)配置包括目標(biāo)數(shù)據(jù)列表以及數(shù)據(jù)字段，所述日志配置內(nèi)容包括數(shù)據(jù)源、數(shù)據(jù)輸出，所述數(shù)據(jù)源的配置內(nèi)容包括數(shù)據(jù)源ID、字段替換、值轉(zhuǎn)義以及時間格式轉(zhuǎn)換，所述數(shù)據(jù)輸出的配置內(nèi)容包括輸出類型、IP、端口以及主題。

進(jìn)一步地，通過頁面參數(shù)配置完成日志管理工具Logstash配置文件內(nèi)容，實現(xiàn)日志的收集和處理，具體還包括：

由頁面配置Logstash配置文件內(nèi)容，用來進(jìn)行日志字段和值的處理并轉(zhuǎn)發(fā)到分布式發(fā)布訂閱消息系統(tǒng)Kafka。

根據(jù)本發(fā)明實施例的第二方面，提出了一種基于Logstash的日志管理系統(tǒng)，所述系統(tǒng)包括：

頁面配置模塊，用于通過頁面參數(shù)配置完成日志管理工具Logstash配置文件內(nèi)容，實現(xiàn)日志的收集和處理；

原始數(shù)據(jù)存儲模塊，用于通過修改日志管理工具Logstash配置文件將日志原始數(shù)據(jù)保存至數(shù)據(jù)存儲服務(wù)器。

進(jìn)一步地，所述頁面配置模塊，具體用于：

通過原始數(shù)據(jù)數(shù)據(jù)配置頁面進(jìn)行原始數(shù)據(jù)配置，具體為，根據(jù)根據(jù)原數(shù)據(jù)格式添加原數(shù)據(jù)模板；

通過目標(biāo)數(shù)據(jù)配置頁面進(jìn)行目標(biāo)數(shù)據(jù)配置，具體為，根據(jù)目標(biāo)數(shù)據(jù)格式添加目標(biāo)數(shù)據(jù)模板；