[發明專利]日志數據的歸檔方法及裝置、存儲介質、計算機設備

在審

• 申請號: 202211083457.4
• 申請日: 2022-09-06
• 公開（公告）號: CN115374058A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 吳曉馨
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/174;G06F16/18;G06F16/182;G06F9/54
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 賈依嬌

本發明公開了一種日志數據的歸檔方法及裝置、存儲介質、計算機設備，涉及計算機技術領域，主要目的在于解決現有日志數據的歸檔過程中服務器存儲資源耗費較大的問題。主要包括：將日志采集工具部署在服務器設備上，啟用日志采集工具，收集服務器設備中產生的日志數據；定義日志數據輸出至流處理平臺，使用預先設置的分區字段將日志數據進行分區標記后寫入至流處理平臺的消息隊列服務中；將消息隊列服務中的日志數據異步對接至不同消費組，以使得消費組內的消費者根據消費策略消費不同分區日志庫中的日志數據；響應于日志數據的歸檔請求，根據設定的日志歸檔方式對消費完成的日志數據進行歸檔處理。

技術領域

本發明涉及一種計算機技術領域，特別是涉及一種日志數據的歸檔方法及裝置、存儲介質、計算機設備。

背景技術

日志記錄是為了有效防范信息的風險，保證在系統中相關的行為有跡可循，確保追蹤信息真實可靠且有效，日志數據的歸檔是將日志整理保存到日志服務器的過程。

通過對日志數據進行歸檔，用戶可以隨時調出歷史日志查詢、實時查看應用程序的工作狀態、安全審計工作以及通過歷史日志分析有價值的數據。針對日志數據的歸檔過程，目前業界通常使用服務器中分布式搜索引擎的數據結構進行后端收集并存儲，但是，考慮到日志應用環境中會產生大量日志，使得分布式搜索引擎中節點網絡流量過大，對于服務器資源，尤其是服務器的存儲資源的耗費是巨大的。

發明內容

有鑒于此，本發明提供一種日志數據的歸檔方法及裝置、存儲介質、計算機設備，主要目的在于解決現有日志數據的歸檔過程中服務器存儲資源耗費較大的問題。

依據本發明一個方面，提供了一種日志數據的歸檔方法，包括：

將日志采集工具部署在服務器設備上，啟用所述日志采集工具，收集服務器設備中產生的日志數據；

定義所述日志數據輸出至流處理平臺，使用預先設置的分區字段將所述日志數據進行分區標記后寫入至所述流處理平臺的消息隊列服務中，每個分區字段對應一個分區日志庫；

將所述消息隊列服務中的日志數據異步對接至不同消費組，以使得所述消費組內的消費者根據消費策略消費不同分區日志庫中的日志數據；

響應于日志數據的歸檔請求，根據設定的日志歸檔方式對消費完成的日志數據進行歸檔處理。

進一步地，所述將日志采集工具部署在服務器設備上，啟用所述日志采集工具，收集服務器設備中產生的日志數據，包括：

針對容器集群類型的服務器設備，將日志采集工具部署在容器集群節點上，啟用所述日志采集工具，收集容器集群節點對應服務器設備中產生的日志數據；

針對物理機或者虛擬機類型的服務器設備，將日志采集工具部署在服務器設備上，啟用所述日志采集工具，收集服務器設備中產生的日志數據。

進一步地，所述定義所述日志數據輸出到流處理平臺，使用預先設置的分區字段將所述日志數據進行分區標記后寫入至所述流處理平臺的消息隊列服務中之前，所述方法還包括：

在收集服務器設備中產生的日志數據過程中，選取所述日志數據對應的文件屬性信息作為日志標識，以輸出攜帶有日志標識的日志數據。

進一步地，所述定義所述日志數據輸出到流處理平臺，使用預先設置的分區字段將所述日志數據進行分區標記后寫入至所述流處理平臺的消息隊列服務中，包括：

定義所述日志數據輸出到流處理平臺，使用預先設置的分區字段與所述日志標識進行匹配；

若匹配成功，則將匹配成功的日志標識對應的日志數據寫入至所述流處理平臺的消息隊列服務中，以使得消息隊列服務根據所述分區字段將日志數據發送至相應的分區日志庫中。

進一步地，所述方法還包括：