[發明專利]一種日志預處理方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202010790450.0
• 申請日: 2020-08-07
• 公開（公告）號: CN112000617B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 郭長偉
• 申請（專利權）人: 北京浪潮數據技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/18
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 徐麗

本發明公開了一種日志預處理方法、裝置、設備及可讀存儲介質，該方法包括：在時間戳指針指向最后一條已獲取日志的情況下，獲取存儲系統新產生的初始日志；對初始日志進行編輯處理，得到符合推送條件的目標日志；發送目標日志給日志管理平臺，并更新時間戳指針。該方法，在無需對存儲系統和日志管理平臺進行調整的情況下，通過對存儲系統產生的初始日志進行編輯處理，能夠使得日志管理平臺得到更加便于處理的目標日志，能夠有效提高日志管理平臺的處理效率。

技術領域

本發明涉及計算機應用技術領域，特別是涉及一種日志預處理方法、裝置、設備及可讀存儲介質。

背景技術

存儲系統的日志收集主要是采用人工操作方式，費時又費力。特別是當存儲集群規模比較大、存儲組件比較多的時候，存儲系統產生的日志數量巨大，日志種類繁多，日志格式不一致，采用傳統方式的日志搜集及分析方式，已經滿足不了存儲系統日常功能維護，系統故障、性能異常等問題定位的要求。

目前，專門用于日志集中管理的日志管理平臺有很多，如VMware虛擬化日志管理平臺(VMware vRealize Log Insight)，具有強大托管功能的日志管理工具(Splunk)，均可以提供高度可擴展的異構日志管理功能，并且具有直觀的數據儀表盤、完善的分析功能和友好的第三方延展性等優點。由于存儲系統產生的日志是海量的，且多樣的，日志管理平臺處理存儲系統的日志時，仍然存在處理效率低，有用日志篩選困難等問題。

綜上所述，如何有效地降低日志管理平臺的日志處理效率等問題，是目前本領域技術人員急需解決的技術問題。

發明內容

本發明的目的是提供一種日志預處理方法、裝置、設備及可讀存儲介質，以提高日志管理平臺的處理效率。

為解決上述技術問題，本發明提供如下技術方案：

一種日志預處理方法，包括：

在時間戳指針指向最后一條已獲取日志的情況下，獲取存儲系統新產生的初始日志；

對所述初始日志進行編輯處理，得到符合推送條件的目標日志；

發送所述目標日志給日志管理平臺，并更新所述時間戳指針。

優選地，發送所述目標日志給日志管理平臺，包括：

按照預設推送時間，利用表述性狀態傳遞接口發送所述目標日志給所述日志管理平臺。

優選地，所述推送條件為格式化日志，相應地，對所述初始日志進行編輯處理，得到符合推送條件的目標日志，包括：

對所述初始日志進行字段提取；

格式化字段提取結果，得到所述目標日志。

優選地，所述推送條件為字段篩選，相應地，格式化字段提取結果，得到所述目標日志，包括：

從所述字段提取結果中篩選出推送字段對應的日志信息；

組合所述日志信息，得到所述目標日志。

優選地，所述推送條件為推送指定模塊日志，相應地，對所述初始日志進行編輯處理，得到符合推送條件的目標日志，包括：

從所述初始日志中篩選出所述指定模塊對應的所述目標日志。

優選地，所述推送條件為推送指定類型的日志，相應地，對所述初始日志進行編輯處理，得到符合推送條件的目標日志，包括：

從所述初始日志中篩選出所述指定類型對應的所述目標日志；所述指定類型包括提示、嚴重和錯誤中的至少一種。

優選地，所述在時間戳指針指向最后一條已獲取日志的情況下，獲取存儲系統新產生的初始日志，包括：