[發明專利]日志展示方法、裝置、電子設備及非易失性存儲介質

在審

• 申請號: 202211304418.2
• 申請日: 2022-10-24
• 公開（公告）號: CN115617750A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 馬天然;張壹芬;朱玉銀;傅昆;張亞飛
• 申請（專利權）人: 浙江中控技術股份有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/17;G06F11/30;G06F16/13
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本申請公開了一種日志展示方法、裝置、電子設備及非易失性存儲介質。其中，該方法包括：依據目標過濾規則對初始日志數據進行結構化處理，得到目標日志數據，其中，目標過濾規則包括：第一過濾規則或第二過濾規則，第一過濾規則為預設于第一配置文件中的過濾規則，第二過濾規則為響應規則設置指令而更新至第一配置文件中的過濾規則；依據目標采集規則，為目標日志數據建立目標索引；響應于查詢指令，依據目標索引，確定待查詢日志數據，其中，待查詢日志數據為符合查詢指令中查詢條件的目標日志數據；發送待查詢日志數據至前端界面進行展示。本申請解決了由于日志數據格式繁冗多樣且數據容量巨大，造成的日志查詢效率低下的技術問題。

技術領域

本申請涉及軟件日志分析技術領域，具體而言，涉及一種日志展示方法、裝置、電子設備及非易失性存儲介質。

背景技術

在網絡服務運行維護中，服務日志是系統運行、性能分析以及問題排查的重要參考數據，是運維人員聚焦的主要信息。在大數據時代，隨著日志應用范圍的擴大和平臺的復雜程度的增加，對日志數據存儲、檢索能力的要求也不斷提高。

在微服務架構中，每個服務都自身實現自己獨立的操作日志模塊，導致不同服務間的日志格式有著明顯的差異，業務系統產生的日志數據格式繁冗多樣且數據容量巨大，而傳統的日志分析工具一般需要集成多個組件，且需要預先設置對日志的解析格式，如果日志格式不符合內嵌的解析格式，日志將不能被正確解析，在進行大數據量的日志查詢時往往存在速度緩慢、效率低下、處理能力簡單等問題，已經不能滿足實時化的需求。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種日志展示方法、裝置、電子設備及非易失性存儲介質，以至少解決由于日志數據格式繁冗多樣且數據容量巨大，造成的日志查詢效率低下的技術問題。

根據本申請實施例的一個方面，提供了一種日志展示方法，包括：依據目標過濾規則對初始日志數據進行結構化處理，得到目標日志數據，其中，目標過濾規則包括：第一過濾規則或第二過濾規則，第一過濾規則為預設于第一配置文件中的過濾規則，第二過濾規則為響應規則設置指令而更新至第一配置文件中的過濾規則；依據目標采集規則，為目標日志數據建立目標索引；響應于查詢指令，依據目標索引，確定待查詢日志數據，其中，待查詢日志數據為符合查詢指令中查詢條件的目標日志數據；發送待查詢日志數據至前端界面進行展示。

可選地，依據目標過濾規則對初始日志數據進行結構化處理，得到目標日志數據包括：檢測初始日志數據的原始數據格式；確定第一配置文件中與原始數據格式對應的目標過濾規則；依據目標過濾規則，將原始數據格式的初始日志數據轉化為目標數據格式的目標日志數據，其中，目標數據格式為系統所支持的結構化數據格式。

可選地，確定第一配置文件中與原始數據格式對應的目標過濾規則包括：檢測第一配置文件中是否存在與原始數據格式對應的第二過濾規則；在第一配置文件中存在與原始數據格式對應的第二過濾規則的情況下，確定第二過濾規則為與原始數據格式對應的目標過濾規則；在第一配置文件中不存在與原始數據格式對應的第二過濾規則的情況下，檢測第一配置文件中是否存在與原始數據格式對應的第一過濾規則；在第一配置文件中存在與原始數據格式對應的第一過濾規則的情況下，確定第一過濾規則為與原始數據格式對應的目標過濾規則。

可選地，檢測初始日志數據的原始數據格式之前還包括：獲取目標對象在前端界面中設置的過濾規則參數，以及過濾規則參數適用的數據格式；依據過濾規則參數和數據格式，生成第二過濾規則；將第二過濾規則更新至第一配置文件中。

可選地，目標采集規則包括以下至少之一：實時日志采集規則、歷史日志采集規則及日志上下文采集規則，依據目標采集規則，為目標日志數據建立目標索引包括：依據目標采集規則，確定目標日志數據中的目標關鍵詞，其中，目標關鍵詞包括以下至少之一：日志時間、日志類型、日志來源，日志類型包括實時日志類型和歷史日志類型；為每項目標日志數據中的目標關鍵詞建立目標索引。