[發明專利]基于可視化配置的日志數據轉換方法及系統

有效

• 申請號: 202211568180.4
• 申請日: 2022-12-08
• 公開（公告）號: CN115587158B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 張廣峰;安基海;謝勇為
• 申請（專利權）人: 廣東名陽信息科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/18;G06F16/34;G06F40/279
• 代理公司: 廣州一銳專利代理有限公司 44369
• 代理人: 唐艷琴

本發明適用于數據處理技術領域，尤其涉及基于可視化配置的日志數據轉換方法及系統，所述方法包括：獲取待轉換日志文件，構建可視化配置規則數據庫；將待轉換日志文件通過不同的文本讀取軟件打開，提取待識別文本，根據待識別文本確定有效日志文本；對有效日志文本進行字符提取和文字提取，構建可視化文本模型；檢索可視化配置規則數據庫，調取對應的文本轉換規則，對有效日志文本進行轉換，得到結構化日志文本。本發明根據文字與字符識別當前日志的格式與內容，查詢預設的可視化配置規則，根據對應的可視化配置規則對有效日志文本進行結構化處理，得到結構化日志文本，實現了日志數據的格式統一。

技術領域

本發明屬于數據處理技術領域，尤其涉及基于可視化配置的日志數據轉換方法及系統。

背景技術

日志文件是用于記錄系統操作事件的記錄文件或文件集合，可分為事件日志和消息日志，具有處理歷史數據、診斷問題的追蹤以及理解系統的活動等重要作用。

可視化是利用計算機圖形學和圖像處理技術，將數據轉換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術，它涉及到計算機圖形學、圖像處理、計算機視覺、計算機輔助設計等多個領域，成為研究數據表示、數據處理、決策分析等一系列問題的綜合技術。

目前為止，日志數據的格式很多，差異較大，日志內容只能通過人工識別，難以實現日志的自動化識別。

發明內容

本發明實施例的目的在于提供基于可視化配置的日志數據轉換方法，旨在解決日志數據的格式很多，差異較大，日志內容只能通過人工識別，難以實現日志的自動化識別的問題。

本發明實施例是這樣實現的，一種基于可視化配置的日志數據轉換方法，所述方法包括：

獲取待轉換日志文件，構建可視化配置規則數據庫；

將待轉換日志文件通過不同的文本讀取軟件打開，提取待識別文本，根據待識別文本確定有效日志文本；

對有效日志文本進行字符提取和文字提取，構建可視化文本模型；

根據可視化文本模型檢索可視化配置規則數據庫，調取對應的文本轉換規則，對有效日志文本進行轉換，得到結構化日志文本。

優選的，所述將待轉換日志文件通過不同的文本讀取軟件打開，提取待識別文本，根據待識別文本確定有效日志文本的步驟，具體包括：

將待轉換日志文件通過不同的文本讀取軟件打開，對文本讀取軟件顯示的文本進行復制，得到待識別文本；

從待識別文本中隨機截取多個文本段落，對每個文本段落進行字符統計，得到字符統計結果，所述字符統計結果包含漢字統計結果和英文字母統計結果；

根據漢字統計結果和英文字母統計結果從待識別文本中篩選得到有效日志文本。

優選的，所述對有效日志文本進行字符提取和文字提取，構建可視化文本模型的步驟，具體包括：

對有效日志文本進行字符提取和文字提取，得到待分析詞組和待分析字符串；

根據待分析詞組和待分析字符串查詢預設的關鍵字數據庫，得到各個有效日志文本對應的有效關鍵字；

調取預設的空白模型，根據有效關鍵字對空白模型進行填充，得到可視化文本模型，所述可視化文本模型為由多個單元格組成的圖像，每一個單元格對應一個關鍵字，單元格通過兩種顏色進行標記。

優選的，所述根據可視化文本模型檢索可視化配置規則數據庫，調取對應的文本轉換規則，對有效日志文本進行轉換，得到結構化日志文本的步驟，具體包括：

查詢可視化配置規則數據庫，調取其中所有的標準模型；