[發明專利]日志解析方法、裝置、電子裝置和存儲介質

在審

• 申請號: 202210922118.4
• 申請日: 2022-08-02
• 公開（公告）號: CN115328873A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 肖威;俞天佐
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F11/34;G06F40/205
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 范麗霞

本申請涉及一種日志解析方法、裝置、電子裝置和存儲介質，其中，該日志解析方法包括：獲取原始日志數據；將預設的解析需求處理為針對原始日志數據的解析規則；基于ClickHouse數據庫預設的數據庫語法，將解析規則轉化為物化視圖，并利用物化視圖對原始日志數據進行實時解析，得到原始日志數據的解析結果。本申請利用ClickHouse數據庫實現了對原始日志數據的解析，從而能夠在不依賴額外的解析系統的情況下完成對原始日志數據的實時解析，進而能夠提高對ClickHouse數據庫性能的利用率，從而降低了目前日志審計系統的開發成本和維護成本。

技術領域

本申請涉及日志解析領域，特別是涉及日志解析方法、裝置、電子裝置和存儲介質。

背景技術

作為高性能、易拓展的關系型數據庫管理系統，ClickHouse能夠實現海量數據的即時查詢，因而自開源發布以來便被廣泛應用于OLAP(on-Line Analytic Processing，大數據聯機分析處理)的解決方案中。

目前，在ClickHouse的應用中，由于以ClickHouse為主體的數據分析系統欠缺數據轉換的能力，無法控制在存儲分析前的數據質量，不能實現對日志數據的解析。因此，往往是將采集得到的原始日志數據發送到額外的日志解析系統中，由該日志解析系統將不同數據源的日志按照不同規則解析成可以區分不同字段的結構化數據。之后再將上述解析完成的結構化數據插入到ClickHouse數據庫表之中。目前這種使用額外的日志解析系統對原始日志數據進行數據解析的方式，導致日志審計系統的開發成本與運維成本較高。

針對相關技術中使用額外的日志解析系統對原始日志數據進行數據解析的方式，所需的技術成本與運維成本較高的問題，目前還沒有提出有效的解決方案。

發明內容

在本實施例中提供了一種日志解析方法、裝置、電子裝置和存儲介質，以解決相關技術中使用額外的日志解析系統對原始日志數據進行數據解析的方式，所需的技術成本與運維成本較高的問題。

第一個方面，在本實施例中提供了一種日志解析方法，用于ClickHouse數據庫，包括：

獲取原始日志數據；

將預設的解析需求處理為針對所述原始日志數據的解析規則；

基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則轉化為物化視圖，并利用所述物化視圖對所述原始日志數據進行實時解析，得到所述原始日志數據的解析結果。

在其中的一些實施例中，所述獲取原始日志數據，包括：

獲取由所述ClickHouse數據庫的消息組件從預設的數據源接收的原始日志數據。

在其中的一些實施例中，所述解析規則為由類型節點組成的樹型結構；所述將預設的解析需求處理為針對所述原始日志數據的解析規則，包括：

根據所述預設的解析需求，確定所述類型節點，以及所述類型節點之間的組合關系；其中，所述類型節點指示對所述原始日志數據進行匹配替換、匹配提取、以及條件判斷中的至少一種處理邏輯；

將所述類型節點按照確定的組合關系組合成樹型結構，得到所述解析規則。

在其中的一些實施例中，所述根據所述預設的解析需求，確定所述類型節點，以及所述類型節點之間的組合關系，包括：

根據所述預設的解析需求，確定對所述原始日志數據進行數據處理的正則表達式和/或邏輯表達式，并基于所述正則表達式和/或邏輯表達式生成類型節點；

基于所述預設的解析需求確定所述類型節點之間的組合關系。

在其中的一些實施例中，所述基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則轉化為物化視圖，包括：