[發明專利]日志解析方法、裝置、電子裝置和存儲介質

在審

• 申請號: 202210922118.4
• 申請日: 2022-08-02
• 公開（公告）號: CN115328873A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 肖威;俞天佐
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F11/34;G06F40/205
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 范麗霞

1.一種日志解析方法，用于ClickHouse數據庫，其特征在于，包括：

獲取原始日志數據；

將預設的解析需求處理為針對所述原始日志數據的解析規則；

基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則轉化為物化視圖，并利用所述物化視圖對所述原始日志數據進行實時解析，得到所述原始日志數據的解析結果。

2.根據權利要求1所述的日志解析方法，其特征在于，所述獲取原始日志數據，包括：

獲取由所述ClickHouse數據庫的消息組件從預設的數據源接收的原始日志數據。

3.根據權利要求1所述的日志解析方法，其特征在于，所述解析規則為由類型節點組成的樹型結構；所述將預設的解析需求處理為針對所述原始日志數據的解析規則，包括：

根據所述預設的解析需求，確定所述類型節點，以及所述類型節點之間的組合關系；其中，所述類型節點指示對所述原始日志數據進行匹配替換、匹配提取、以及條件判斷中的至少一種處理邏輯；

將所述類型節點按照確定的組合關系組合成樹型結構，得到所述解析規則。

4.根據權利要求3所述的日志解析方法，其特征在于，所述根據所述預設的解析需求，確定所述類型節點，以及所述類型節點之間的組合關系，包括：

根據所述預設的解析需求，確定對所述原始日志數據進行數據處理的正則表達式和/或邏輯表達式，并基于所述正則表達式和/或邏輯表達式生成類型節點；

基于所述預設的解析需求確定所述類型節點之間的組合關系。

5.根據權利要求3所述的日志解析方法，其特征在于，所述基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則轉化為物化視圖，包括：

按照所述解析規則的樹型結構對所述解析規則進行遍歷，在遍歷過程中依次基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則中的類型節點轉化為物化視圖片段；

在遍歷結束后對所有的所述物化視圖片段進行拼接，得到所述物化視圖。

6.根據權利要求1所述的日志解析方法，其特征在于，所述利用所述物化視圖對所述原始日志數據進行實時解析，得到所述原始日志數據的解析結果，包括：

基于所述物化視圖中的數據庫語句，對所述原始日志數據進行實時過濾和實時解析，得到所述原始日志數據的解析結果。

7.根據權利要求1至6中任一項所述的日志解析方法，其特征在于，在得到所述原始日志數據的解析結果之后，所述方法還包括：

將所述解析結果寫入所述ClickHouse數據庫預先建立的解析結果表中進行存儲。

8.一種日志解析裝置，用于ClickHouse數據庫，其特征在于，包括：獲取模塊、處理模塊、以及解析模塊；其中：

所述獲取模塊，用于獲取原始日志數據；

所述處理模塊，用于將預設的解析需求處理為針對所述原始日志數據的解析規則；

所述解析模塊，用于基于所述ClickHouse數據庫預設的數據庫語法，將所述解析規則轉化為物化視圖，并利用所述物化視圖對所述原始日志數據進行實時解析，得到所述原始日志數據的解析結果。

9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1至7中任一項所述的日志解析方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的日志解析方法的步驟。