[發明專利]異常日志寫入方法、裝置、設備及介質

在審

• 申請號: 202111439444.1
• 申請日: 2021-11-30
• 公開（公告）號: CN114116427A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 路洋
• 申請（專利權）人: 平安養老保險股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/172;G06F16/178;G06F16/18;G06F9/54
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

本發明涉及大數據領域，提供一種異常日志寫入方法、裝置、設備及介質，Kafka系統包括一級Kafka、二級Kafka及三級Kafka，通過多級結構，實現對任務的流式處理，有效降低了單個節點的壓力，將目標系統產生的日志實時寫入一級Kafka，并從中篩選出異常日志寫入二級Kafka，從本地緩存中讀取關鍵字模板對二級Kafka中的日志進行異常等級劃分，優先從本地緩存中讀取模板，無需跨網絡通信，讀取速度更快，等級劃分也便于有針對性的處理，將具有預設異常等級的異常日志寫入三級Kafka，從中讀取目標日志至配置數據庫，進而結合Kafka系統的多級結構以及本地緩存，實現對異常日志高效且穩定的寫入。此外，本發明還涉及區塊鏈技術，目標日志可存儲于區塊鏈節點中。

技術領域

本發明涉及大數據技術領域，尤其涉及一種異常日志寫入方法、裝置、設備及介質。

背景技術

日志，主要包括程序日志及系統日志，一般包含時間、運行代碼、業務信息、錯誤信息等內容。開發、測試、運維、安全對日志都有非常硬性的需求：問題的核查、信息的統計、異常的發現、用戶行為的分析等，作為運維大數據分析的基礎之一，日志是較為重要的領域。

其中，Exception日志(異常日志)是日志數據中的錯誤信息日志，直觀反映了一個系統的運行狀況，因此，即時、有效地收集Exception日志對系統運行狀況的分析非常重要。

目前，Exception日志的主要收集方式有兩種：一種是單機系統，用戶量較少，系統每日產生的日志數據較少，這種情況下，一般直接寫入數據庫、文件服務器等存儲介質中；另一種是大集群，用戶較多，數據量也較大，每日產生的日志數據也較多，存儲甚至以TB(Terabyte，太字節)為單位，沒有任何系統能夠承受住這么大數量級的I/O(Input/Output，輸入/輸出)寫入，這種情況下，單機寫入的模式不再適用，針對多數據、高并發的日志收集場景，不可避免的面臨資源耗盡，系統死機的問題，影響日志寫入的準確率及效率。

發明內容

鑒于以上內容，有必要提供一種異常日志寫入方法、裝置、設備及介質，旨在解決異常日志寫入時資源消耗高，寫入效率及準確率低的問題。

一種異常日志寫入方法，所述異常日志寫入方法包括：

獲取目標系統，及與所述目標系統相通信的Kafka系統，其中，所述Kafka系統包括一級Kafka、二級Kafka及三級Kafka；

將所述目標系統產生的日志實時寫入所述一級Kafka；

響應于異常日志寫入指令，從所述一級Kafka存儲的日志中篩選出異常日志，并將所述異常日志寫入所述二級Kafka；

從本地緩存中讀取關鍵字模板，并利用所述關鍵字模板對所述二級Kafka中的所述異常日志進行異常等級劃分；

將具有預設異常等級的所述異常日志確定為目標日志，并將所述目標日志寫入所述三級Kafka；

響應于對所述目標日志的消費請求，從所述三級Kafka中讀取所述目標日志至配置數據庫。

根據本發明優選實施例，所述從所述一級Kafka存儲的日志中篩選出異常日志包括：

從所述一級Kafka存儲的日志中獲取帶有預設格式及/或預設字段的日志；

將獲取到的日志確定為所述異常日志。

根據本發明優選實施例，在所述從本地緩存中讀取關鍵字模板前，所述方法還包括：

獲取關鍵字，并根據所述關鍵字建立所述關鍵字模板；

將所述關鍵字模板同步存儲至所述本地緩存及非關系型數據庫中。

根據本發明優選實施例，在所述從本地緩存中讀取關鍵字模板時，所述方法還包括：