[發明專利]一種日志處理方法、裝置、設備及介質

有效

• 申請號: 202110333018.3
• 申請日: 2021-03-29
• 公開（公告）號: CN112988798B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 楊松;蔣烈
• 申請（專利權）人: 成都衛士通信息產業股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/242;G06F16/23;G06F16/21;G06F16/17
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

本公開提出了一種日志處理方法、裝置、設備、介質，該方法包括：獲取到日志數據時，從計數器注冊表中查詢已注冊的計數器信息，并開啟redis數據庫事務；根據所述計數器信息中的計數器名稱、時間粒度和日志數據中與所述計數器信息中的時間屬性字段對應的時間信息生成計數器key，其中，所述計數器key表示具體的計數器；從所述日志數據中提取出所述指標屬性字段對應的目標信息，并利用所述目標信息更新所述計數器key對應的計數器，結束所述redis數據庫事務。這樣能夠對日志數據進行實時統計，且能夠提高日志統計信息的查詢響應速度，提高了日志處理的靈活性。

技術領域

本公開涉及數據庫技術領域，特別涉及一種日志處理方法、裝置、設備、介質。

背景技術

在安全態勢感知系統中，每天都要從安全設備采集并存儲數十萬條安全日志，這些日志數據經過ETL后保存在數據庫中，數據的保存時限通常要求在1年以上，其中，ETL，為Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。在安全態勢感知系統的UI(User?Interface，用戶界面)上要提供基于日志數據的各類統計圖表(如24小時攻擊目的地址Top5、7天攻擊事件分布趨勢等)，以方便安全分析人員分析現網的安全狀況，查找高危問題。

由于安全日志的數據量巨大，直接通過SQL(Structured?Query?Language，結構化查詢語言)語句進行查詢統計，但是直接通過sql語句進行查詢統計響應時間太長，所以目前常用的做法是預先對各種指標定義小時表、天表、月表等統計表，每天定時進行匯總入庫，在實際統計時根據不同的時間粒度查詢不同的表，響應時間比直接在原始數據表里查詢要短。但是，定義不同時間粒度統計表的方式，要求預先定義好數據庫表，如果在系統運行中需要新增統計指標，那么要設計新的統計表和新的sql匯總腳本，靈活性較低。且在原始表數據保存時間很長，匯總表數據量也會相應變大時，如果不進行表的拆分，查詢效率也會下降，同時由于匯總表是定時更新，不能滿足一些實時統計的需求。

發明內容

有鑒于此，本公開的目的在于提供一種日志處理方法、裝置、設備、介質，能夠對日志數據進行實時統計，且能夠提高日志統計信息的查詢響應速度，提高了日志處理的靈活性。其具體方案如下：

第一方面，本公開提出了一種日志處理方法，應用于redis數據庫，包括：

獲取到日志數據時，從計數器注冊表中查詢已注冊的計數器信息，并開啟redis數據庫事務，其中，所述計數器注冊表中的各個計數器用于對所述redis數據庫獲取到的日志進行統計，所述計數器信息包括計數器名稱、時間粒度、時間屬性字段以及指標屬性字段，所述指標屬性字段為所述日志數據中待記錄的字段信息；

根據所述計數器名稱、所述時間粒度和所述日志數據中與所述時間屬性字段對應的時間信息生成計數器key，其中，所述計數器key表示具體的計數器；

從所述日志數據中提取出所述指標屬性字段對應的目標信息，并利用所述目標信息更新所述計數器key對應的計數器，結束所述redis數據庫事務。

可選地，所述獲取到日志數據時，從計數器注冊表中查詢已注冊的計數器信息之前，還包括：

從預設的計數器定義文件中讀取所述計數器信息，其中，所述計數器定義文件為YAML格式的文件；

根據所述計數器信息進行計數器注冊，并將所述計數器信息存入所述計數器注冊表中；

對所述日志數據進行處理，將所述日志數據轉換成數據結構統一的數據。

可選地，所述獲取到日志數據時，從計數器注冊表中查詢已注冊的計數器信息之前，還包括：