[發明專利]日志數據處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202210359068.3
• 申請日: 2022-04-07
• 公開（公告）號: CN114706839A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 高新剛;劉啟榮
• 申請（專利權）人: 京東科技信息技術有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2455
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張春曉;郝紅玉

本發明公開了日志數據處理方法、裝置、電子設備和存儲介質，涉及計算機技術領域。該方法的一具體實施方式包括：接收日志數據采集器發送的日志數據，調用預設的識別模型，以識別日志數據的生成系統標識；調用預設的解析引擎，獲取解析規則集合的標記數組，基于生成系統標識和標記數組，從解析規則集合中匹配出目標解析規則，以對日志數據解析，得出解析結果；響應于解析結果為解析成功，存儲解析結果；響應于解析結果為解析失敗，更新解析引擎，以調用更新后的解析引擎對日志數據再次解析。該實施方式能夠解決數據庫的日志通常包括多種類型并且分散在不同的工具平臺，進行安全審計時不僅花費大量的人力和時間成本，還會降低審計效率的問題。

技術領域

本發明涉及計算機技術領域，尤其涉及一種日志數據處理方法、裝置、電子設備和存儲介質。

背景技術

數據信息化快速發展，數據成為企業生產、經營、戰略等等，幾乎所有的經營活動所依賴的、不可或缺的信息，所以數據安全審計成為越來越重要的環節，而數據庫的日志數據為數據安全審計的重要依據。現有技術中，通常是定時安排工作人員對數據庫的日志數據進行安全審計，但是對于大型互聯網等企業，其審計項目繁多，數據庫的日志通常包括多種類型并且分散在不同的工具平臺，所以工作人員需要先對大量的各類型日志進行聚合處理，再進行安全審計，不僅花費大量的人力和時間成本，還會降低審計效率。

發明內容

有鑒于此，本發明實施例提供一種日志數據處理方法、裝置、電子設備和存儲介質，能夠解決數據庫的日志通常包括多種類型并且分散在不同的工具平臺，進行安全審計時不僅花費大量的人力和時間成本，還會降低審計效率的問題。

為實現上述目的，根據本發明實施例的一個方面，提供了一種日志數據處理方法。

本發明實施例的一種日志數據處理方法包括：接收日志數據采集器發送的日志數據，調用預設的識別模型，以識別所述日志數據的生成系統標識；調用預設的解析引擎，獲取解析規則集合的標記數組，基于所述生成系統標識和所述標記數組，從解析規則集合中匹配出目標解析規則，以對所述日志數據解析，得出解析結果；響應于所述解析結果為解析成功，存儲所述解析結果；響應于所述解析結果為解析失敗，更新所述解析引擎，以調用更新后的解析引擎對所述日志數據再次解析。

在一個實施例中，基于所述生成系統標識和所述標記數組，從解析規則集合中匹配出目標解析規則，包括：

從標記數組中查找與所述生成系統標識匹配的目標元素，查詢元素與解析規則之間的映射關系，以基于所述目標元素和所述映射關系，從解析規則集合中確定所述目標解析規則。

在又一個實施例中，更新所述解析引擎，包括：

調用預設的解析規則庫，以獲取最新版本的解析規則集合和對應的標記數組；

基于所述最新版本的解析規則集合和對應的標記數組更新所述解析引擎。

在又一個實施例中，存儲所述解析結果，包括：

將所述解析結果存儲至預設的消息緩沖隊列；

基于所述生成系統標識查詢對應的消息分發器，以調用所述消息分發器，將所述消息緩沖隊列中數據存儲至所述消息分發器對應的數據庫。

在又一個實施例中，存儲所述解析結果，包括：

從所述解析結果中獲取預設參數對應的參數值；

調用預設的日志格式模型，以基于所述預設參數對應的參數值生成格式化日志數據，存儲所述格式化日志數據。

在又一個實施例中，響應于所述解析結果為解析失敗之前，還包括：

獲取所述解析結果中是否包括錯誤提示消息，計算所述錯誤提示消息的數量和所述目標解析規則的解析規則數量之間的比值；