[發明專利]日志數據處理方法、裝置、終端及存儲介質

在審

• 申請號: 201910447654.1
• 申請日: 2019-05-27
• 公開（公告）號: CN110347716A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 石曉龍;黃望
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/33;G06F16/338;G06F16/182;G06F11/14
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲

本發明實施例提供一種日志數據處理方法，包括：獲取日志數據；接收針對所述日志數據的處理指令；判斷所述處理指令為日志數據實時處理指令或日志數據離線處理指令；當所述處理指令為所述日志數據實時處理指令時，通過Elasticsearch集群對所述日志數據進行實時處理；當所述處理指令為所述日志數據離線處理指令時，通過HBase集群對所述日志數據進行離線處理。本發明實施例還提供一種日志數據處理裝置、終端以及計算機可讀存儲介質。利用本發明實施例，能夠針對海量日志數據進行高效的分析與存儲，提高了利用日志數據進行安全審計的效率。

技術領域

本發明涉及日志處理技術領域，具體涉及一種日志數據處理方法、日志數據處理裝置、終端以及計算機可讀存儲介質。

背景技術

目前針對網絡環境中關鍵信息資源的威脅數量和類型都在急劇上升，如何及時對網絡攻擊行為做出主動反應，是網絡安全領域近年來的研究熱點。通過分析日志數據對網絡安全態勢進行評估已得到越來越廣泛的認可。隨著計算機和網絡的發展，日志數據的數據處理量越來越大，日志數據的數據量級通常是百萬級以上，甚至是百萬億級、千萬億級以上。針對如此龐大的日志數據體系，首先對日志數據的處理提到了較高的要求。然而，當前的日志數據處理系統通常由日志采集代理和分析管理系統組成，可對數據量較小的日志進行安全分析，但面對大型、復雜網絡中的海量日志文件，其以工具形態工作的方式無法較好地勝任采集與分析任務，并且數據之間是孤立分散的，無法進行關聯，無法提取出其中的共性，缺乏對整體日志數據的綜合分析，無法使網絡成為一個整體來應對安全事件。

發明內容

鑒于以上內容，有必要提供一種日志數據處理方法、日志數據處理裝置、終端以及計算機可讀存儲介質，能夠針對海量日志數據進行高效的分析與存儲，提高了利用日志數據進行安全審計的效率。

本發明實施例第一方面提供一種日志數據處理方法，所述日志數據處理方法包括：

獲取日志數據；

接收針對所述日志數據的處理指令；

判斷所述處理指令為日志數據實時處理指令或日志數據離線處理指令；

當所述處理指令為所述日志數據實時處理指令時，通過Elasticsearch集群對所述日志數據進行實時處理；

當所述處理指令為所述日志數據離線處理指令時，通過HBase集群對所述日志數據進行離線處理。

進一步地，在本發明實施例提供的上述日志數據處理方法中，所述通過Elasticsearch集群對所述日志數據進行實時處理包括：

按照關鍵字檢索方式對所述日志數據進行實時檢索，并以預設方式顯示檢索結果；

按照預設告警規則對所述日志數據進行實時告警，所述預設告警規則包括以下中的一種或多種的組合：事件告警、字段統計告警、連續統計告警及基線比對告警；

按照預設統計規則對所述日志數據進行規則匹配，并對滿足所述預設統計規則的日志數據進行實時統計。

進一步地，在本發明實施例提供的上述日志數據處理方法中，所述連續統計告警包括：

根據統計規則對所述日志數據進行統計得到統計分析結果；

根據預設指標閾值對所述統計分析結果中的預設輸出指標進行校驗，判斷所述統計分析結果中的預設輸出指標是否超過所述預設指標閾值；

若判斷所述統計分析結果中的預設輸出指標超過所述預設指標閾值，輸出預設告警提示給預設應用負責人。

進一步的，在本發明實施例提供的上述日志數據處理方法中，所述通過HBase集群對所述日志數據進行離線處理包括以下中的一種或多種的組合：