[發明專利]日志數據處理方法、裝置、終端及存儲介質

在審

• 申請號: 201910447654.1
• 申請日: 2019-05-27
• 公開（公告）號: CN110347716A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 石曉龍;黃望
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/33;G06F16/338;G06F16/182;G06F11/14
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲

1.一種日志數據處理方法，其特征在于，所述日志數據處理方法包括：

獲取日志數據；

接收針對所述日志數據的處理指令；

判斷所述處理指令為日志數據實時處理指令或日志數據離線處理指令；

當所述處理指令為所述日志數據實時處理指令時，通過Elasticsearch集群對所述日志數據進行實時處理；

當所述處理指令為所述日志數據離線處理指令時，通過HBase集群對所述日志數據進行離線處理。

2.根據權利要求1所述的日志數據處理方法，其特征在于，所述通過Elasticsearch集群對所述日志數據進行實時處理包括：

按照關鍵字檢索方式對所述日志數據進行實時檢索，并以預設方式顯示檢索結果；

按照預設告警規則對所述日志數據進行實時告警，所述預設告警規則包括以下中的一種或多種的組合：事件告警、字段統計告警、連續統計告警、基線比對告警與統計告警；

按照預設統計規則對所述日志數據進行規則匹配，并對滿足所述預設統計規則的日志數據進行實時統計。

3.根據權利要求2所述的日志數據處理方法，其特征在于，所述統計告警包括：

根據統計規則對所述日志數據進行統計得到統計分析結果；

根據預設指標閾值對所述統計分析結果中的預設輸出指標進行校驗，判斷所述統計分析結果中的預設輸出指標是否超過所述預設指標閾值；

若判斷所述統計分析結果中的預設輸出指標超過所述預設指標閾值，輸出預設告警提示給預設應用負責人。

4.根據權利要求1所述的日志數據處理方法，其特征在于，所述通過HBase集群對所述日志數據進行離線處理包括以下中的一種或多種的組合：

通過所述HBase集群對所述日志數據進行離線分析，所述離線分析包括離線日志數據聚類分析與用戶行為分析；

通過所述HBase集群對所述日志數據進行日志備份；

通過所述HBase集群對所述日志數據進行日志還原。

5.根據權利要求4所述的日志數據處理方法，其特征在于，所述通過所述HBase集群對所述日志數據進行日志備份包括：

通過TCP協議讀取所述Elasticsearch集群中的索引信息；

根據所述索引信息獲取所述Elasticsearch集群中的日志數據；

將所述Elasticsearch集群中的日志數據寫入所述HBase集群進行日志備份。

6.根據權利要求5所述的日志數據處理方法，其特征在于，所述通過所述HBase集群對所述日志數據進行日志還原包括：

讀取所述HBase集群中的日志數據；

通過所述Elasticsearch集群中的Bluk API的方式將讀取的所述HBase集群中的日志數據寫回所述Elasticsearch集群進行日志還原。

7.根據權利要求1所述的日志數據處理方法，其特征在于，在所述獲取日志數據之后，所述方法還包括：

通過Kafka集群對所述日志數據進行分流，得到實時日志數據與非實時日志數據；

將所述實時日志數據輸入至所述Elasticsearch集群中；

將所述非實時日志數據輸入至所述HBase集群中。

8.一種日志數據處理裝置，其特征在于，所述日志數據處理裝置包括：

日志獲取模塊，用于獲取日志數據；

指令接收模塊，用于接收針對所述日志數據的處理指令；

指令判斷模塊，用于判斷所述處理指令為日志數據實時處理指令或日志數據離線處理指令；

實時處理模塊，用于當所述處理指令為所述日志數據實時處理指令時，通過Elasticsearch集群對所述日志數據進行實時處理；

離線處理模塊，用于當所述處理指令為所述日志數據離線處理指令時，通過HBase集群對所述日志數據進行離線處理。