[發明專利]日志處理方法、系統和存儲介質

有效

• 申請號: 202111578907.2
• 申請日: 2021-12-22
• 公開（公告）號: CN114416685B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 曹亞男;李智
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14;G06F16/182;G06Q10/063
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 杜月

1.一種日志處理方法，包括：

對業務系統中各個業務服務的日志進行收集；

從收集到的日志中，獲取與審計條件匹配的第一目標日志；

根據所述第一目標日志，確定所述業務系統在審計主題上關鍵指標的指標值；

在關鍵指標的指標值大于所述關鍵指標對應的標準值的情況下，確定所述關鍵指標異常，并獲取訂閱所述審計主題的用戶賬號信息，所述關鍵指標是對所述業務系統的審計主題進行審計時所需要的指標；

向與所述用戶賬號信息對應的終端設備發送提醒信息，其中，所述提醒信息用于提示所述關鍵指標異常；

所述對業務系統中各個業務服務的日志進行收集，包括：

針對所述業務系統中的各個業務服務，獲取用于實現所述業務服務的容器集合；

確定各個所述容器集合所屬于的工作節點；

根據屬于所述工作節點的容器集合中業務服務的業務量，確定所述工作節點所對應的總業務量；

在所述總業務量大于預設閾值的情況下，通過掛載在第一工作節點的容器集合上的第一日志收集工具，來收集所述工作節點的容器集合中對應業務服務的日志。

2.根據權利要求1所述的方法，其中，所述方法還包括：

在所述總業務量小于預設閾值的情況下，通過掛載在工作節點上的第二日志收集工具，來收集所述工作節點的各容器集合中對應業務服務的日志。

3.根據權利要求1所述的方法，其中，所述方法還包括：

從所述收集到的日志中，獲取與篩選條件匹配的第二目標日志；

對所述第二目標日志進行挖掘，以得到所述第二目標日志的日志挖掘結果。

4.根據權利要求3所述的方法，其中，所述對所述第二目標日志進行挖掘，以得到所述第二目標日志的日志挖掘結果，包括：

將所述第二目標日志保存到分布式文件系統中；

通過批量計算框架，按批對所述分布式文件系統中的所述第二目標日志進行挖掘，以得到各批日志的挖掘結果；

根據各批日志的挖掘結果，確定所述第二目標日志的日志挖掘結果。

5.根據權利要求3所述的方法，其中，所述對所述第二目標日志進行挖掘，以得到所述第二目標日志的日志挖掘結果，包括：

對所述第二目標日志進行鏡像，以得到鏡像日志；

將所述鏡像日志發送至流式計算框架中；

通過所述流式計算框架，對所述鏡像日志進行挖掘，并將挖掘結果作為所述第二目標日志的日志挖掘結果。

6.一種日志處理系統，包括日志收集子系統和審計子系統，其中：

所述日志收集子系統，用于對業務系統中各個業務服務的日志進行收集；

所述審計子系統，用于從所述日志收集子系統所收集到的日志中，獲取與審計條件匹配的第一目標日志，并根據所述第一目標日志，確定所述業務系統在審計主題上關鍵指標的指標值，以及在關鍵指標的指標值大于所述關鍵指標對應的標準值的情況下，確定所述關鍵指標異常，并獲取訂閱所述審計主題的用戶賬號信息，以及向與所述用戶賬號信息對應的終端設備發送提醒信息，其中，所述提醒信息用于提示所述關鍵指標異常，其中，所述關鍵指標是對所述業務系統的審計主題進行審計時所需要的指標；

其中，所述日志收集子系統，具體用于：

針對所述業務系統中的各個業務服務，獲取用于實現所述業務服務的容器集合；

確定各個所述容器集合所屬于的工作節點；

根據屬于所述工作節點的容器集合中業務服務的業務量，確定所述工作節點所對應的總業務量；

在所述總業務量大于預設閾值的情況下，通過掛載在第一工作節點的容器集合上第一日志收集工具，來收集所述工作節點的容器集合中對應業務服務的日志。

7.根據權利要求6所述的系統，其中，所述日志收集子系統，還用于：

在所述總業務量小于預設閾值的情況下，通過掛載在工作節點上的第二日志收集工具，來收集所述工作節點的各容器集合中對應業務服務的日志。