[發明專利]流式計算系統及流式計算系統的日志數據處理方法

在審

• 申請號: 201910533906.2
• 申請日: 2019-06-19
• 公開（公告）號: CN110245120A
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 邢越;趙得潤;詹洋;汪婷
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種流式計算系統，包括：

日志采集模塊，被配置為采集日志產出端產出的日志數據，將日志數據發送至消息系統；

消息系統，被配置為將日志采集模塊傳輸的日志數據存儲在消息隊列中；

狀態監控模塊，被配置為監控日志產出端的狀態，將日志產出端的狀態上報至進度監控模塊；

日志處理模塊，被配置為從消息系統獲取日志數據并解析出產出所述日志數據的日志產出端的標識及與所述日志產出端的標識關聯的日志數據產出時間，將日志產出端的標識和關聯的日志數據產出時間上報至進度監控模塊；

進度監控模塊，被配置為根據日志處理模塊上報的日志產出端的標識和關聯的日志數據產出時間、以及狀態監控模塊上報的日志產出端的狀態，確定流式計算系統中未被處理的日志數據的最早產出時間。

2.根據權利要求1所述的系統，其中，所述進度監控模塊被配置為：根據狀態監控模塊上報的日志產出端的狀態，確定出連續預設個預定時間周期內狀態異常的日志產出端為異常日志產出端，將除異常日志產出端外的其他日志產出端確定為正常日志產出端，基于所述流式計算系統中各正常日志產出端的標識及各正常日志產出端的標識關聯的日志數據產出時間，確定流式計算系統中未被處理的日志數據的最早產出時間。

3.根據權利要求2所述的系統，其中，所述進度監控模塊被配置為：

響應于根據狀態監控模塊上報的日志產出端的狀態確定異常日志產出端的狀態恢復正常，基于各正常日志產出端的日志數據產出時間更新所述流式計算系統中未被處理的日志數據的最早產出時間。

4.根據權利要求1所述的系統，其中，所述狀態監控模塊被配置為基于所述日志產出端的日志上報時間確定日志產出端的狀態是否異常。

5.根據權利要求1-4任一項所述的系統，其中，所述進度監控模塊還被配置為向流式計算系統的下游數據處理系統通知所述流式計算系統中未被處理的日志數據的最早產出時間，以供所述流式計算系統的下游數據處理系統對流式計算系統中未被處理的日志數據的最早產出時間之前的日志數據進行處理。

6.一種流式計算系統的日志數據處理方法，包括：

監控流式計算系統中的日志產出端的狀態；

從消息系統獲取日志數據并解析出產出所述日志數據的日志產出端的標識及與所述日志產出端的標識關聯的日志數據產出時間，其中，所述消息系統將日志產出端的日志數據存儲在消息隊列中；

根據產出所述日志數據的日志產出端的標識和關聯的日志數據產出時間、以及日志產出端的狀態，確定流式計算系統中未被處理的日志數據的最早產出時間。

7.根據權利要求6所述的方法，其中，所述根據產出所述日志數據的日志產出端的標識和關聯的日志數據產出時間、以及日志產出端的狀態，確定流式計算系統中未被處理的日志數據的最早產出時間，包括：

根據日志產出端的狀態，確定出連續預設個預定時間周期內狀態異常的日志產出端為異常日志產出端；

將除異常日志產出端外的其他日志產出端確定為正常日志產出端，基于所述流式計算系統中各正常日志產出端的標識及各正常日志產出端的標識關聯的日志數據產出時間，確定流式計算系統中未被處理的日志數據的最早產出時間。

8.根據權利要求7所述的方法，其中，所述根據產出所述日志數據的日志產出端的標識和關聯的日志數據產出時間、以及日志產出端的狀態，確定流式計算系統中未被處理的日志數據的最早產出時間，還包括：

響應于根據狀態監控模塊上報的日志產出端的狀態確定異常日志產出端的狀態恢復正常，基于各正常日志產出端的日志數據產出時間更新所述流式計算系統中未被處理的日志數據的最早產出時間。

9.根據權利要求6所述的方法，其中，所述監控流式計算系統中的日志產出端的狀態，包括：

基于所述流式計算系統中日志產出端的日志上報時間監控日志產出端的狀態是否異常。