[發明專利]日志數據的實時采集方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811064735.5
• 申請日: 2018-09-12
• 公開（公告）號: CN109327351B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 宋風舉
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

1.一種日志數據的實時采集方法，其特征在于，包括：

利用第一并行任務實時獲取用戶的第一配置信息，所述第一配置信息是由用戶的配置信息生成；

根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列；

利用第二并行任務實時獲取所述用戶的第二配置信息，根據所述第二配置信息從所述分布式消息隊列中讀取所述日志數據，并存儲至所述第二配置信息中指定的存儲區域，所述第二配置信息是由用戶的配置信息生成。

2.根據權利要求1所述的方法，其特征在于，還包括：

利用第三并行任務接收所述用戶的配置信息；

根據所述配置信息生成所述第一配置信息和第二配置信息，并將所述第一配置信息和第二配置信息存儲在能夠多任務并發訪問的分布式存儲節點上。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列，包括：

根據所述第一配置信息生成多個日志采集任務；

并行執行所述多個日志采集任務，以將采集的日志數據發送給所述分布式消息隊列；其中，一個所述日志采集任務采集到的日志數據對應存儲到所述分布式消息隊列的一個主題中。

4.根據權利要求2所述的方法，其特征在于，所述方法還包括：

利用所述第三并行任務從所述分布式消息隊列中獲取心跳數據；其中，所述心跳數據為所述第一并行任務和/或第二并行任務定時生成并發送至所述分布式消息隊列的預設主題中的；

在預定時間周期內未獲取到所述心跳數據時，產生所述第一并行任務和/或第二并行任務異常的警告。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

在獲取到所述心跳數據后，利用所述第三并行任務檢測所述心跳數據，以監控所述第一并行任務和/或第二并行任務的實時性。

6.根據權利要求4或5所述的方法，其特征在于，所述第一并行任務生成的所述心跳數據包括當前采集的日志數據的相關信息以及采集進度；所述第二并行任務生成的所述心跳數據包括當前從所述分布式消息隊列獲取并存儲至所述存儲區域的數據信息。

7.根據權利要求2所述的方法，其特征在于，所述利用第三并行任務接收所述用戶的配置信息，包括：

利用所述第三并行任務從Web頁面接收所述用戶的所述配置信息。

8.一種日志數據的實時采集裝置，其特征在于，包括：

信息獲取模塊，被配置為利用第一并行任務實時獲取用戶的第一配置信息，所述第一配置信息是由用戶的配置信息生成；

日志采集模塊，被配置為根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列；

日志聚合模塊，被配置為利用第二并行任務實時獲取所述用戶的第二配置信息，根據所述第二配置信息從所述分布式消息隊列中讀取所述日志數據，并存儲至所述第二配置信息中指定的存儲區域，所述第二配置信息是由用戶的配置信息生成。

9.根據權利要求8所述的裝置，其特征在于，還包括：

配置接收模塊，被配置為利用第三并行任務接收所述用戶的配置信息；

配置同步模塊，被配置為根據所述配置信息生成所述第一配置信息和第二配置信息，并將所述第一配置信息和第二配置信息存儲在能夠多任務并發訪問的分布式存儲節點上。

10.根據權利要求8所述的裝置，其特征在于，所述日志采集模塊包括：

任務生成子模塊，被配置為根據所述第一配置信息生成多個日志采集任務；

任務執行子模塊，被配置為并行執行所述多個日志采集任務，以將采集的日志數據發送給所述分布式消息隊列；其中，一個所述日志采集任務采集到的日志數據對應存儲到所述分布式消息隊列的一個主題中。