[發明專利]日志數據的實時采集方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811064735.5
• 申請日: 2018-09-12
• 公開（公告）號: CN109327351B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 宋風舉
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

本公開實施例公開了一種日志數據的實時采集方法、裝置、電子設備及存儲介質，該方案利用第一并行任務實時獲取用戶的第一配置信息，根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列，利用第二并行任務實時獲取所述用戶的第二配置信息，根據所述第二配置信息從所述分布式消息隊列中讀取所述日志數據，并存儲至所述第二配置信息中指定的存儲區域。該方案能夠基于用戶對日志采集任務的動態配置和對用戶配置信息的實時并發訪問，實現日志數據的實時和動態地采集。

技術領域

本公開涉及計算機技術領域，具體涉及一種日志數據的實時采集方法、裝置、電子設備及存儲介質。

背景技術

在大數據領域，日志數據的采集一向是重中之重，尤其是如何保證數據的穩定采集、精準采集、動態采集，是每家公司都想攻克的難題。產生日志的服務器有千千萬，日志所在的目錄各不相同，并且已有的采集任務有可能會修改采集目錄或者直接停止采集，原本未采集的目錄有可能在某一天增加采集目錄，如何動態實時的增加采集目錄，并且為下游提供多種的訪問途徑是多數日志采集系統急需解決的問題。

發明內容

本公開實施例提供一種日志數據的實時采集方法、裝置、電子設備及存儲介質，用于解決上述問題。

第一方面，本公開實施例提供了一種日志數據的實時采集方法，包括：

利用第一并行任務實時獲取用戶的第一配置信息；

根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列；

利用第二并行任務實時獲取所述用戶的第二配置信息，根據所述第二配置信息從所述分布式消息隊列中讀取所述日志數據，并存儲至所述第二配置信息中指定的存儲區域。

結合第一方面，在第一方面的第一種實現方式中，所述方法還包括：

利用第三并行任務接收所述用戶的配置信息；

根據所述配置信息生成所述第一配置信息和第二配置信息，并將所述第一配置信息和第二配置信息存儲在能夠多任務并發訪問的分布式存儲節點上。

結合第一方面或第一方面的第一種實現方式，在第一方面的第二種實現方式中，所述根據所述第一配置信息實時采集服務器上的日志數據，并將所述日志數據發送至分布式消息隊列，包括：

根據所述第一配置信息生成多個日志采集任務；

并行執行所述多個日志采集任務，以將采集的日志數據發送給所述分布式消息隊列；其中，一個所述日志采集任務采集到的日志數據對應存儲到所述分布式消息隊列的一個主題中。

結合第一方面、第一方面的第一種或第二種實現方式，在第一方面的第三種實現方式中，所述方法還包括：

利用所述第三并行任務從所述分布式消息隊列中獲取心跳數據；其中，所述心跳數據為所述第一并行任務和/或第二并行任務定時生成并發送至所述分布式消息隊列的預設主題中的；

在預定時間周期內未獲取到所述心跳數據時，產生所述第一并行任務和/或第二并行任務異常的警告。

結合第一方面、第一方面的第一種至第三種任一種實現方式，在第一方面的第四種實現方式中，所述方法還包括：

在獲取到所述心跳數據后，利用所述第三并行任務檢測所述心跳數據，以監控所述第一并行任務和/或第二并行任務的實時性。

在預定時間周期內未獲取到所述心跳數據時，產生所述第一并行任務和/或第二并行任務異常的警告。