[發明專利]日志采集系統、日志采集單元以及日志采集方法

有效

• 申請號: 201610417661.3
• 申請日: 2016-06-14
• 公開（公告）號: CN107508718B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 宋軍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本方案提供一種日志采集系統，包括：采集層設備，包括一個以上的日志采集單元；其中每一個所述日志采集單元被預先配置為與使用主體相關聯，并根據所述使用主體的需求而采集日志數據，以及將采集的日志數據上傳至存儲層設備；所述存儲層設備，包括一個以上的數據存儲單元；其中每一個所述數據存儲單元均與所述日志采集單元相對應，并用于存儲所對應的日志采集單元上傳的日志數據，以及將存儲的日志數據提供給所述日志采集單元所關聯的使用主體。本方案同時提供一種日志采集單元和一種日志采集方法。本方案可以解決現有技術的分布式日志采集系統缺乏采集靈活性、系統成本過高以及系統部署過于復雜的問題。

技術領域

本方案涉及日志數據處理技術領域，具體涉及日志采集系統。本方案還涉及日志采集單元以及日志采集方法。

背景技術

隨著云計算的飛速發展，大量針對專業化業務場景的專屬云系統紛紛出現，這其中的佼佼者包括PaaS(平臺即服務)和SaaS(軟件即服務)等。這些云系統一般都在使用主體授權的前提下通過私有集群來提供相應的云服務；但是，由于對使用主體而言，這些云系統的私有集群是一個黑盒，即云服務的底層信息(如虛擬機和存儲等)是使用主體不可見和無法控制的。在這種情況下，能夠反映云系統的集群運行狀態和相關的底層信息的業務過程日志是至關重要的；使用主體需要云系統提供準確和實時的業務過程的日志數據，以協助其查驗云服務是否安全和可靠。

目前，現有技術中提出了若干種分布式的海量日志采集系統可以滿足上述日志數據采集的需求，但是，從系統結構而言，這些現有技術的分布式的日志采集系統都相當復雜，一般分為三層：

包含多個日志采集單元的日志采集層；

包含多個數據收集服務器的數據收集層；

包含多個數據存儲服務器的數據存儲層。

其中日志采集層中的每一個日志采集單元在采集具體日志數據時，都是根據系統預設來直接進行的，不能按照日志數據的最終使用主體的具體需求做出采集的選擇和調整；這種固定的采集方式往往造成采集缺乏針對性和采集數據的浪費，同時也要求必須設置數據收集層，配套相應的數據收集服務器，來分揀日志采集單元所采集的日志數據以及確定所采集的日志數據相對于使用主體的歸屬。并且在數據收集層的分揀和確定操作完成后，再用數據收集層將采集的數據存儲至數據存儲層。

從成本上講，現有技術的分布式的采集系統由于在縱向上分為三個結構層，必須部署數據收集服務器來分揀日志數據和確定采集的日志數據的歸屬；在橫向上無法在單臺服務器上部署，必須維護數據收集服務器集群和數據存儲服務器集群。這樣的現有技術的分布式日志采集系統的部署成本是相當高的。

在實際應用過程中，很多使用主體需求的云系統的日志數據量并不大，也不會對日志數據進行深度的分析和挖掘，一般僅需求特定的輔助性和過程性的日志數據。例如，使用大數據處理云服務時，用戶在云系統中執行某個特定作業，需要及時查看特定作業執行的輸出日志，以保證在特定作業出錯時能夠查看到錯誤原因。對這些日志數據的使用主體而言，現有技術的分布式日志采集系統缺乏采集靈活性，全套系統的成本過高，以及系統部署也過于復雜。

發明內容

本方案提供一種日志采集系統、一種日志采集單元以及一種日志采集方法，以解決現有技術的分布式日志采集系統缺乏采集靈活性、系統成本過高以及系統部署過于復雜的問題。

本方案提供一種日志采集系統，包括：

采集層設備，包括一個以上的日志采集單元；其中

每一個所述日志采集單元被預先配置為與使用主體相關聯，并根據所述使用主體的需求而采集日志數據，以及將采集的日志數據上傳至存儲層設備；

所述存儲層設備，包括一個以上的數據存儲單元；其中