[發明專利]一種分布式日志收集的系統和方法

有效

• 申請號: 201611226710.1
• 申請日: 2016-12-27
• 公開（公告）號: CN106790572B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 陳裕寶
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/18;G06F16/182
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 王增鑫

1.一種分布式實時日志收集的系統，其特征在于，所述分布式實時日志收集的系統與分布式離線日志收集的系統構成分布式日志收集的系統，所述分布式離線日志收集的系統與所述分布式實時日志收集的系統相互分離；所述分布式實時日志收集的系統包括：

第二接入層，用于與客戶端連接，接收HTTP協議數據上報并生成第二數據文件；其中，所述第二接入層包括若干組連接的Nginx服務器和實時讀取模塊，該實時讀取模塊與處理層連接，其用于通過不間斷循環方式讀取第二數據文件；所述第二數據文件是按照實時收集通道的時延性生成；

處理層，用于實時處理所述第二接入層生成的第二數據文件；

其中，所述分布式離線日志收集的系統，包括：

第一接入層，用于與客戶端連接，接收HTTP協議數據上報并生成第一數據文件；其中，所述第一接入層包括若干組連接的Nginx服務器和文件夾監控模塊，該文件夾監控模塊與中心匯集層連接，其用于通過監控文件夾方式讀取所述第一數據文件；所述第一數據文件是按照離線收集通道的時延性生成；

中心匯集層，用于匯集處理所述第一接入層生成的第一數據文件并寫入到存儲層；

存儲層；用于存儲所述第一數據文件；

其中，所述第一接入層和第二接入層共用一組HTTP服務器，每個HTTP服務器都有離線收集進程和實時收集進程兩個進程分別對應第一接入層和第二接入層；所述實時收集通道與所述離線收集通道相分離，所述實時收集通道的第二數據文件不需要經由中心匯集層，直接分揀到所述處理層。

2.根據權利要求1所述的系統，其特征在于，所述處理層是Kafka消息隊列，其是一種分布式的、基于發布/訂閱的消息系統。

3.根據權利要求1所述的系統，其特征在于，所述中心匯集層包含與所述存儲層對接的適配器；所述存儲層包含HDFS分布式文件系統。

4.一種分布式日志收集的系統，其特征在于包括：分布式離線日志收集的系統和如權利要求1所述的分布式實時日志收集的系統；所述分布式離線日志收集的系統與所述分布式實時日志收集的系統相互分離；

其中所述分布式離線日志收集的系統包括：

第一接入層，用于與客戶端連接，接收HTTP協議數據上報并生成第一數據文件；其中，所述第一接入層包括若干組連接的Nginx服務器和文件夾監控模塊，該文件夾監控模塊與中心匯集層連接，其用于通過監控文件夾方式讀取所述第一數據文件；所述第一數據文件是按照離線收集通道的時延性生成；

中心匯集層，用于匯集處理所述第一接入層生成的第一數據文件并寫入到存儲層；

存儲層，用于存儲所述第一數據文件；

所述分布式實時日志收集的系統包括：

第二接入層，用于與客戶端連接，接收HTTP協議數據上報并生成第二數據文件；其中，所述第二接入層包括若干組連接的Nginx服務器和實時讀取模塊，該實時讀取模塊與處理層連接，其用于通過不間斷循環方式讀取第二數據文件；所述第二數據文件是按照實時收集通道的時延性生成；

處理層，用于實時處理所述第二接入層生成的第二數據文件；

其中，所述第一接入層和第二接入層共用一組HTTP服務器，每個HTTP服務器都有離線收集進程和實時收集進程兩個進程分別對應第一接入層和第二接入層；所述實時收集通道與所述離線收集通道相分離，所述實時收集通道的第二數據文件不需要經由中心匯集層，直接分揀到所述處理層。