[發明專利]一種日志管理系統、方法及裝置

在審

• 申請號: 201611200120.1
• 申請日: 2016-12-22
• 公開（公告）號: CN106850258A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 肖力文
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 胡彬,鄧猛烈

技術領域

本發明實施例涉及互聯網的技術領域，尤其涉及一種日志管理系統、方法及裝置。

背景技術

過去十年來，隨著分布式系統的發展，日志數據管理起來更加復雜。如今，系統中可以容納數以千計的服務器實例或者微服務容器，而所有這些實例或容器又會生成自己的日志數據。隨著以云為基礎的系統快速出現并占據主導地位，由機器所生成的日志數據呈爆炸性增長。

目前傳統的收集日志方法，在后端生成日志后，通過scp命令上傳、下載或通過rsync命令定時同步等方式收集匯總，然后通過機器腳本分析、或者人工觀察統計、或者圖形繪制等方式來分析，這種方法的實時性較差。而日志管理隨之成為現代化IT運營中的重要任務，為包括調試、生產監控、性能監控、支持援助與故障查找之類的許多用例提供輔助支撐。處理這些日志需要特定的日志管理解決方案，一般而言，日志管理解決方案需要解決以下特征：

(1)低耦合：構建應用系統和分析系統的橋梁，并將它們之間的關聯解耦；

(2)高吞吐：支持高吞吐、低延遲、近實時數據持久化操作和大量小文件的存儲；

(3)具有高可擴展性：即：當系統操作量增加時，可以通過增加節點進行水平擴展；

(4)具有高可用：當節點出現故障時，日志能夠被傳送到其他節點上而不會丟失。

發明內容

本發明實施例的目的在于提出一種日志管理系統、方法及裝置，旨在解決如何快速、準確地收集用戶行為日志，并快速、準確地獲取與關注用戶行為相關的信息。

為達此目的，本發明實施例采用以下技術方案：

第一方面，一種日志管理系統，所述系統包括：Kafka、Flume和Jstorm；

所述K afka，用于根據不同的業務定義日志格式和Hbase表，并根據所述日志格式將日志數據發送到KafkaCluster的Topic中；

所述Flume，用于從所述Topic中讀取日志數據，讀取所述日志數據并進行HDFS的數據持久化操作；

所述Jstorm，用于從所述Topic中讀取日志數據，讀取所述日志數據并進行HDFS的數據持久化操作。

第二方面，一種日志管理方法，所述方法包括：

Kafka根據不同的業務定義日志格式和Hbase表，并根據所述日志格式將日志數據發送到KafkaCluster的Topic中；

Flume和Jstorm從所述Topic中讀取日志數據；

所述Flume和所述Jstorm讀取所述日志數據并進行HDFS的數據持久化操作；

優選地，所述根據不同的業務定義日志格式和Hbase表，包括：

根據不同的業務定義日志格式，并在所述Kafka中定義不同的Topic，所述Topic用于收發日志；

根據業務需要定義所述Hbase表，所述Hbase表用于避免造成熱點寫/讀。

優選地，所述Flume讀取所述日志數據并進行HDFS的數據持久化操作，包括：

從所述Flume中讀取所述日志數據并傳輸到Hbase表中，未做ETL的數據需數據持久化操作到HDFS中。

優選地，所述Jstorm讀取所述日志數據并進行HDFS的數據持久化操作，包括：

所述JStorm從所述KafkaCluster中獲取所述日志數據并通過預設算法計算后將復雜業務邏輯數據持久化操作到RDBMS中；

從所述Jstorm中分析的日志數據持久化操作到所述RDBMS中后，由Sqoop組件進行所述HDFS的數據持久化操作。

優選地，所述Flume和所述Jstorm讀取所述日志數據并進行HDFS的數據持久化操作之后，包括：

采用MapReduce進行分析提取數據持久化操作后的數據；

若所述數據持久化操作后的數據量小于預設第一數據量閾值，則采用Sqoop重新提交到RDBMS中；

若所述數據持久化操作后的數據量大于預設第二數據閾值，則采用Solr、ES全文數據庫做查詢支撐。

第三方面，一種日志管理裝置，所述裝置包括：

定義模塊，用于根據不同的業務定義日志格式和Hbase表；

發送模塊，用于根據所述日志格式將日志數據發送到KafkaCluster的Topic中；

讀取模塊，用于從所述Topic中讀取日志數據；

第一處理模塊，用于讀取所述日志數據并進行HDFS的數據持久化操作；