[發明專利]一種收集日志的方法及系統

在審

• 申請號: 201611021611.X
• 申請日: 2016-11-16
• 公開（公告）號: CN106776715A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 張飛翔;張翼;溫宗臣;范衛衛
• 申請（專利權）人: 北京集奧聚合科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙)11390
• 代理人: 胡劍輝

1.一種收集日志的方法，其特征在于：該方法包括以下步驟：

(1)StringBuilder按照字符添加內容，遇到/n停止，n為整數，把n提取出讓其為可配置參數在配置文件中配置，以便Flume傳送一個Event內容相當于傳送n個之前Event內容；

(2)數據經過kafka到flume，把接收到的日志進行切割，獲取到日志路徑，判斷路徑內容屬于哪個hdfs路徑，然后把日志發送到hdfs；

(3)準備配置文件；

(4)啟動實時日志收集器，收集日志。

2.根據權利要求1所述的收集日志的方法，其特征在于：所述步驟(1)中，改寫Flume源碼，更改org.apache.flume.serialization中的LineDeserializer類的方法readLine()，event的內容是獲取的StringBuilder中的內容，在遇到第n個/n之后停止，之后獲取到日志文件的路徑封裝在event的body的后面，StringBuilder封裝成的Event就是n行的數據內容。

3.根據權利要求2所述的收集日志的方法，其特征在于：所述步驟(3)包括：Source、Channel、Sink的選擇與相關配置，一個Event所封鎖的消息的行數的配置。

4.一種收集日志的系統，其特征在于：該系統包括：

配置n模塊，其配置來StringBuilder按照字符添加內容，遇到/n停止，n為整數，把n提取出讓其為可配置參數在配置文件中配置，以便Flume傳送一個Event內容相當于傳送n個之前Event內容；

日志發送模塊，其配置來數據經過kafka到flume，把接收到的日志進行切割，獲取到日志路徑，判斷路徑內容屬于哪個hdfs路徑，然后把日志發送到hdfs；

準備模塊，其配置來準備配置文件；

收集模塊，其配置來啟動實時日志收集器，收集日志。

5.根據權利要求4所述的收集日志的系統，其特征在于：所述配置n模塊中，改寫Flume源碼，更改org.apache.flume.serialization中的LineDeserializer類的方法readLine()，event的內容是獲取的StringBuilder中的內容，在遇到第n個/n之后停止，之后獲取到日志文件的路徑封裝在event的body的后面，StringBuilder封裝成的Event就是n行的數據內容。

6.根據權利要求5所述的收集日志的系統，其特征在于：所述準備模塊包括：Source、Channel、Sink的選擇與相關配置，一個Event所封鎖的消息的行數的配置。