[發明專利]日志處理方法和裝置

在審

• 申請號: 201410106430.1
• 申請日: 2014-03-20
• 公開（公告）號: CN103838867A
• 公開（公告）日: 2014-06-04
• 發明（設計）人: 洪珂;劉華明;盧榮斌;閔杰;李波;陳燕華
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 李志剛;張永明

1.一種日志處理方法，其特征在于，包括：

集群服務器接收用戶端的日志文件；

所述集群服務器存儲所述日志文件；

所述集群服務器對所述日志文件進行分析，得到分析結果；以及

所述集群服務器輸出所述分析結果。

2.根據權利要求1所述的日志處理方法，其特征在于，所述集群服務器存儲所述日志文件包括：

所述集群服務器將所述日志文件拆分成日志數據；以及

所述集群服務器將所述日志數據傳送到分布式消息隊列中，

其中，所述集群服務器從所述分布式消息隊列中讀取所述日志數據，并對所

述日志數據進行分析。

3.根據權利要求2所述的日志處理方法，其特征在于，在所述集群服務器將所述日志數據傳送到分布式消息隊列中之后，所述日志處理方法還包括：

所述集群服務器從所述分布式消息隊列中讀取所述日志數據；

所述集群服務器對讀取的日志數據進行解析，得到解析結果；

所述集群服務器根據所述解析結果生成所述日志數據對應的鍵值對；以及

所述集群服務器通過將所述鍵值對存儲到分布式數據庫中來存儲所述日志文件。

4.根據權利要求3所述的日志處理方法，其特征在于，所述集群服務器對所述日志文件進行分析包括：

所述集群服務器從所述分布式數據庫中實時獲取增量的日志數據；以及

所述集群服務器對所述增量的日志數據采用流式計算進行統計。

5.根據權利要求3所述的日志處理方法，其特征在于，所述集群服務器對所述日志文件進行分析包括：

所述集群服務器按照預設周期從所述分布式數據庫中獲取增量的日志數據；以及

所述集群服務器對所述增量的日志數據進行統計計算。

6.一種日志處理裝置，其特征在于，包括：

接收單元，用于使得集群服務器接收用戶端的日志文件；

存儲單元，用于使得所述集群服務器存儲所述日志文件；

分析單元，用于使得所述集群服務器對所述日志文件進行分析，得到分析結果；以及

輸出單元，用于使得所述集群服務器輸出所述分析結果。

7.根據權利要求6所述的日志處理裝置，其特征在于，所述存儲單元包括：

拆分模塊，用于使得所述集群服務器將所述日志文件拆分成日志數據；以及

傳送模塊，用于使得所述集群服務器將所述日志數據傳送到分布式消息隊列中，

其中，所述集群服務器從所述分布式消息隊列中讀取所述日志數據，并對所述日志數據進行分析。

8.根據權利要求7所述的日志處理裝置，其特征在于，所述存儲單元還包括：

讀取模塊，用于在所述集群服務器將所述日志數據傳送到分布式消息隊列中之后，使得所述集群服務器從所述分布式消息隊列中讀取所述日志數據；

解析模塊，用于使得所述集群服務器對讀取的日志數據進行解析，得到解析結果；

生成模塊，用于使得所述集群服務器根據所述解析結果生成所述日志數據對應的鍵值對；以及

存儲模塊，用于使得所述集群服務器通過將所述鍵值對存儲到分布式數據庫中來存儲所述日志文件。

9.根據權利要求8所述的日志處理裝置，其特征在于，所述分析單元包括：

第一獲取模塊，用于使得所述集群服務器從所述分布式數據庫中實時獲取增量的日志數據；以及

第一計算模塊，用于使得所述集群服務器對所述增量的日志數據采用流式計算進行統計。

10.根據權利要求8所述的日志處理裝置，其特征在于，所述分析單元包括：

第二獲取模塊，用于使得所述集群服務器按照預設周期從所述分布式數據庫中獲取增量的日志數據；以及

第二計算模塊，用于使得所述集群服務器對所述增量的日志數據進行統計計算。