[發明專利]一種日志處理方法及裝置

在審

• 申請號: 201711464596.0
• 申請日: 2017-12-28
• 公開（公告）號: CN108595310A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 張俊濤
• 申請（專利權）人: 北京蘭云科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 孫敬霞;龍洪

1.一種日志處理的方法，包括：

獲取日志；

利用緩存中的解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據；

將所述歸一化數據輸出；

其中，所述公共屬性表示日志之間的共有屬性，所述專有屬性表示日志獨有的屬性。

2.根據權利要求1所述的方法，其特征在于：利用Flume獲取日志。

3.根據權利要求1所述的方法，其特征在于，所述利用緩存中的解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據，包括：

查找緩存中是否存在與當前獲取的日志相匹配的解析器；

存在與當前獲取的日志相匹配的解析器時，利用所查找到的解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據；

不存在與當前獲取的日志相匹配的解析器時，從內存中查找與所述日志相匹配的解析器，將查找到的解析器加載到緩存，利用所述解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據。

4.根據權利要求3所述的方法，其特征在于：

根據所述日志的正則表達式和設備類型，通過調用正則解析應用程序編程接口API對所述日志進行匹配處理，以查找所述日志相匹配的解析器；其中，所述日志為設備日志。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對預先配置的正則插件進行注冊操作，構造所述解析器并加載到內存。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

配置插件狀態，生成內容為正則表達式的插件文件；

通過所述插件文件啟用所述正則插件。

7.根據權利要求1所述的方法，其特征在于，

所述公共屬性包括如下之一或多項：日志的級別信息、設備信息、時間信息、IP信息、模塊名Module；

所述專有屬性包括如下之一或多項：設備ID、日志ID、類型、子類型、是否為虛擬設備、用戶名、用戶訪問的URL、請求狀態、異常原因、返回響應內容。

8.一種日志處理裝置，其特征在于，包括：

獲取模塊，用于獲取日志；

處理模塊，用于利用緩存中的解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據；

輸出模塊，用于將所述歸一化數據輸出；

其中，所述公共屬性表示日志之間的共有屬性，所述專有屬性表示日志獨有的屬性。

9.根據權利要求8所述的裝置，其特征在于，所述獲取模塊，具體用于利用Flume獲取日志。

10.根據權利要求8所述的裝置，其特征在于，還包括：

查找模塊，用于查找緩存中是否存在與當前獲取的日志相匹配的解析器，在緩存中不存在與當前獲取的日志相匹配的解析器時，從內存中查找與所述日志相匹配的解析器；

加載模塊，用于將所述內存中的解析器加載到緩存；

所述處理模塊，具體用于在緩存中存在與當前獲取的日志相匹配的解析器時，利用所查找到的解析器提取所述日志的公共屬性和專有屬性，并生成所述日志的歸一化數據。

11.根據權利要求10所述的方法，其特征在于：

所述查找模塊，具體用于根據所述日志的正則表達式和設備類型，通過調用正則解析應用程序編程接口API分別對所述日志進行匹配處理，以查找所述日志相匹配的解析器；其中，所述日志為設備日志。

12.根據權利要求8所述的裝置，其特征在于，還包括：

構造模塊，用于對預先配置的正則插件進行注冊操作，構造所述解析器并加載到內存。