[發明專利]一種日志數據提取方法及裝置

在審

• 申請號: 201611225960.3
• 申請日: 2016-12-27
• 公開（公告）號: CN106844505A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 付奇
• 申請（專利權）人: 北京五八信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/30
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 吳永亮

技術領域

本發明涉及網絡技術領域，尤其涉及一種日志數據提取方法及裝置。

背景技術

隨著計算機技術的高速發展，日志的作用越來越重要。但日志的格式并不統一。日志格式的不統一造成了日志的閱讀和統計的困難。現有技術中，研發人員在每次處理日志的時候都需要明確知道日志的格式，根據日志的格式開發用于對日志進行讀取和解析的工具類。每次進行日志處理的時候都需要研發人員進行重復的工具類開發，嚴重的影響日志的閱讀效率和統計效率。

發明內容

本發明要解決的技術問題是，提供一種日志數據提取方法及裝置，克服現有技術中日志格式不統一造成的難以閱讀和統計日志的缺陷。

本發明采用的技術方案是，所述一種日志數據提取方法，包括：

根據預置的日志格式對應的解析配置信息，通過海杜普Hadoop計算系統對日志進行解析，并提取日志解析結果中的日志數據。

進一步的，在所述通過海杜普Hadoop計算系統對日志進行解析，并提取日志解析結果中的日志數據之前，所述方法還包括：

通過Flume日志收集系統獲取終端中的應用程序的日志；

將所述日志通過海杜普分布式文件系統HDFS傳輸至所述Hadoop計算系統。

進一步的，所述通過海杜普Hadoop計算系統對日志進行解析，并提取日志解析結果中的日志數據之前，所述方法還包括：

根據日志格式，在數據庫中查詢預置的所述日志格式對應的解析配置信息。

進一步的，所述提取日志解析結果中的日志數據之后，所述方法還包括：

將所述日志數據以設定格式存儲至數據庫中。

進一步的，所述提取日志解析結果中的日志數據之后，所述方法還包括：

將所述日志數據以設定格式在設定界面上進行顯示。

本發明還提供一種日志數據提取裝置，所述裝置包括：

解析模塊，用于根據預置的日志格式對應的解析配置信息，通過海杜普Hadoop計算系統對日志進行解析，并提取日志解析結果中的日志數據。

進一步的，所述裝置還包括：

獲取模塊，用于通過Flume日志收集系統獲取終端中的應用程序的日志；

傳輸模塊，用于將所述日志通過海杜普分布式文件系統HDFS傳輸至所述Hadoop計算系統。

進一步的，所述裝置還包括：

查詢模塊，用于根據日志格式，在數據庫中查詢預置的所述日志格式對應的解析配置信息，并將所述日志格式對應的解析配置信息發送至所述解析模塊。

進一步的，所述裝置還包括：

存儲模塊，用于將所述日志數據以設定格式存儲至數據庫中

進一步的，所述裝置還包括：

輸出模塊，用于將所述日志數據以設定格式在設定界面上進行顯示。

采用上述技術方案，本發明至少具有下列優點：

本發明所述一種日志數據提取方法及裝置，能夠實現通過對日志數據的提取，對日志的格式進行統一，有效地提高了日志的閱讀效率和統計效率。

附圖說明

圖1為本發明第二實施例的日志數據提取方法流程圖；

圖2為本發明第四實施例的日志數據提取方法流程圖；

圖3為本發明第五實施例的日志數據提取裝置組成結構示意圖；

圖4為本發明第八實施例的日志數據提取裝置組成結構示意圖。

具體實施方式

為更進一步闡述本發明為達成預定目的所采取的技術手段及功效，以下結合附圖及較佳實施例，對本發明進行詳細說明如后。

本發明第一實施例，一種日志數據提取方法，包括以下具體步驟：

步驟S101，根據預置的日志格式對應的解析配置信息，通過Hadoop(海杜普)計算系統對日志進行解析，并提取日志解析結果中的日志數據。

具體的，步驟S101，包括：

通過Hadoop計算系統，根據預置的日志格式對應解析配置信息中的設定字符將日志中的數組字符串分割為字符串數組；

配置字符串數組中字符的下標；

根據數組中字符的下標，提取數組的指定下標對應的字符數據值。

例如：通過Hadoop計算系統，根據預置的日志格式對應解析配置信息中的設定字符“_”將日志中的數組字符串分割為字符串數組：

將日志中的數組字符串a_b_c_d_e_f_j分隔為字符串數組{[a],[b],[c],[d],[e],[f],[j]}；