[發明專利]基于完美哈希的日志解析方法及裝置

有效

• 申請號: 201810050447.8
• 申請日: 2018-01-18
• 公開（公告）號: CN108228875B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 王天鳳;王凱峰;王俏
• 申請（專利權）人: 奇安信科技集團股份有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/18;G06F16/14
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發明實施例提供一種基于完美哈希的日志解析方法及裝置。所述方法包括：獲取待解析日志并根據預設規則對待解析日志進行信息提取，獲取待解析日志的待解析關鍵字及對應的值；根據預先構建的完美哈希函數計算每一待解析關鍵字對應的第一哈希值；根據各第一哈希值獲得對應的待解析關鍵字類型，并將待解析關鍵字對應的值存儲到待解析關鍵字類型對應的結構中，以解析獲得結構化數據。所述裝置用于執行所述方法。本發明實施例通過利用哈希查找的方法來識別待解析關鍵字，無需對待解析關鍵字字符的一一匹配，通過哈希查找即可快速得知關鍵字，從而提高了對日志解析的效率。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種基于完美哈希的日志解析方法及裝置。

背景技術

計算機系統中任何程序都有可能輸出日志：操作系統內核、各種應用服務器等等。日志中包含了安全管理人員、運維人員和業務分析人員感興趣的大量的信息，例如訪問者的IP、訪問的時間、來源的地址以及訪問者所使用的客戶端信息、分析用戶行為特征等。

大多數日志為字符串，且固定位置表示一個固定的字段，以防火墻日志為例，這種字符串格式的日志無法滿足防火墻日志內容在一定范圍內變化的需求，故防火墻上使用鍵值對的方式發送日志，當監控裝置接收到防火墻發送的日志后，傳統的方法是使用字符串遍歷找出每對鍵和值，獲取到鍵后，通過關鍵字匹配獲取關鍵字的類型，其中關鍵字匹配的時間與關鍵字的長度成正比，當關鍵字較多時，處理效率低下，嚴重影響了對防火墻日志的解析效率。

因此，如何提高對日志的解析效率是現如今亟待解決的課題。

發明內容

針對現有技術存在的問題，本發明實施例提供一種基于完美哈希的日志解析方法及裝置。

第一方面，本發明實施例提供一種基于完美哈希的日志解析方法，包括：

獲取待解析日志，并根據預設規則對所述待解析日志進行信息提取，獲取所述待解析日志包含的至少一個待解析關鍵字及各待解析關鍵字對應的值；

根據預先構建的完美哈希函數計算每一待解析關鍵字對應的第一哈希值；

根據各第一哈希值獲得對應的待解析關鍵字類型，并將所述待解析關鍵字對應的值存儲到待解析關鍵字類型對應的結構中，以解析獲得結構化數據。

第二方面，本發明實施例提供一種基于完美哈希的日志解析裝置，包括：

信息提取模塊，用于獲取待解析日志，并根據預設規則對所述待解析日志進行信息提取，獲取所述待解析日志包含的至少一個待解析關鍵字及各待解析關鍵字對應的值；

計算模塊，用于根據預先構建的完美哈希函數計算每一待解析關鍵字對應的第一哈希值；

解析模塊，用于根據各第一哈希值獲得對應的待解析關鍵字類型，并將所述待解析關鍵字對應的值存儲到待解析關鍵字類型對應的結構中，以解析獲得結構化數據。

第三方面，本發明實施例提供一種電子設備，包括：處理器、存儲器和總線，其中，

所述處理器和所述存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行第一方面的方法步驟。

第四方面，本發明實施例提供一種非暫態計算機可讀存儲介質，包括：

所述非暫態計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機執行第一方面的方法步驟。