[發明專利]用于在日志分析系統中實現日志解析器的方法和系統

在審

• 申請號: 202111494840.4
• 申請日: 2016-04-01
• 公開（公告）號: CN114153702A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: G·M·法拉爾
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/13;G06F16/14;G06F16/18;H04L41/14;H04L41/5074;G06F9/54
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉前紅

本發明涉及用于在日志分析系統中實現日志解析器的方法和系統。公開了用于實現日志分析方法和系統的系統、方法和計算機程序產品，該日志分析方法和系統可以以高效的方式來配置、收集和分析日志記錄。已經描述了通過分析日志的行內容來自動生成日志解析器的改進方法。此外，已經描述了從日志內容中提取鍵?值內容的高效方法。

本申請是申請號為201680029404.0、申請日為2016年4月1日、發明名稱為“用于在日志分析系統中實現日志解析器的方法和系統”的發明專利申請的分案申請。

背景技術

許多類型的計算系統和應用生成與該計算系統或應用的操作相關或由該計算系統或應用的操作引起的大量數據。這些大量數據被存儲到諸如日志文件/記錄之類的收集的位置中，如果需要分析系統或應用的行為或操作，則這些收集的位置可以在稍后的時間段被審查。

服務器管理員和應用管理員可以通過學習和分析系統日志記錄的內容來獲益。但是，收集和分析這些記錄會是非常有挑戰性的任務。這些挑戰有很多原因。

一個顯著的問題涉及以下事實：許多現代組織擁有非常大量的計算系統，每個計算系統具有在這些計算系統上運行的大量應用。考慮到在這些計算設備上運行的大量相異的(disparate)系統和應用，在大型系統中配置、收集和分析日志記錄會非常困難。此外，這些應用中的一些應用可以實際上在多個計算系統上運行以及跨多個計算系統運行，從而使得協調日志配置和收集的任務更加成問題。

常規的日志分析工具提供收集和分析日志記錄的基本能力。但是，當面臨大型系統包括具有在這些系統上運行的大量應用的大量計算系統的問題時，常規系統不能高效地縮放。這是因為常規系統常常以每臺主機為基礎進行工作，其中每當在系統中添加或新配置新的主機時，都需要執行設置和配置活動，或者甚至需要針對現有的主機執行新的日志收集/配置活動。考慮到現代系統中存在大量的主機，這種方法非常低效。此外，常規方法(特別是本地(on-premise)解決方案)也不能充分地允許共享資源和分析部件。這造成大量且過量的冗余處理和資源使用。

常規的日志分析工具在涉及由日志分析工具使用的日志解析器的構建時也是非常低效的。日志解析器是理解如何解析日志內的條目的工具。常規地，日志解析器必須由必須既熟知待分析的日志文件的確切格式又熟練掌握將用來實現解析器的具體編程基礎設施的人來手動構建。

手動構建日志解析器的常規方法的一個問題是這個過程需要來自熟練技術人員的大量時間和資源以構建解析器。此外，這種方法還需要過多的手動資源以在日志文件的格式發生改變的情況下維護解析器。此外，這種手動方法必然需要對日志文件格式的先驗知識。

因此，需要改進的方法來實現日志分析系統。還需要提供更高效的方式來實現用于日志分析系統的日志解析器。

發明內容

本發明的一些實施例通過提供自動構建日志解析器的方法來解決上述問題。作為需要人來手動創建日志解析器的內容的替代，日志內容本身被用來構建解析器。

根據一些實施例，提供了方法、系統或計算機可讀介質，該方法、系統或計算機可讀介質通過以下操作來構建日志解析器：識別要分析的日志，創建將日志的內容映射到用于日志內的一個或多個數據部分的識別出的元素類型的映射結構，從日志中選擇數據部分，相對于映射結構分析該數據部分以識別可變部分和不可變部分，對于可變部分中的至少一個可變部分將該至少一個可變部分指派給涵蓋在該至少一個可變部分中檢測到的值的可變性的限制最少的數據類型，以及自動生成用于日志解析器的正則表達式。正則表達式在一些實施例中可以包括不可變部分以及用于可變部分的占位符，以實現日志解析器，其中至少兩個不同的占位符與不同的數據類型相關聯。

在一些實施例中，用于識別可變部分和不可變部分的發明性方法可以通過以下操作來執行：從日志中識別行以對照映射結構進行比較，從該行的開頭開始并且向前移動直到識別出不匹配為止，找到下一個公共字符，將中間范圍標記為可變的，并且循環直到達到行的末尾。