[發明專利]一種日志解析方法、裝置及設備

有效

• 申請號: 202210496308.4
• 申請日: 2022-05-09
• 公開（公告）號: CN114595136B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 鐘威;鄭鐵樵;張博
• 申請（專利權）人: 云智慧（北京）科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/35;G06F40/216;G06F40/289
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種日志解析方法，其特征在于，包括：

獲取待解析日志數據；

將所述待解析日志數據進行分詞處理，得到日志序列；

確定所述日志序列的子序列n-gram，所述n-gram是按照長度n切分所述日志序列，得到的長度為n的子序列，n為正整數；

獲取所述n-gram在n-gram頻率字典中的頻率，所述n-gram頻率字典包括多個n-gram以及每個n-gram對應的頻率，所述頻率是n-gram在歷史日志序列中，該n-gram出現的次數，所述歷史日志序列是形成所述n-gram頻率字典所用到的日志序列；

根據所述頻率，確定自動閾值；

根據所述自動閾值對所述日志序列進行解析，獲得解析結果，所述解析結果包括：所述待解析日志數據的日志模式；所述日志模式包括：所述日志序列中最終留下的靜態文本和預設字符所表示的動態變量；

其中，根據所述頻率，確定自動閾值包括：

獲取每一個n-gram在所述n-gram頻率字典中出現的次數的眾數和中位數；

將所述眾數和中位數中的較大者，作為所述自動閾值；

其中，統計待解析日志數據的日志序列所有n-gram的頻率，n=2,3……k：F(n)=[fre(g(n)) for g(n) in Gs(n)]；

其中，Gs(n)為L的所有n-gram，即[w1w2……wn，w2w3……wn+1，……，wt-n+1wt-n+2……wt]；

g(n)為n-gram中的子序列，F（n）為n-gram在n-gram頻率字典中的頻率，即n-gram在n-gram頻率字典中出現的次數，fre(g(n))為n-gramg(n)的頻率；

根據n-gram頻率的眾數和中位數，自動求閾值，具體是：

通過s(n)=max(median(F(n)),mode(F(n)))，得到自動閾值；

其中，median()函數為求中位數，mode()函數為求眾數，即取頻率的眾數及中位數的最大值作為自動閾值；

其中，根據所述自動閾值對所述日志序列進行解析，獲得解析結果，包括：

對每一個日志序列的所述n-gram，按照n的值從大到小的順序，根據所述自動閾值，確定n為k時的n-gram中的靜態文本和動態變量；

將所述靜態文本從所述日志序列濾除，得到剩余的部分為n=k時的動態變量候補；

根據n為k-1時的n-gram和所述n=k時的動態變量候補，得到第n=k-1時的動態變量候補，直到得到n=2時的動態變量候補；

根據所述n=2時的動態變量候補中的元素，得到所述解析結果；

其中，根據所述n=2時的動態變量候補中的元素，得到所述解析結果，具體包括：

將所述第一個動態變量候補序列中的動態變量替換為預設字符；

將所述靜態文本和所述預設字符形成的日志模式作為所述解析結果輸出。

2.根據權利要求1所述的日志解析方法，其特征在于，n大于或者等于2時，確定所述日志序列的子序列n-gram，包括：

將所述日志序列按照長度2切分，得到序列的2-gram；

將所述日志序列按照每次切分長度加1的方式，對所述日志序列進行切分，直到切分長度達到長度k，所述k為大于或者等于2的正整數。

3.根據權利要求1所述的日志解析方法，其特征在于，還包括：

在所述靜態文本和所述預設字符形成的日志模式中，若有相鄰的預設字符，則將相鄰的預設字符合并后，再輸出所述日志模式。

4.根據權利要求1至3任一項所述的日志解析方法，其特征在于，還包括：

根據所述解析結果，對日志數據進行分類。