[發明專利]日志處理方法、日志處理裝置及電子設備

在審

• 申請號: 202111424453.3
• 申請日: 2021-11-26
• 公開（公告）號: CN114238257A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 張廣艷;魏鈞宇;陳軍超
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/174;G06F16/14
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 毛宏寶

1.一種日志處理方法，其特征在于，所述方法包括：

獲取原始日志，并基于日志解析工具將所述原始日志劃分為原始模板和原始變量；

基于變量組子模式，對所述原始變量進行特征提取，得到存儲單元；

將所述存儲單元進行壓縮，得到壓縮后存儲單元，其中，所述壓縮后存儲單元包括存儲單元標簽，所述壓縮后存儲單元用于實現對所述原始日志的搜索。

2.根據權利要求1所述的日志處理方法，其特征在于，所述方法還包括：

基于搜索關鍵詞，通過所述存儲單元標簽，在多個所述壓縮后存儲單元中確定與所述搜索關鍵詞對應的目標壓縮后存儲單元；

基于定長檢索策略，在所述目標壓縮后存儲單元中確定與所述搜索關鍵詞對應的目標元素；

基于所述目標元素，重構出與所述目標元素對應的目標日志。

3.根據權利要求1所述的日志處理方法，其特征在于，所述變量組子模式采用以下方式確定：

確定所述原始變量位于所述原始日志的位置；

將具有相同位置的所述原始變量劃分為原始變量組；

基于所述原始變量組，確定所述變量組子模式。

4.根據權利要求3所述的日志處理方法，其特征在于，所述方法還包括：基于所述原始變量組中元素重復度，將所述原始變量組劃分為字典變量組和非字典變量組；

所述基于所述原始變量組，確定所述變量組子模式，包括：

基于所述字典變量組，確定第一變量組子模式，其中，所述第一變量組子模式為關于所述字典變量組的變量組子模式；

基于所述非字典變量組，確定第二變量組子模式，其中，所述第二變量組子模式為關于所述非字典變量組的變量組子模式。

5.根據權利要求4所述的日志處理方法，其特征在于，所述基于所述字典變量組，確定第一變量組子模式，包括：

基于字典特殊字符，將所述字典變量組中的各字典項切割為多個字典子片段；

基于所述字典子片段的字符類型，確定所述字典子片段的片段類型標簽；

基于所述片段類型標簽和所述字典特殊字符，確定所述字典項的變量子模式；

基于所述字典項的變量子模式，得到所述第一變量組子模式。

6.根據權利要求4所述的日志處理方法，其特征在于，所述基于所述非字典變量組，確定第二變量組子模式，包括：

隨機選取所述非字典變量組中的第一非字典項，并判斷預設數量的非字典項是否包括所述第一非字典項中預設位置的非字典特殊字符；

若所述預設數量的非字典項包括所述非字典特殊字符，則基于所述非字典特殊字符將所述非字典變量組中的各非字典項切割為非字典子片段；

若所述預設數量的非字典項不包括所述非字典特殊字符，則獲取任意兩個所述非字典項的最長公共子串，并根據所述預設數量的非字典項包括所述最長公共子串，基于所述最長公共子串對所述非字典變量組中的各非字典項進行切割，得到非字典子片段；

基于所述非字典子片段，得到關于所述非字典變量組的樹結構，其中，所述樹結構的葉子節點為所述非字典子片段；

對所述葉子節點執行上述切割操作，并基于切割結果，確定所述第二變量組子模式。

7.根據權利要求6所述的日志處理方法，其特征在于，所述基于切割結果，確定所述第二變量組子模式，包括：

若所述葉子節點可切割，則基于節點類型標簽，確定所述非字典項的變量子模式，并基于所述非字典項的變量子模式，得到所述第二變量組子模式；

若所述葉子節點不可切割，且各所述葉子節點為同一常量，則將所述常量作為所述第二變量組子模式的常量子部，并基于所述常量子部得到所述第二變量組子模式；

若所述葉子節點不可分割，且各所述葉子節點不為同一常量，則基于所述葉子節點的類型和長度，確定所述第二變量組子模式。