[發明專利]日志處理方法及裝置

有效

• 申請號: 202010654842.4
• 申請日: 2020-07-09
• 公開（公告）號: CN111651417B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 梁廣鵬;洪春華
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/23;G06F16/27;G06F21/60;G06Q40/04
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

本發明提供了一種日志處理方法、裝置、電子設備及計算機可讀存儲介質；方法包括：獲取待壓縮的日志文件，并獲取所述日志文件中包括的多個字段；對每個所述字段對應的字段值進行編號，并生成以所述編號為鍵、以及以與所述編號對應的字段值為值的鍵值對；基于每個所述字段對應的鍵值對形成壓縮材料文件；根據所述壓縮材料文件將所述日志文件中的字段值替換為對應的編號，得到壓縮后的所述日志文件。通過本發明，能夠在使用壓縮算法對日志進行壓縮前，預先將數據庫的日志中冗余的內容進行壓縮，以便進一步提高后續日志壓縮時的壓縮率，進而減少空間使用率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種日志處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

相關技術在對日志進行壓縮時，通常是直接通過數據壓縮算法對日志內容進行強制壓縮，在此方案下想要進一步提高數據的壓縮率就需要開發性能更為強大的壓縮算法。

然而，開發并實際落地一個新的壓縮算法所需要的時間十分漫長，導致通過開發新的數據壓縮算法來提高壓縮效率的可行性難度較大。

發明內容

本發明實施例提供一種日志處理方法、裝置、電子設備及計算機可讀存儲介質，能夠將日志中冗余的內容進行有效壓縮，以減少空間使用率。

本發明實施例的技術方案是這樣實現的：

本發明實施例提供一種日志處理方法，包括：

獲取待壓縮的日志文件，并獲取所述日志文件中包括的多個字段；

對每個所述字段對應的字段值進行編號，并生成以所述編號為鍵、以及以與所述編號對應的字段值為值的鍵值對；

基于每個所述字段對應的鍵值對形成壓縮材料文件；

根據所述壓縮材料文件將所述日志文件中的字段值替換為對應的編號，得到壓縮后的所述日志文件。

本發明實施例提供一種日志處理裝置，包括：

獲取模塊，用于獲取待壓縮的日志文件；

所述獲取模塊，還用于獲取所述日志文件中包括的多個字段；

編號模塊，用于對每個所述字段對應的字段值進行編號，并生成以所述編號為鍵、以及與所述編號對應的字段值為值的鍵值對；

形成模塊，用于基于每個所述字段對應的鍵值對形成壓縮材料文件；

替換模塊，用于根據所述壓縮材料文件將所述日志文件中的字段值替換為對應的編號，得到壓縮后的所述日志文件。

上述方案中，所述編號模塊，還用于當所述字段的類型為遠程主機時，將所述遠程主機的多個字段值分別進行進制轉化，得到轉化字段值；確定所述多個字段值分別對應轉化字段值中的最小值，并計算其他的轉化字段值與所述最小值的差值，其中，所述其他的轉化字段值為除所述最小值之外的轉化字段值；當計算得到同一差值的次數超過差值頻數閾值時，對所述超過差值頻數閾值的差值進行編號，并生成以所述編號為鍵、以及以所述編號對應的差值為值的鍵值對；以及用于當計算得到所述最小值出現的次數大于最小值頻數閾值時，生成以所述最小值的標識為鍵，以所述最小值為值的鍵值對。

上述方案中，所述編號模塊，還用于當所述字段的類型為用戶名，且所述用戶名對應的字段值不為空時，對所述用戶名對應的字段值進行編號，并生成以所述編號為鍵、以及與所述編號對應的字段值和所述字段值的數量為值的鍵值對；以及用于當所述字段的類型為用戶認證，且所述用戶認證對應的字段值不為空時，對所述用戶認證對應的字段值進行編號，并生成以所述編號為鍵、以及與所述編號對應的字段值和所述字段值的數量為值的鍵值對。