[發明專利]日志數據壓縮處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011339912.3
• 申請日: 2020-11-25
• 公開（公告）號: CN113760839A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 李汶良
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/18;G06F16/14;G06F16/16
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種日志數據壓縮處理方法、裝置、電子設備和存儲介質，該方法包括：獲取待處理的第一日志數據中的每個第一屬性名稱；根據當前存儲的屬性名稱與壓縮名稱之間的映射關系和第一日志數據中的每個第一屬性名稱，確定每個第一屬性名稱對應的第一壓縮名稱，其中，第一壓縮名稱的字符數量小于第一屬性名稱的字符數量；將第一日志數據中的每個第一屬性名稱替換為相應的第一壓縮名稱，獲得壓縮處理后的第二日志數據。通過本發明實施例的技術方案，可以在不破壞日志數據的文本結構性的情況下，大大降低日志數據量。

技術領域

本發明實施例涉及互聯網技術，尤其涉及一種日志數據壓縮處理方法、裝置、電子設備和存儲介質。

背景技術

隨著互聯網技術的快速發展，系統服務架構從原來的單體式發展到分布式以及當前最熱門的微服務式，使得服務之間的請求交互過程變得更加復雜。

通常，服務器可以將生成的日志文件寫入全文搜索引擎(比如，Elasticsearch搜索服務器)中，從而在出現故障時，可以在全文搜索引擎中利用日志關鍵詞進行日志搜索，以便基于搜索結果可以快速地分析故障原因。隨著應用訪問量越來越大，生成的日志數據量也越來越大，從而需要對日志數據進行壓縮處理，以便降低日志數據量。

目前，通常利用常用的數據壓縮方式對日志數據進行壓縮處理后，再將壓縮處理后的日志數據寫入日志文件或者全文搜索引擎中。

然而，在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

常用的數據壓縮方式會使得壓縮處理后的日志文本與原有的日志文本結構不同，從而破壞了日志數據的文本結構性，使得全文搜索引擎無法進行分詞，建立索引，進而無法基于關鍵詞進行全文搜索，降低了搜索效率。

發明內容

本發明實施例提供了一種日志數據壓縮處理方法、裝置、電子設備和存儲介質，以實現在未破壞日志數據的文本結構性的情況下，大大降低日志數據量。

第一方面，本發明實施例提供了一種日志數據壓縮處理方法，包括：

獲取待處理的第一日志數據中的每個第一屬性名稱；

根據當前存儲的屬性名稱與壓縮名稱之間的映射關系和所述第一日志數據中的每個第一屬性名稱，確定每個所述第一屬性名稱對應的第一壓縮名稱，其中，所述第一壓縮名稱的字符數量小于所述第一屬性名稱的字符數量；

將所述第一日志數據中的每個所述第一屬性名稱替換為相應的所述第一壓縮名稱，獲得壓縮處理后的第二日志數據。

第二方面，本發明實施例還提供了一種日志數據壓縮處理裝置，包括：

第一日志數據獲取模塊，用于獲取待處理的第一日志數據中的每個第一屬性名稱；

第一壓縮名稱確定模塊，用于根據當前存儲的屬性名稱與壓縮名稱之間的映射關系和所述第一日志數據中的每個第一屬性名稱，確定每個所述第一屬性名稱對應的第一壓縮名稱，其中，所述第一壓縮名稱的字符數量小于所述第一屬性名稱的字符數量；

第一屬性名稱替換模塊，用于將所述第一日志數據中的每個所述第一屬性名稱替換為相應的所述第一壓縮名稱，獲得壓縮處理后的第二日志數據。

第三方面，本發明實施例還提供了一種電子設備，所述電子設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明任意實施例所提供的日志數據壓縮處理方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如本發明任意實施例所提供的日志數據壓縮處理方法。