[發明專利]一種集群日志存儲方法、裝置、設備及介質

在審

• 申請號: 202110873734.0
• 申請日: 2021-07-30
• 公開（公告）號: CN113722284A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 董俊明
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182;G06F16/174;G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉坤

本申請公開了一種集群日志存儲方法、裝置、設備及介質，包括：統計集群中各目標模塊的日志文件的訪問頻次；基于所述訪問頻次確定各所述目標模塊對應的壓縮屬性；其中，所述壓縮屬性包括壓縮和不壓縮；當監測到集群中有待存儲日志，則確定所述待存儲日志對應的所述壓縮屬性；若所述壓縮屬性為不壓縮，則將所述待存儲日志存儲至日志緩存區，否則，將所述待存儲日志壓縮以得到第一壓縮日志，并將所述第一壓縮日志存儲至靜態存儲區。能夠提高集群存儲空間的利用率和日志訪問效率。

技術領域

本申請涉及日志處理技術領域，特別涉及一種集群日志存儲方法、裝置、設備及介質。

背景技術

在當前的分布式存儲集群環境中，日志是存儲集群中的重要信息，包括了各種業務操作記錄，另外，集群歷史運行狀態和故障時的問題定位都需要通過日志進行分析，同時隨著時間的日益增長，日志數據也伴隨線性增長，日志數據在數據存儲中占用了大量的空間，降低了分布式存儲集群的整體空間利用率，同時由于日志的繁多，對于日志的管理和檢索變得更加困難，因此解決海量日志數據存儲和檢索的問題對集群有著重要影響。

發明內容

有鑒于此，本申請的目的在于提供一種集群日志存儲方法、裝置、設備及介質，能夠提高集群存儲空間的利用率和日志訪問效率。其具體方案如下：

第一方面，本申請公開了一種集群日志存儲方法，包括：

統計集群中各目標模塊的日志文件的訪問頻次；

基于所述訪問頻次確定各所述目標模塊對應的壓縮屬性；其中，所述壓縮屬性包括壓縮和不壓縮；

當監測到集群中有待存儲日志，則確定所述待存儲日志對應的所述壓縮屬性；

若所述壓縮屬性為不壓縮，則將所述待存儲日志存儲至日志緩存區，否則，將所述待存儲日志壓縮以得到第一壓縮日志，并將所述第一壓縮日志存儲至靜態存儲區。

可選的，所述統計集群中各目標模塊的日志文件的訪問頻次，包括：

統計各功能模塊以及各所述功能模塊的子模塊的日志文件的訪問頻次；

相應的，所述基于所述訪問頻次確定各所述目標模塊對應的壓縮屬性，包括：

基于所述訪問次數確定各所述目標模塊對應的壓縮屬性；其中，所述壓縮屬性為不壓縮的所述功能模塊的所述訪問頻次高于所述壓縮屬性為壓縮的所述功能模塊的所述訪問頻次，所述壓縮屬性為不壓縮的所述子模塊的所述訪問頻次高于所述壓縮屬性為壓縮的所述子模塊的所述訪問頻次。

可選的，所述基于所述訪問頻次確定各所述目標模塊對應的壓縮屬性，包括：

對各所述功能模塊的日志文件的訪問頻次排序；

篩選出所述訪問頻次最高的預設數量個所述功能模塊，得到第一模塊；

將所述第一模塊的壓縮屬性確定為不壓縮，所述功能模塊中的非第一模塊的壓縮屬性確定為壓縮；

對所述功能模塊中非第一模塊的全部子模塊的日志文件的訪問頻次排序；

將所述訪問頻次最高的第一預設比例的所述子模塊的壓縮屬性確定為不壓縮，非第一模塊的其他子模塊的壓縮屬性確定為壓縮。

可選的，還包括：

將各所述目標模塊的所述壓縮屬性存儲至日志基礎庫；

相應的，所述確定所述待存儲日志對應的所述壓縮屬性，包括：