[發明專利]一種存儲日志的方法、裝置

有效

• 申請號: 201810631416.1
• 申請日: 2018-06-19
• 公開（公告）號: CN110688350B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 黃雨潔
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17;G06F16/18
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

本申請公開了一種存儲日志的方法、裝置，該方法包括：確定第一日志庫中目標類別的日志的存儲狀況達到或超過存儲閾值，其中，所述第一日志庫存儲至少兩個類別的日志；將屬于所述目標類別的日志存儲至專用于存儲所述目標類別的日志的第二日志庫中。通過使用該方法，可根據日志的存儲狀況對日志的存儲方式進行調整，避免對各類別的日志分別使用獨立的日志庫造成的成本高、以及避免將多類別的日志存儲至共享的日志庫中造成數據分布不均勻。

技術領域

本申請涉及計算機存儲領域，具體涉及一種存儲日志的方法。本申請同時涉及一種存儲日志的裝置、一種電子設備以及一種計算機可讀取存儲介質。本申請還涉及一種數據處理方法。

背景技術

對大批量的日志進行存儲的一種基本方法是分片存儲，該過程是通過預定的分配規則將不同類別的日志分配到不同的日志庫中進行存儲，日志庫指的是能夠提供日志查詢功能的日志的最終存儲地點，其可以為單獨的數據庫，也可以為日志搜索服務器。常見的分片存儲方式主要包括如下兩種：

方案1：為每一類別的日志創建獨立的日志庫，單一類別的日志數據固定寫入獨立的日志庫。

方案2：固定創建一定數量的日志庫，為每個類別的日志選擇用于進行存儲的日志庫，可實現將多種類別的日志數據存儲至一個共享日志庫中。

上述兩種方案均存在一定的缺陷，具體為：

方案1中對每一類別的日志均對應獨立的日志庫，其成本較高。獨立的日志庫對應獨立的機器及磁盤，其維護成本較高；并且，每一類別的日志均對應固定的成本，對于某些數據量較小的類別的日志，存在一定的資源浪費。

上述方案2的缺點是將不同類別的日志數據存儲至一個共享日志庫中，不同類別的日志的數據量不同，某些類別的日志的數據量顯著高于其它類別的日志的數據量，例如，SaaS(軟件即服務，Software-as-a-Service)化的服務中通常一些大客戶所產生的日志量顯著高于其他用戶，因此造成共享日志庫中數據分布不均勻，從而影響日志庫中各類別日志的查詢性能。

發明內容

本申請提供一種存儲日志的方法，以解決現有獨立的日志庫的成本高、以及共享日志庫中數據分布不均勻的問題。本申請另外提供一種存儲日志的裝置、一種計算機可讀取存儲介質以及一種電子設備。本申請還提供一種數據處理方法。

本申請提供一種存儲日志的方法，該方法包括：

確定第一日志庫中目標類別的日志的存儲狀況達到或超過存儲閾值；其中，所述第一日志庫存儲至少兩個類別的日志；

將屬于所述目標類別的日志存儲至專用于存儲所述目標類別的日志的第二日志庫中。

優選的，所述將屬于所述目標類別的日志存儲至專用于存儲所述目標類別的日志的第二日志庫中，包括：

將新獲取的所述目標類別的日志存儲至專用于存儲所述目標類別的日志的第二日志庫中。

優選的，還包括：

將新獲取的所述目標類別的日志存儲至所述第一日志庫中；

若所述第二日志庫中存儲日志的時長達到或超過日志的最大保存時長，則只將新獲取的所述目標類別的日志存儲至所述第二日志庫中。

可選的，所述將新獲取的所述目標類別的日志存儲至所述第二日志庫中，包括：

確定用于定位到所述第二日志庫的定位信息；

根據所述定位信息將所述新獲取的所述目標類別的日志存儲到所述第二日志庫。

可選的，還包括：

將存儲在所述第一日志庫中的目標類別的日志存儲至所述第二日志庫中。