[發(fā)明專利]數(shù)據(jù)刪除方法及系統(tǒng)、介質及計算機系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811381811.5
• 申請日: 2018-11-19
• 公開（公告）號: CN111198793A
• 公開（公告）日: 2020-05-26
• 發(fā)明（設計）人: 韓朋飛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/215
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本公開提供了一種數(shù)據(jù)刪除方法，包括：獲取配置信息，其中，配置信息至少用于表征需要刪除的數(shù)據(jù)；基于配置信息，生成至少一個刪除任務；以及將至少一個刪除任務分配給對應的客戶端，其中，客戶端能夠執(zhí)行刪除任務，并刪除配置信息所表征的需要刪除的數(shù)據(jù)。本公開還提供了一種數(shù)據(jù)刪除系統(tǒng)，一種計算機系統(tǒng)和一種計算機可讀存儲介質。

技術領域

本公開涉及計算機技術領域，更具體地，涉及一種數(shù)據(jù)刪除方法，一種數(shù)據(jù)刪除系統(tǒng)，一種計算機系統(tǒng)和一種計算機可讀存儲介質。

背景技術

在大數(shù)據(jù)時代，數(shù)據(jù)存儲相當重要。基于ElasticSearch(以下簡稱ES)的數(shù)據(jù)存儲能夠快速的響應查詢，同時還支持高并發(fā)寫入，但是，隨著時間的推移，存儲的數(shù)據(jù)越來越多，需要定期清理過期數(shù)據(jù)。ES 1.7版本支持TTL清理方式，但ES 2.0版本及以上版本不再支持這種清理方式，需要用戶根據(jù)實際情況自己做處理。對此，目前大部分用戶都是采取開發(fā)定時任務來定期刪除過期數(shù)據(jù)。

在實現(xiàn)本公開構思的過程中，發(fā)明人發(fā)現(xiàn)相關技術中存在以下缺陷：開發(fā)定時任務，需要用戶針對每個業(yè)務基于硬編碼手動寫入worker刪除數(shù)據(jù)，不便于動態(tài)調整。

發(fā)明內容

有鑒于此，本公開提供了一種能夠基于用戶的配置信息自動生成數(shù)據(jù)刪除任務的數(shù)據(jù)刪除方法和系統(tǒng)。

本公開的一個方面提供了一種數(shù)據(jù)刪除方法，包括：獲取配置信息，其中，上述配置信息至少用于表征需要刪除的數(shù)據(jù)；基于上述配置信息，生成至少一個刪除任務；以及將上述至少一個刪除任務分配給對應的終端設備，其中，上述終端設備能夠執(zhí)行上述刪除任務，并刪除上述配置信息所表征的需要刪除的數(shù)據(jù)。

根據(jù)本公開的實施例，上述基于上述配置信息，生成至少一個刪除任務，包括：解析上述配置信息，確定需要刪除的數(shù)據(jù)的以下信息：ES集群的名稱以及上述ES集群中用于存儲該需要刪除的數(shù)據(jù)的節(jié)點的IP地址；以及基于確定的信息，生成能夠刪除與該信息對應的且當前已過期的數(shù)據(jù)的至少一個刪除任務。

根據(jù)本公開的實施例，上述基于上述配置信息，生成至少一個刪除任務，包括：解析上述配置信息，確定需要刪除的數(shù)據(jù)的以下信息：ES集群的名稱、上述ES集群中用于存儲需要刪除的數(shù)據(jù)的節(jié)點的IP地址、以及指定的時間參數(shù)；以及基于確定的信息，生成能夠刪除與該信息對應的且生存時間值小于上述指定的時間參數(shù)的數(shù)據(jù)的至少一個刪除任務。

根據(jù)本公開的實施例，上述方法還包括：獲取上述ES集群的狀態(tài)信息；根據(jù)獲取的狀態(tài)信息，生成任務調整指令；以及通過上述任務調整指令，調整上述至少一個刪除任務在上述對應的終端設備上的執(zhí)行步調。

根據(jù)本公開的實施例，上述狀態(tài)信息包括上述ES集群的以下信息中的一種或幾種：負載狀態(tài)、內存狀態(tài)、CPU狀態(tài)和磁盤狀態(tài)。

根據(jù)本公開的實施例，上述將上述至少一個刪除任務分配給對應的終端設備，包括：確定可用終端設備的數(shù)目和執(zhí)行任務的速度，以及上述至少一個刪除任務的數(shù)目；以及根據(jù)確定的數(shù)目和速度，將上述至少一個刪除任務分配給上述可用終端設備。

本公開的另一個方面提供了一種數(shù)據(jù)刪除系統(tǒng)，包括：第一獲取模塊，用于獲取配置信息，其中，上述配置信息至少用于表征需要刪除的數(shù)據(jù)；第一生成模塊，用于基于上述配置信息，生成至少一個刪除任務；以及分配模塊，用于將上述至少一個刪除任務分配給對應的終端設備，其中，上述終端設備能夠執(zhí)行上述刪除任務，并刪除上述配置信息所表征的需要刪除的數(shù)據(jù)。

根據(jù)本公開的實施例，上述第一生成模塊包括：第一解析單元，用于解析上述配置信息，確定需要刪除的數(shù)據(jù)的以下信息：ES集群的名稱以及上述ES集群中用于存儲該需要刪除的數(shù)據(jù)的節(jié)點的IP地址；以及第一生成單元，用于基于確定的信息，生成能夠刪除與該信息對應的且當前已過期的數(shù)據(jù)的至少一個刪除任務。