[發(fā)明專利]控制數(shù)據(jù)刪除的方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201610786979.9
• 申請日: 2016-08-31
• 公開（公告）號: CN107784021A
• 公開（公告）日: 2018-03-09
• 發(fā)明（設(shè)計）人: 石岱曦
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司11240
• 代理人: 韓建偉,張永明

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種控制數(shù)據(jù)刪除的方法、裝置及系統(tǒng)。

背景技術(shù)

彈性搜索引擎(Elastic Search，簡稱ES)是一種文檔型分布式存儲搜索引擎系統(tǒng)，它實現(xiàn)了對數(shù)據(jù)的全文索引，使得數(shù)據(jù)的檢索速度非常快。但是，卓越的速度需要巨大的資源消耗，隨著數(shù)據(jù)的增加，ES的索引(Index)(即類似于關(guān)系型數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)庫database)中的數(shù)據(jù)量會不斷增大，使得資源的消耗不斷增大，最終使整個系統(tǒng)的響應(yīng)越來越慢。

為了有效控制ES的Index中的數(shù)據(jù)量，ES支持為每個Index中的每個類型(Type)(即類似于關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)表table)設(shè)置數(shù)據(jù)的生存時間TTL(Time To Live)，一旦數(shù)據(jù)達到了TTL所規(guī)定的時間，這條數(shù)據(jù)就會自動被刪除，從而達到定期刪除數(shù)據(jù)，控制索引大小的效果。但是當前這種方法存在如下問題：第一，一旦對某個Index的某個Type啟用了TTL功能，則無法關(guān)閉此功能；第二，一旦數(shù)據(jù)插入后，此數(shù)據(jù)的TTL就固定了，無法更改此條數(shù)據(jù)的TTL。

針對相關(guān)技術(shù)中通過彈性搜索引擎自帶的TTL功能控制彈性搜索引擎的數(shù)據(jù)刪除較為不便的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種控制數(shù)據(jù)刪除的方法、裝置及系統(tǒng)，以解決相關(guān)技術(shù)中通過彈性搜索引擎自帶的TTL功能控制彈性搜索引擎的數(shù)據(jù)刪除較為不便的問題。

為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種控制數(shù)據(jù)刪除的方法。該方法包括：從預(yù)設(shè)配置表中獲取彈性搜索引擎中各條數(shù)據(jù)的生存時間信息，其中，上述預(yù)設(shè)配置表中預(yù)先配置有上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息；以及根據(jù)上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除。

進一步地，上述生存時間信息包括生存時間長度，根據(jù)上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除包括：根據(jù)當前時間和上述彈性搜索引擎中各條數(shù)據(jù)的生存時間長度計算各條數(shù)據(jù)的存活終止時間；分別將上述各條數(shù)據(jù)的存活終止時間與對應(yīng)各條數(shù)據(jù)的插入時間比較；以及刪除上述彈性搜索引擎中插入時間早于對應(yīng)存活終止時間的數(shù)據(jù)。

進一步地，上述生存時間信息包括生存時間長度，根據(jù)上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除包括：周期性地獲取上述彈性搜索引擎中各條數(shù)據(jù)的插入時間以及當前時間；以及根據(jù)上述當前時間、上述彈性搜索引擎中各條數(shù)據(jù)的插入時間和生存時間長度控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除。

進一步地，上述預(yù)設(shè)配置表中配置有上述彈性搜索引擎中各個索引下的各個類型的生存時間信息，其中，同一索引的同一類型中的各條數(shù)據(jù)的生存時間信息相同。

進一步地，上述生存時間信息還包括生存時間功能標識，上述生存時間功能標識包括第一標識，其中，上述第一標識用于指示啟用上述生存時間功能，獲取上述彈性搜索引擎中各條數(shù)據(jù)的插入時間包括：從上述彈性搜索引擎中獲取上述生存時間功能標識為第一標識的各個索引下的各個類型的各條數(shù)據(jù)的插入時間，根據(jù)上述當前時間、上述彈性搜索引擎中各條數(shù)據(jù)的插入時間和對應(yīng)各條數(shù)據(jù)的生存時間長度控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除包括：根據(jù)上述當前時間、上述生存時間功能標識為第一標識的各個索引下的各個類型的各條數(shù)據(jù)的插入時間和生存時間長度控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除。

為了實現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種控制數(shù)據(jù)刪除的裝置。該裝置包括：獲取單元，用于從預(yù)設(shè)配置表中獲取彈性搜索引擎中各條數(shù)據(jù)的生存時間信息，其中，上述預(yù)設(shè)配置表中預(yù)先配置有上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息；以及控制單元，用于根據(jù)上述彈性搜索引擎中各條數(shù)據(jù)的生存時間信息控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除。

進一步地，上述生存時間信息包括生存時間長度，上述控制單元包括：計算模塊，用于根據(jù)當前時間和上述彈性搜索引擎中各條數(shù)據(jù)的生存時間長度計算各條數(shù)據(jù)的存活終止時間；比較模塊，用于分別將上述各條數(shù)據(jù)的存活終止時間與對應(yīng)各條數(shù)據(jù)的插入時間比較；以及刪除模塊，用于刪除上述彈性搜索引擎中插入時間早于對應(yīng)存活終止時間的數(shù)據(jù)。

進一步地，上述生存時間信息包括生存時間長度，上述控制單元包括：獲取模塊，用于周期性地獲取上述彈性搜索引擎中各條數(shù)據(jù)的插入時間以及當前時間；以及控制模塊，用于根據(jù)上述當前時間、上述彈性搜索引擎中各條數(shù)據(jù)的插入時間和生存時間長度控制上述彈性搜索引擎中對應(yīng)各條數(shù)據(jù)的刪除。