[發(fā)明專利]清除過期數(shù)據(jù)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201711480924.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108196792B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 宋昭
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/16;G06F16/215
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明提供了一種清除過期數(shù)據(jù)的方法及裝置，該方法包括：對數(shù)據(jù)文件進(jìn)行壓縮并生成新數(shù)據(jù)文件時(shí)，獲取所述新數(shù)據(jù)文件中每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間；獲取所述新數(shù)據(jù)文件的數(shù)據(jù)空洞比例；結(jié)合所述數(shù)據(jù)空洞比例以及所述每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間，設(shè)置對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間并保存；在所述執(zhí)行數(shù)據(jù)清除操作的時(shí)間到來時(shí)對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作。基于本發(fā)明提供的清除過期數(shù)據(jù)方法，可自動(dòng)設(shè)置各數(shù)據(jù)文件自動(dòng)定時(shí)清除過期數(shù)據(jù)的時(shí)間，及時(shí)完成符合空洞率比例的過期數(shù)據(jù)回收。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種清除過期數(shù)據(jù)的方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，越來越多的用戶通過互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)分享與獲取，為了保證人們獲取數(shù)據(jù)的有效性，需實(shí)時(shí)對數(shù)據(jù)進(jìn)行更新。此時(shí)，為了保證系統(tǒng)的正常運(yùn)行，需要對過期數(shù)據(jù)進(jìn)行及時(shí)回收。目前，單純依靠引擎自身的compaction策略或者人為的手動(dòng)compaction對過期數(shù)據(jù)的回收效果不明顯，尤其是對于存在大量過期數(shù)據(jù)的情況，磁盤空洞率很高，容易造成磁盤浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明提供了一種清除過期數(shù)據(jù)的方法及裝置以克服上述問題或者至少部分地解決上述問題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種清除過期數(shù)據(jù)的方法，包括：

對數(shù)據(jù)文件進(jìn)行壓縮并生成新數(shù)據(jù)文件時(shí)，獲取所述新數(shù)據(jù)文件中每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間；獲取所述新數(shù)據(jù)文件的數(shù)據(jù)空洞比例，以獲取到新數(shù)據(jù)文件的可容忍的存儲(chǔ)過期數(shù)據(jù)的比例，其中，數(shù)據(jù)空洞比例為數(shù)據(jù)庫可容忍的最大空洞比例；結(jié)合所述數(shù)據(jù)空洞比例以及所述每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間，設(shè)置對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間并保存；在所述執(zhí)行數(shù)據(jù)清除操作的時(shí)間到來時(shí)對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作。

可選地，所述獲取所述新數(shù)據(jù)文件中每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間，包括：讀取所述新數(shù)據(jù)文件中每個(gè)數(shù)據(jù)單元的特定字段，獲取所述每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間。

可選地，所述結(jié)合所述數(shù)據(jù)空洞比例以及所述每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間，設(shè)置對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間并保存，包括：將所述新數(shù)據(jù)文件中的數(shù)據(jù)單元按照剩余生存時(shí)間從小到大的順序進(jìn)行排列，生成過期數(shù)據(jù)單元列表；按照所述數(shù)據(jù)空洞比例，從所述過期數(shù)據(jù)單元列表的第一個(gè)數(shù)據(jù)單元開始依次對所述數(shù)據(jù)單元進(jìn)行選取；依據(jù)選取出的最后一個(gè)數(shù)據(jù)單元的剩余生存時(shí)間設(shè)置對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間并保存。

可選地，所述依據(jù)選取出的最后一個(gè)數(shù)據(jù)單元的剩余生存時(shí)間設(shè)置對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間，包括：獲取所述選取出的最后一個(gè)數(shù)據(jù)單元的剩余生存時(shí)間；將所述選取出的最后一個(gè)數(shù)據(jù)單元剩余生存時(shí)間與所述新數(shù)據(jù)文件生成時(shí)的時(shí)間進(jìn)行疊加后的時(shí)間設(shè)置為所述新數(shù)據(jù)文件下次執(zhí)行數(shù)據(jù)清除的時(shí)間。

可選地，所述保存對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間，包括：將對所述新數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除的時(shí)間寫入所述新數(shù)據(jù)文件的預(yù)設(shè)字段。

可選地，所述數(shù)據(jù)文件為key-value結(jié)構(gòu)的數(shù)據(jù)文件。

可選地，所述獲取所述新數(shù)據(jù)文件中每個(gè)數(shù)據(jù)單元的剩余生存時(shí)間，包括：讀取與key對應(yīng)的value中的ttl字段，獲取所述新key-value數(shù)據(jù)文件中每個(gè)key的剩余生存時(shí)間。

可選地，所述保存對所述數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除操作的時(shí)間，包括：將對所述新key-value數(shù)據(jù)文件執(zhí)行數(shù)據(jù)清除的時(shí)間寫入新key-value數(shù)據(jù)文件的末尾。

根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種清除過期數(shù)據(jù)的裝置，包括：