[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110151856.9
• 申請(qǐng)日: 2021-02-03
• 公開（公告）號(hào): CN112948363A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 王賀
• 申請(qǐng)（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/23;G06F16/2458;G06F16/28;G06F9/50
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 沈園園;李曼

本申請(qǐng)公開了一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。該數(shù)據(jù)處理方法包括：遍歷有序結(jié)構(gòu)，確定出滿足當(dāng)前時(shí)間的目標(biāo)過期時(shí)間點(diǎn)，所述有序結(jié)構(gòu)包括以鍵值對(duì)形式存儲(chǔ)的過期時(shí)間點(diǎn)以及所述過期時(shí)間點(diǎn)對(duì)應(yīng)的對(duì)象標(biāo)識(shí)；基于所述有序結(jié)構(gòu)確定所述目標(biāo)過期時(shí)間點(diǎn)對(duì)應(yīng)的第一對(duì)象標(biāo)識(shí)；查詢所述第一對(duì)象標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)對(duì)象，以及所述數(shù)據(jù)對(duì)象對(duì)應(yīng)的第一數(shù)據(jù)結(jié)構(gòu)；對(duì)所述第一數(shù)據(jù)結(jié)構(gòu)執(zhí)行刪除操作。本申請(qǐng)實(shí)施例采用有序結(jié)構(gòu)存儲(chǔ)過期時(shí)間以及數(shù)據(jù)對(duì)象的對(duì)象標(biāo)識(shí)，能夠在淘汰數(shù)據(jù)對(duì)象時(shí)，有效提高查詢數(shù)據(jù)對(duì)象的效率。相比現(xiàn)有技術(shù)中采用哈希算法過濾過期的數(shù)據(jù)對(duì)象，提高了數(shù)據(jù)對(duì)象的命中率，并且不會(huì)出現(xiàn)隨機(jī)命中和淘汰量不足的情況。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中，redis數(shù)據(jù)庫(kù)的過期淘汰算法，通常采用哈希結(jié)構(gòu)存儲(chǔ)數(shù)據(jù)對(duì)象以及數(shù)據(jù)對(duì)象的過期時(shí)間。在進(jìn)行過期數(shù)據(jù)對(duì)象淘汰時(shí)，首先采用哈希函數(shù)對(duì)數(shù)據(jù)對(duì)象的標(biāo)識(shí)進(jìn)行計(jì)算得到哈希值，然后在哈希槽內(nèi)將哈希值根據(jù)槽內(nèi)的列表長(zhǎng)度進(jìn)行取余得到計(jì)算結(jié)果，最后根據(jù)計(jì)算結(jié)果校驗(yàn)該數(shù)據(jù)對(duì)象對(duì)應(yīng)的過期時(shí)間是否超過當(dāng)前時(shí)間，如果根據(jù)校驗(yàn)結(jié)果確定過期時(shí)間超過當(dāng)前時(shí)間，那么刪除該數(shù)據(jù)對(duì)象對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)。

在實(shí)現(xiàn)本申請(qǐng)的過程中，發(fā)明人發(fā)現(xiàn)哈希結(jié)構(gòu)屬于一種無順序的數(shù)據(jù)結(jié)構(gòu)。基于該數(shù)據(jù)結(jié)構(gòu)，采用過期淘汰算法淘汰數(shù)據(jù)對(duì)象時(shí)并不能及時(shí)、快速的淘汰過期的數(shù)據(jù)對(duì)象，同時(shí)在淘汰的過程中還會(huì)存在一部分?jǐn)?shù)據(jù)對(duì)象無法覆蓋到的的問題。

當(dāng)redis數(shù)據(jù)庫(kù)中數(shù)據(jù)量比較大時(shí)，會(huì)存在很多已經(jīng)過期，且沒有及時(shí)刪除的數(shù)據(jù)對(duì)象，因此容易引起redis數(shù)據(jù)庫(kù)阻塞，從而影響redis數(shù)據(jù)庫(kù)的正常使用。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括；

遍歷有序結(jié)構(gòu)，確定出滿足當(dāng)前時(shí)間的目標(biāo)過期時(shí)間點(diǎn)，所述有序結(jié)構(gòu)包括以鍵值對(duì)形式存儲(chǔ)的過期時(shí)間點(diǎn)以及所述過期時(shí)間點(diǎn)對(duì)應(yīng)的對(duì)象標(biāo)識(shí)；

基于所述有序結(jié)構(gòu)確定所述目標(biāo)過期時(shí)間點(diǎn)對(duì)應(yīng)的第一對(duì)象標(biāo)識(shí)；

查詢所述第一對(duì)象標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)對(duì)象，以及所述數(shù)據(jù)對(duì)象對(duì)應(yīng)的第一數(shù)據(jù)結(jié)構(gòu)；

對(duì)所述第一數(shù)據(jù)結(jié)構(gòu)執(zhí)行刪除操作。

進(jìn)一步的，所述遍歷有序結(jié)構(gòu)確定滿足當(dāng)前時(shí)間的目標(biāo)過期時(shí)間點(diǎn)，包括：

獲取當(dāng)前時(shí)間；

遍歷所述有序結(jié)構(gòu)確定最小過期時(shí)間點(diǎn)；

當(dāng)所述最小過期時(shí)間點(diǎn)小于或等于當(dāng)前時(shí)間時(shí)，將所述有序結(jié)構(gòu)中位于所述最小過期時(shí)間點(diǎn)與所述當(dāng)前時(shí)間之間的過期時(shí)間點(diǎn)確認(rèn)為所述目標(biāo)過期時(shí)間點(diǎn)。

進(jìn)一步的，所述方法還包括：

當(dāng)所述最小過期時(shí)間點(diǎn)大于所述當(dāng)前時(shí)間時(shí)，確定所述最小過期時(shí)間點(diǎn)與所述當(dāng)前時(shí)間的時(shí)間差；

根據(jù)所述時(shí)間差確定所述最小過期時(shí)間點(diǎn)對(duì)應(yīng)數(shù)據(jù)對(duì)象的剩余生存時(shí)間；

當(dāng)所述剩余生存時(shí)間滿足預(yù)設(shè)條件時(shí)，基于所述有序結(jié)構(gòu)確定所述最小過期時(shí)間點(diǎn)對(duì)應(yīng)的第二對(duì)象標(biāo)識(shí)，并將所述第二對(duì)象標(biāo)識(shí)添加至監(jiān)控隊(duì)列。

進(jìn)一步的，所述方法還包括：

接收數(shù)據(jù)更新請(qǐng)求，所述數(shù)據(jù)更新請(qǐng)求中攜帶第三對(duì)象標(biāo)識(shí)以及新增過期時(shí)間點(diǎn)；

確定所述第三對(duì)象標(biāo)識(shí)對(duì)應(yīng)的第三數(shù)據(jù)對(duì)象，以及所述第三數(shù)據(jù)對(duì)象的原始過期時(shí)間點(diǎn)；

從所述有序結(jié)構(gòu)中刪除所述原始過期時(shí)間點(diǎn)，將所述第三對(duì)象標(biāo)識(shí)與所述新增過期時(shí)間點(diǎn)對(duì)應(yīng)寫入所述有序結(jié)構(gòu)。