[發(fā)明專利]一種數(shù)據(jù)管理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110075597.6
• 申請(qǐng)日: 2021-01-20
• 公開（公告）號(hào): CN113392127A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 蘇福欽
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/245
• 分類號(hào): G06F16/245
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 朱佳

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)管理方法及裝置，用以解決任務(wù)存儲(chǔ)成本大，任務(wù)修改后執(zhí)行負(fù)擔(dān)重的問題。該方法為：根據(jù)目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)規(guī)則以及對(duì)象存儲(chǔ)于所述目標(biāo)對(duì)象存儲(chǔ)單元中的存儲(chǔ)時(shí)間點(diǎn)，從所述目標(biāo)對(duì)象存儲(chǔ)單元中選取至少一個(gè)目標(biāo)對(duì)象，其中，所述數(shù)據(jù)存儲(chǔ)規(guī)則至少包括對(duì)象的最大存儲(chǔ)時(shí)長(zhǎng)；所述數(shù)據(jù)存儲(chǔ)規(guī)則用于在對(duì)象存儲(chǔ)時(shí)與所述對(duì)象的屬性信息相對(duì)比以確定所述對(duì)象的對(duì)象存儲(chǔ)單元；根據(jù)所述目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)處理規(guī)則，以及所述至少一個(gè)目標(biāo)對(duì)象對(duì)應(yīng)的待執(zhí)行信息，生成至少一個(gè)任務(wù)；根據(jù)所述至少一個(gè)任務(wù)，對(duì)所述至少一個(gè)目標(biāo)對(duì)象執(zhí)行數(shù)據(jù)處理。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)管理方法及裝置。

背景技術(shù)

目前，人們需求的數(shù)據(jù)越來(lái)越多，而其中絕大部分是非結(jié)構(gòu)化數(shù)據(jù)。在未來(lái)，非結(jié)構(gòu)化數(shù)據(jù)更會(huì)呈現(xiàn)指數(shù)型增長(zhǎng)。隨著非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)，傳統(tǒng)的SAN(存儲(chǔ)局域網(wǎng))和NAS(網(wǎng)絡(luò)附加存儲(chǔ))存儲(chǔ)架構(gòu)不能應(yīng)對(duì)數(shù)據(jù)爆發(fā)帶來(lái)的問題。基于其扁平化、拓展性強(qiáng)的結(jié)構(gòu)特點(diǎn)，對(duì)象存儲(chǔ)成為非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的最佳解決方案。通過對(duì)象存儲(chǔ)替代穿透的SAN和NAS存儲(chǔ)，極大提升了非結(jié)構(gòu)化數(shù)據(jù)訪問和存儲(chǔ)的效率。對(duì)象存儲(chǔ)具有分布式存儲(chǔ)的所有優(yōu)點(diǎn)，靈活的拓展性，元數(shù)據(jù)的管理；通過其版本管理的強(qiáng)大功能，對(duì)象存儲(chǔ)有效地規(guī)避了人為操作的邏輯錯(cuò)誤。

相關(guān)技術(shù)中，一般在對(duì)象上傳的同時(shí)，根據(jù)對(duì)象的執(zhí)行規(guī)則和執(zhí)行時(shí)間形成任務(wù)，并進(jìn)行存儲(chǔ)。在對(duì)象到期時(shí)，系統(tǒng)輪詢出到期的任務(wù)，逐個(gè)執(zhí)行。由于對(duì)象上傳存儲(chǔ)的時(shí)候，其過期時(shí)間固化到了索引中，不僅存儲(chǔ)成本較大，如果執(zhí)行規(guī)則發(fā)生了改變，會(huì)有大量的重復(fù)任務(wù)等待執(zhí)行，加重了系統(tǒng)的執(zhí)行負(fù)擔(dān)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)管理方法及裝置，以解決任務(wù)存儲(chǔ)成本大，任務(wù)修改后執(zhí)行負(fù)擔(dān)重的問題。

本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理方法，包括：

根據(jù)目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)規(guī)則以及對(duì)象存儲(chǔ)于所述目標(biāo)對(duì)象存儲(chǔ)單元中的存儲(chǔ)時(shí)間點(diǎn)，從所述目標(biāo)對(duì)象存儲(chǔ)單元中選取至少一個(gè)目標(biāo)對(duì)象，其中，所述數(shù)據(jù)存儲(chǔ)規(guī)則至少包括對(duì)象的最大存儲(chǔ)時(shí)長(zhǎng)；所述數(shù)據(jù)存儲(chǔ)規(guī)則用于在對(duì)象存儲(chǔ)時(shí)與所述對(duì)象的屬性信息相對(duì)比以確定所述對(duì)象的對(duì)象存儲(chǔ)單元；

根據(jù)所述目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)處理規(guī)則，以及所述至少一個(gè)目標(biāo)對(duì)象對(duì)應(yīng)的待執(zhí)行信息，生成至少一個(gè)任務(wù)；所述目標(biāo)對(duì)象在上傳后存儲(chǔ)于所述目標(biāo)對(duì)象存儲(chǔ)單元，并在所述目標(biāo)對(duì)象存儲(chǔ)單元中存儲(chǔ)的時(shí)長(zhǎng)大于所述最大存儲(chǔ)時(shí)長(zhǎng)時(shí)生成所述至少一個(gè)任務(wù)；

根據(jù)所述至少一個(gè)任務(wù)，對(duì)所述至少一個(gè)目標(biāo)對(duì)象執(zhí)行數(shù)據(jù)處理。

另一方面，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理裝置，包括：

篩選單元，用于根據(jù)目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)規(guī)則以及對(duì)象存儲(chǔ)于所述目標(biāo)對(duì)象存儲(chǔ)單元中的存儲(chǔ)時(shí)間點(diǎn)，從所述目標(biāo)對(duì)象存儲(chǔ)單元中選取至少一個(gè)目標(biāo)對(duì)象，其中，所述數(shù)據(jù)存儲(chǔ)規(guī)則至少包括對(duì)象的最大存儲(chǔ)時(shí)長(zhǎng)；所述數(shù)據(jù)存儲(chǔ)規(guī)則用于在對(duì)象存儲(chǔ)時(shí)與所述對(duì)象的屬性信息相對(duì)比以確定所述對(duì)象的對(duì)象存儲(chǔ)單元；

創(chuàng)建單元，用于根據(jù)所述目標(biāo)對(duì)象存儲(chǔ)單元對(duì)應(yīng)的數(shù)據(jù)處理規(guī)則，以及所述至少一個(gè)目標(biāo)對(duì)象對(duì)應(yīng)的待執(zhí)行信息，生成至少一個(gè)任務(wù)；所述目標(biāo)對(duì)象在上傳后存儲(chǔ)于所述目標(biāo)對(duì)象存儲(chǔ)單元，并在所述目標(biāo)對(duì)象存儲(chǔ)單元中存儲(chǔ)的時(shí)長(zhǎng)大于所述最大存儲(chǔ)時(shí)長(zhǎng)時(shí)生成所述至少一個(gè)任務(wù)；

執(zhí)行單元，用于根據(jù)所述至少一個(gè)任務(wù)，對(duì)所述至少一個(gè)目標(biāo)對(duì)象執(zhí)行數(shù)據(jù)處理。

可選的，還包括匹配單元，用于：

接收上傳的對(duì)象，并確定所述對(duì)象的屬性信息；

將所述對(duì)象的屬性信息與所述目標(biāo)對(duì)象存儲(chǔ)單元的數(shù)據(jù)存儲(chǔ)規(guī)則進(jìn)行匹配；

若確定所述對(duì)象的屬性信息與所述目標(biāo)對(duì)象存儲(chǔ)單元的數(shù)據(jù)存儲(chǔ)規(guī)則匹配成功，則將所述對(duì)象保存至所述目標(biāo)對(duì)象存儲(chǔ)單元中。