[發(fā)明專利]一種管理元數(shù)據(jù)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201611139129.6
• 申請日: 2016-12-12
• 公開（公告）號: CN106777062B
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計(jì)）人: 李雪生
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/16;G06F16/188
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

本發(fā)明提供了一種管理元數(shù)據(jù)的方法及裝置，該方法包括：針對目錄對應(yīng)的至少兩個(gè)分組，確定各分組對應(yīng)的映射范圍；將每一個(gè)文件對應(yīng)的元數(shù)據(jù)分別存儲(chǔ)至與其相匹配的映射范圍對應(yīng)的分組中；在監(jiān)測到目錄的存儲(chǔ)容量不位于預(yù)設(shè)閾值范圍內(nèi)時(shí)，建立第一數(shù)量的虛擬目錄，并根據(jù)分組遷移規(guī)則，針對當(dāng)前存在的全部分組進(jìn)行相應(yīng)遷移處理。基于分組以分別存儲(chǔ)海量元數(shù)據(jù)，故在目錄的存儲(chǔ)容量超限時(shí)，可以通過增加虛擬目錄并遷移分組的方式，以通過虛擬目錄經(jīng)分組存儲(chǔ)元數(shù)據(jù)，從而可以解決目錄存儲(chǔ)容量超限的問題。因此，本方案能夠提高元數(shù)據(jù)的檢索效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種管理元數(shù)據(jù)的方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的發(fā)展，非結(jié)構(gòu)化的數(shù)據(jù)呈爆炸式增長，數(shù)據(jù)產(chǎn)生量日益暴增。例如，大規(guī)模傳感器會(huì)產(chǎn)生海量的數(shù)據(jù)片段，從而形成數(shù)量龐大的小數(shù)據(jù)文件。其中，可以采用文件保存數(shù)據(jù)的方式以存儲(chǔ)產(chǎn)生的海量數(shù)據(jù)，以便于數(shù)據(jù)共享及管理。

目前，針對文件對應(yīng)的元數(shù)據(jù)，可以將海量的元數(shù)據(jù)均存儲(chǔ)于文件系統(tǒng)的單一目錄中。

但是，隨著各元數(shù)據(jù)的不斷存入，單一目錄內(nèi)元數(shù)據(jù)的數(shù)量易過大。故當(dāng)需要查找目標(biāo)文件以進(jìn)行相應(yīng)元數(shù)據(jù)檢索時(shí)，現(xiàn)有的元數(shù)據(jù)管理方式會(huì)降低元數(shù)據(jù)的檢索效率。

發(fā)明內(nèi)容

本發(fā)明提供了一種管理元數(shù)據(jù)的方法及裝置，能夠提高元數(shù)據(jù)的檢索效率。

為了達(dá)到上述目的，本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

一方面，本發(fā)明提供了一種管理元數(shù)據(jù)的方法，包括：

S1：針對目錄對應(yīng)的至少兩個(gè)分組，確定每一個(gè)所述分組對應(yīng)的映射范圍；

S2：針對每一個(gè)文件對應(yīng)的元數(shù)據(jù)均執(zhí)行：將該元數(shù)據(jù)存儲(chǔ)至與其相匹配的映射范圍對應(yīng)的分組中；

S3：在監(jiān)測到所述目錄的存儲(chǔ)容量不位于預(yù)先設(shè)定的第一閾值范圍內(nèi)時(shí)，執(zhí)行S4；

S4：建立第一數(shù)量的虛擬目錄，并根據(jù)預(yù)先確定的分組遷移規(guī)則，針對當(dāng)前存在的全部分組，進(jìn)行相應(yīng)遷移處理。

進(jìn)一步地，每一個(gè)文件對應(yīng)的元數(shù)據(jù)中均包括有該文件的名稱；

所述S2，包括：針對每一個(gè)文件對應(yīng)的元數(shù)據(jù)均執(zhí)行：根據(jù)其中包括的文件的名稱，計(jì)算所述名稱對應(yīng)的哈希值；確定與所述哈希值相匹配的目標(biāo)映射范圍，其中，所述哈希值位于所述目標(biāo)映射范圍內(nèi)；將該元數(shù)據(jù)存儲(chǔ)至所述目標(biāo)映射范圍對應(yīng)的分組中。

進(jìn)一步地，所述目錄的存儲(chǔ)容量符合公式一，其中，

所述公式一包括：

其中，X為所述目錄的存儲(chǔ)容量，n為所述至少兩個(gè)分組的個(gè)數(shù)，N_i為所述至少兩個(gè)分組中的第i個(gè)分組中存儲(chǔ)的元數(shù)據(jù)的個(gè)數(shù)。

進(jìn)一步地，所述第一數(shù)量為通過所述遷移處理，以使當(dāng)前存在的任一虛擬目錄的存儲(chǔ)容量均位于所述第一閾值范圍內(nèi)的最小個(gè)數(shù)。

進(jìn)一步地，在S4之后還包括：在監(jiān)測到存在任一虛擬目錄的存儲(chǔ)容量不位于所述第一閾值范圍內(nèi)時(shí)，執(zhí)行S4。

進(jìn)一步地，所述分組遷移規(guī)則，包括：當(dāng)前存在的全部分組中的各分組順序排列，且當(dāng)前存在的全部虛擬目錄中的各虛擬目錄順序排列時(shí)，根據(jù)公式二確定每一個(gè)虛擬目錄對應(yīng)的分組的個(gè)數(shù)；

當(dāng)前存在的全部虛擬目錄的個(gè)數(shù)為所述第一數(shù)量時(shí)，根據(jù)確定出的每一個(gè)虛擬目錄對應(yīng)的分組的個(gè)數(shù)，將所述至少兩個(gè)分組分別遷移至當(dāng)前存在的每一個(gè)虛擬目錄中，其中，對于任意兩個(gè)虛擬目錄，當(dāng)其中的第一虛擬目錄的排列順序位于其中的第二虛擬目錄的排列順序之后時(shí)，該第一虛擬目錄中的各分組的排列順序均位于該第二虛擬目錄中的各分組的排列順序之后；