[發(fā)明專利]一種大數(shù)據(jù)分布式存儲管理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811119218.3
• 申請日: 2018-09-25
• 公開（公告）號: CN109407977B
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 張彩霞;郭靜;王向東;王新東;胡紹林
• 申請（專利權(quán)）人: 佛山科學(xué)技術(shù)學(xué)院
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/182;G06F16/176
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 王國標(biāo)

1.一種大數(shù)據(jù)分布式存儲管理系統(tǒng)，其特征在于，所述系統(tǒng)包括數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)服務(wù)器、共享存儲池、備用節(jié)點(diǎn)；

所述數(shù)據(jù)節(jié)點(diǎn)，用于將數(shù)據(jù)分塊，形成數(shù)據(jù)塊信息，對所述數(shù)據(jù)塊信息進(jìn)行校驗(yàn)，以分塊的形式存放校驗(yàn)后的數(shù)據(jù)塊信息，將所述數(shù)據(jù)塊信息發(fā)送給元數(shù)據(jù)服務(wù)器；

所述元數(shù)據(jù)服務(wù)器，用于處理元數(shù)據(jù)請求，存儲文件系統(tǒng)的元數(shù)據(jù)信息，存儲自身名字空間管理，提供系統(tǒng)服務(wù)；

所述共享存儲池，用于同步元數(shù)據(jù)服務(wù)器的名字空間信息；

所述備用節(jié)點(diǎn)，用于對元數(shù)據(jù)服務(wù)器進(jìn)行熱備份；

其中，所述數(shù)據(jù)節(jié)點(diǎn)，用于定期對元數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)采集，將內(nèi)存元數(shù)據(jù)信息和日志內(nèi)容合并成一個新的鏡像文件，并將所述鏡像文件發(fā)送到共享存儲池中進(jìn)行存儲；

所述元數(shù)據(jù)服務(wù)器還用于根據(jù)各數(shù)據(jù)節(jié)點(diǎn)信息及列表項(xiàng)配置信息生成數(shù)據(jù)節(jié)點(diǎn)列表，將數(shù)據(jù)存放到元數(shù)據(jù)服務(wù)器對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，每臺數(shù)據(jù)節(jié)點(diǎn)的項(xiàng)數(shù)按以下公式計算：

其中，Ui表示第i臺數(shù)據(jù)節(jié)點(diǎn)在列表內(nèi)所出現(xiàn)的次數(shù)，C表示列表的項(xiàng)數(shù)，n表示數(shù)據(jù)節(jié)點(diǎn)總數(shù)，U_i即為每臺數(shù)據(jù)節(jié)點(diǎn)的項(xiàng)數(shù)；

所述系統(tǒng)服務(wù)包括：通過將多個元數(shù)據(jù)服務(wù)器構(gòu)成一個全局的名字空間，作為共享存儲池中共享存儲節(jié)點(diǎn)，保存元數(shù)據(jù)服務(wù)器鏡像和日志文件的副本信息；

所述系統(tǒng)還包括切換模塊，用于當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程切換至備用節(jié)點(diǎn)。

2.一種大數(shù)據(jù)分布式存儲管理方法，其特征在于，所述方法基于權(quán)利要求1所述的一種大數(shù)據(jù)分布式存儲管理系統(tǒng)，包括以下步驟：

步驟S1、將數(shù)據(jù)分塊，形成數(shù)據(jù)塊信息，對所述數(shù)據(jù)塊信息進(jìn)行校驗(yàn)，以分塊的形式存放校驗(yàn)后的數(shù)據(jù)塊信息，將所述數(shù)據(jù)塊信息發(fā)送給元數(shù)據(jù)服務(wù)器；

步驟S2、處理元數(shù)據(jù)請求，存儲文件系統(tǒng)的元數(shù)據(jù)信息，存儲自身名字空間管理，提供系統(tǒng)服務(wù)；

步驟S3、同步元數(shù)據(jù)服務(wù)器的名字空間信息；

步驟S4、對元數(shù)據(jù)服務(wù)器進(jìn)行熱備份；

其中，所述步驟S1還包括：定期對元數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)采集，將內(nèi)存元數(shù)據(jù)信息和日志內(nèi)容合并成一個新的鏡像文件，并將所述鏡像文件發(fā)送到共享存儲池中進(jìn)行存儲；

所述步驟S2還包括：根據(jù)各數(shù)據(jù)節(jié)點(diǎn)信息及列表項(xiàng)配置信息生成數(shù)據(jù)節(jié)點(diǎn)列表，將數(shù)據(jù)存放到元數(shù)據(jù)服務(wù)器對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，每臺數(shù)據(jù)節(jié)點(diǎn)的項(xiàng)數(shù)按以下公式計算：

其中，Ui表示第i臺數(shù)據(jù)節(jié)點(diǎn)在列表內(nèi)所出現(xiàn)的次數(shù)，C表示列表的項(xiàng)數(shù)，n表示數(shù)據(jù)節(jié)點(diǎn)總數(shù)，U_i即為每臺數(shù)據(jù)節(jié)點(diǎn)的項(xiàng)數(shù)；

所述系統(tǒng)服務(wù)包括：通過將多個元數(shù)據(jù)服務(wù)器構(gòu)成一個全局的名字空間，作為共享存儲池中共享存儲節(jié)點(diǎn)，保存元數(shù)據(jù)服務(wù)器鏡像和日志文件的副本信息；

所述方法還包括：當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程切換至備用節(jié)點(diǎn)。