[發(fā)明專利]一種分布式元數(shù)據(jù)管理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611247844.1
• 申請(qǐng)日: 2016-12-29
• 公開(kāi)（公告）號(hào): CN106599308B
• 公開(kāi)（公告）日: 2020-01-31
• 發(fā)明（設(shè)計(jì)）人: 郭曉鳳
• 申請(qǐng)（專利權(quán)）人: 郭曉鳳
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/16;G06F16/17;G06F9/50
• 代理公司: 11337 北京市盛峰律師事務(wù)所
• 代理人: 梁艷

1.一種分布式元數(shù)據(jù)管理方法，其特征在于，包括：元數(shù)據(jù)的靜態(tài)負(fù)載均衡方法和元數(shù)據(jù)的動(dòng)態(tài)負(fù)載均衡方法；

所述元數(shù)據(jù)的靜態(tài)負(fù)載均衡方法為：采用虛擬節(jié)點(diǎn)的一致性哈希函數(shù)和元數(shù)據(jù)服務(wù)器列表，將所述元數(shù)據(jù)分配到元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上；其中，所述元數(shù)據(jù)服務(wù)器列表是記錄所有虛擬節(jié)點(diǎn)到元數(shù)據(jù)服務(wù)器之間的映射關(guān)系的表，每個(gè)所述元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上存儲(chǔ)一個(gè)該節(jié)點(diǎn)上存儲(chǔ)的虛擬節(jié)點(diǎn)的列表；

所述元數(shù)據(jù)的動(dòng)態(tài)負(fù)載均衡方法為：采用元數(shù)據(jù)遷移的方式，將部分元數(shù)據(jù)從過(guò)載節(jié)點(diǎn)遷移到過(guò)輕節(jié)點(diǎn)上；

所述元數(shù)據(jù)的靜態(tài)負(fù)載均衡方法，包括如下步驟：

A1，系統(tǒng)在啟動(dòng)之后，元數(shù)據(jù)服務(wù)器管理者根據(jù)各元數(shù)據(jù)服務(wù)器信息及列表項(xiàng)配置信息生成元數(shù)據(jù)服務(wù)器列表；

A2，根據(jù)文件的完整路徑，使用一致性哈希函數(shù)，找到所述元數(shù)據(jù)服務(wù)器列表中的項(xiàng)，并找到對(duì)應(yīng)的目標(biāo)元數(shù)據(jù)服務(wù)器；

A3，根據(jù)所述元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上存儲(chǔ)的虛擬節(jié)點(diǎn)的列表，在所述目標(biāo)元數(shù)據(jù)服務(wù)器的虛擬節(jié)點(diǎn)內(nèi)添加元數(shù)據(jù)信息；

每個(gè)所述元數(shù)據(jù)服務(wù)器出現(xiàn)在所述元數(shù)據(jù)服務(wù)器列表內(nèi)的項(xiàng)數(shù)，采用如下函數(shù)計(jì)算：

其中，Ui表示的是第i臺(tái)元數(shù)據(jù)服務(wù)器在列表內(nèi)所出現(xiàn)的次數(shù)，C表示列表的項(xiàng)數(shù)，n表示所述元數(shù)據(jù)服務(wù)器的總數(shù)。

2.根據(jù)權(quán)利要求1所述的分布式元數(shù)據(jù)管理方法，其特征在于，所述一致性哈希函數(shù)為：

NameNode_Locator＝Hash(f)mod NNT_Length，

其中，NameNode_Locator表示選擇的元數(shù)據(jù)服務(wù)器列表中的項(xiàng)，f為文件的完整路徑名稱，NNT_Length為元數(shù)據(jù)服務(wù)器列表中的總項(xiàng)數(shù)。

3.根據(jù)權(quán)利要求1所述的分布式元數(shù)據(jù)管理方法，其特征在于，所述元數(shù)據(jù)的動(dòng)態(tài)負(fù)載均衡方法，包括如下步驟：

B1，所述元數(shù)據(jù)服務(wù)器定期采集負(fù)載信息，并發(fā)送給元數(shù)據(jù)服務(wù)器管理者；

B2，所述元數(shù)據(jù)服務(wù)器管理者定期計(jì)算所述元數(shù)據(jù)服務(wù)器的負(fù)載均衡度，如果所述元數(shù)據(jù)服務(wù)器的負(fù)載均衡度超過(guò)了設(shè)定的閾值，則所述元數(shù)據(jù)服務(wù)器為過(guò)載節(jié)點(diǎn)，如果所述元數(shù)據(jù)服務(wù)器的負(fù)載均衡度未達(dá)到設(shè)定的閾值，則所述元數(shù)據(jù)服務(wù)器為過(guò)輕節(jié)點(diǎn)；

B3，所述元數(shù)據(jù)服務(wù)器管理者將部分元數(shù)據(jù)從所述過(guò)載節(jié)點(diǎn)遷移到所述過(guò)輕節(jié)點(diǎn)上；

B4，所述過(guò)載節(jié)點(diǎn)和所述過(guò)輕節(jié)點(diǎn)更新負(fù)載信息，并發(fā)送給所述元數(shù)據(jù)服務(wù)器管理者。

4.根據(jù)權(quán)利要求3所述的分布式元數(shù)據(jù)管理方法，其特征在于，所述元數(shù)據(jù)服務(wù)器的負(fù)載均衡度采用如下公式進(jìn)行計(jì)算：

T_i＝η₁d_i+η₂m_i，

式中，

j_i是i節(jié)點(diǎn)在時(shí)間t內(nèi)負(fù)載均衡指標(biāo)；

w_i是t時(shí)刻內(nèi)第i個(gè)元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)的負(fù)載指標(biāo)；

n為元數(shù)據(jù)服務(wù)器的臺(tái)數(shù)；

η₁+η₂＝1，

T_i是在t時(shí)刻內(nèi)元數(shù)據(jù)服務(wù)器列表中i項(xiàng)的負(fù)載指標(biāo)，共n項(xiàng)；

d_i是t時(shí)刻內(nèi)元數(shù)據(jù)服務(wù)器列表中i項(xiàng)的操作響應(yīng)延遲；

m_i是t時(shí)刻元數(shù)據(jù)服務(wù)器列表中i項(xiàng)元數(shù)據(jù)服務(wù)器的數(shù)目。

5.根據(jù)權(quán)利要求4所述的分布式元數(shù)據(jù)管理方法，其特征在于，所述元數(shù)據(jù)的動(dòng)態(tài)負(fù)載均衡方法，還包括步驟：

計(jì)算系統(tǒng)的整體負(fù)載度，如果系統(tǒng)的整體負(fù)載度超過(guò)設(shè)定的閾值，則在系統(tǒng)中添加元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)；其中，采用如下函數(shù)計(jì)算所述系統(tǒng)的整體負(fù)載度：

其中，

E為系統(tǒng)的負(fù)載指標(biāo)，

n為元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)個(gè)數(shù)；

w_i是t時(shí)刻內(nèi)第i個(gè)元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)的負(fù)載指標(biāo)。