[發(fā)明專利]基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010597139.0
• 申請(qǐng)日: 2010-12-10
• 公開（公告）號(hào): CN102033938A
• 公開（公告）日: 2011-04-27
• 發(fā)明（設(shè)計(jì)）人: 李陽;何清法;顧云蘇;馮柯;蔣志勇;徐巖;謝衛(wèi)平;李曉鵬;劉榮;賈宗秀
• 申請(qǐng)（專利權(quán)）人: 天津神舟通用數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京北新智誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11100
• 代理人: 張衛(wèi)華

1.一種基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法，其特征在于包括以下步驟：

1)在第一維對(duì)集群的數(shù)據(jù)按照hash方法進(jìn)行負(fù)載的均衡分布，這是第一級(jí)映射，在第一維的基礎(chǔ)上采用一個(gè)M:N的映射表來進(jìn)行第二級(jí)的映射，此處，M代表經(jīng)過hash分布之后的hash桶數(shù)，N代表集群的數(shù)據(jù)節(jié)點(diǎn)數(shù)；

2)通過更改第二維的映射表來動(dòng)態(tài)增加新增節(jié)點(diǎn)，即實(shí)現(xiàn)集群的動(dòng)態(tài)擴(kuò)展。

2.如權(quán)利要求1所述的基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法，其特征在于：

所述步驟1)進(jìn)一步分為以下步驟：

1.1)為集群創(chuàng)建表和hash分布，該表中包括字段Oid、BucketID、Ddl，并將第一級(jí)的分布信息存儲(chǔ)在元數(shù)據(jù)庫中，其中：Oid為對(duì)象在數(shù)據(jù)庫中的唯一標(biāo)識(shí)；BucketID為經(jīng)過hash分布之后的hash桶號(hào)；Ddl為創(chuàng)建該表的sql語句；

1.2)建立映射表，將hash桶號(hào)對(duì)節(jié)點(diǎn)號(hào)的映射關(guān)系信息存入元數(shù)據(jù)庫中；

1.3)導(dǎo)入數(shù)據(jù)，并提供查詢服務(wù)。

3.如權(quán)利要求1所述的基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法，其特征在于：

所述步驟2)進(jìn)一步分為以下步驟：

2.1)對(duì)新節(jié)點(diǎn)進(jìn)行表模式定義，由于新增節(jié)點(diǎn)要存儲(chǔ)表數(shù)據(jù)，因此必須對(duì)新增節(jié)點(diǎn)創(chuàng)建同其它節(jié)點(diǎn)一樣的表模式，根據(jù)元數(shù)據(jù)庫中保存的表的模式信息對(duì)新節(jié)點(diǎn)進(jìn)行模式定義；

2.2)對(duì)元數(shù)據(jù)庫的二級(jí)映射表通過進(jìn)行增加操作，來更改桶號(hào)BucketID所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)號(hào)NodeID；

2.3)新增節(jié)點(diǎn)之后，當(dāng)需要導(dǎo)入數(shù)據(jù)時(shí)，為了維持負(fù)載的均衡，將該hash桶的新增數(shù)據(jù)都導(dǎo)入新增節(jié)點(diǎn)，直到同一個(gè)hash桶對(duì)應(yīng)的節(jié)點(diǎn)負(fù)載一致之后，新增數(shù)據(jù)將被循環(huán)地導(dǎo)入該hash桶對(duì)應(yīng)的各個(gè)節(jié)點(diǎn)；如果是查詢，首先根據(jù)表名查找一級(jí)映射表獲得該表對(duì)應(yīng)的所有桶號(hào)，然后根據(jù)桶號(hào)查找二級(jí)映射表獲得對(duì)應(yīng)所有節(jié)點(diǎn)位置，并對(duì)所有位置應(yīng)用該查詢。

4.如權(quán)利要求2所述的基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法，其特征在于：

在所述步驟1.1)中，Hash桶數(shù)的選擇至少為節(jié)點(diǎn)數(shù)的2倍。

5.如權(quán)利要求2所述的基于二級(jí)映射的集群動(dòng)態(tài)擴(kuò)展方法，其特征在于：

在所述步驟1.3)中，無論導(dǎo)入數(shù)據(jù)，還是查詢，首先都要定位目標(biāo)數(shù)據(jù)的位置，如果是導(dǎo)入數(shù)據(jù)，第一步先根據(jù)數(shù)據(jù)的hash鍵值進(jìn)行hash，獲得對(duì)應(yīng)的桶號(hào)，第二步根據(jù)桶號(hào)查找二級(jí)映射表獲得對(duì)應(yīng)的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)位置，從而將數(shù)據(jù)導(dǎo)入該數(shù)據(jù)節(jié)點(diǎn)；如果是查詢，首先根據(jù)表名查找一級(jí)映射表獲得該表對(duì)應(yīng)的所有桶號(hào)，然后根據(jù)桶號(hào)查找二級(jí)映射表獲得對(duì)應(yīng)節(jié)點(diǎn)位置，并對(duì)所有位置應(yīng)用該查詢。