[發(fā)明專利]基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法

有效

• 申請?zhí)枺?/td>: 201410449359.7
• 申請日: 2014-09-04
• 公開（公告）號: CN104252528B
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計）人: 馬艷;郭志紅;陳玉峰
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;國網(wǎng)山東省電力公司電力科學(xué)研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南圣達(dá)知識產(chǎn)權(quán)代理有限公司37221
• 代理人: 張勇

1.一種基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法，其特征是，包括以下步驟：

(1)根據(jù)查詢屬性生成索引條目，利用Baton協(xié)議組織索引節(jié)點及索引條目，建立Baton索引組織；

(2)查詢操作：數(shù)據(jù)處理節(jié)點在查詢非Rowkey屬性時，將查詢所需數(shù)據(jù)請求發(fā)送給索引節(jié)點，索引節(jié)點通過Baton路由協(xié)議將數(shù)據(jù)檢索請求發(fā)送到需檢索索引條目所在的索引節(jié)點，所述索引節(jié)點通過物理地址獲取所需數(shù)據(jù)，并發(fā)送給相應(yīng)的數(shù)據(jù)處理節(jié)點；

所述步驟(1)中建立索引組織的方法包括：

a)對所有的屬性索引統(tǒng)一編號；每一個屬性索引都由若干索引條目組成，設(shè)e_j為索引條目，I_i為屬性索引，則I_i＝∪{e_j}；其中，i為屬性索引的編號，j為索引條目編號；

b)每個索引條目e_j都通過映射函數(shù)映射到標(biāo)識符空間D的某個位置；所述標(biāo)識符空間D為映射函數(shù)的值域范圍；

c)利用Baton組織索引節(jié)點，每個索引節(jié)點負(fù)責(zé)管理部分標(biāo)識符空間，所有索引節(jié)點組成一個關(guān)于標(biāo)識符空間D的覆蓋網(wǎng)絡(luò)，各索引節(jié)點基于Baton組成一個樹型結(jié)構(gòu)；

d)確定各索引節(jié)點負(fù)責(zé)管理的索引條目，每個索引節(jié)點利用B+樹存儲自己所負(fù)責(zé)的索引條目；

e)每個索引條目指向數(shù)據(jù)存儲物理地址。

2.如權(quán)利要求1所述的一種基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法，其特征是，所述Baton協(xié)議為一種利用樹形結(jié)構(gòu)組織對等網(wǎng)絡(luò)的協(xié)議，所述Baton協(xié)議能夠替換為其他類型的網(wǎng)絡(luò)結(jié)構(gòu)。

3.如權(quán)利要求1所述的一種基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法，其特征是，所述索引條目e_j由屬性值a_j與存儲位置p_j組成，即e_j：<a_j，p_j>，存儲位置p_j指向存儲數(shù)據(jù)記錄的HFile標(biāo)號及邏輯偏移量。

4.如權(quán)利要求1所述的一種基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法，其特征是，所述索引條目e_j通過映射函數(shù)映射到標(biāo)識符空間D的某個位置的方法為：

1)將標(biāo)識符空間D分割為n個等大小的屬性索引區(qū)，屬性索引區(qū)表示為B；將每個屬性索引對應(yīng)存儲到一個B中；

2)對于屬性索引I_i的任意索引條目e_j：<a_j，p_j>，計算e_j在D的位置的方法為：

L_j＝B*i+B*(min+a_j)/(max-min)(1)

其中，Lj是ej映射到標(biāo)識符空間D中的位置，i為屬性索引的編號，max與min分別為屬性值a_j可取值的最大值與最小值。

5.如權(quán)利要求1所述的一種基于標(biāo)識符空間映射的大數(shù)據(jù)二級索引構(gòu)建方法，其特征是，所述步驟(2)的具體方法為：

Ⅰ)對于一個查詢命令Q，數(shù)據(jù)處理節(jié)點解析查詢命令Q要使用的屬性索引I_i及索引條目e_j；

Ⅱ)選擇任意一個索引節(jié)點作為入口查詢節(jié)點；

Ⅲ)計算索引條目e_j在D的位置，根據(jù)Baton路由協(xié)議將查詢命令Q發(fā)送到負(fù)責(zé)索引條目e_j的索引節(jié)點；

IV)所述索引節(jié)點根據(jù)索引條目e_j指向的物理地址，獲得數(shù)據(jù)記錄；所述索引節(jié)點可進(jìn)行并行查詢；

V)索引節(jié)點將數(shù)據(jù)記錄返回給數(shù)據(jù)處理節(jié)點；

VI)數(shù)據(jù)處理節(jié)點獲得數(shù)據(jù)，進(jìn)行查詢處理。