[發(fā)明專利]數(shù)據(jù)索引構(gòu)建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610515000.4
• 申請(qǐng)日: 2016-07-01
• 公開（公告）號(hào): CN107562762B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 劉穎慧
• 申請(qǐng)（專利權(quán)）人: 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 楊文娟;劉芳

本發(fā)明實(shí)施例提供一種數(shù)據(jù)索引構(gòu)建方法及裝置，其中，該方法包括：獲取各修飾符在歷史查詢請(qǐng)求中出現(xiàn)的次數(shù)；遍歷HBase數(shù)據(jù)表，確定所述次數(shù)超過預(yù)設(shè)閾值的各修飾符所在的數(shù)據(jù)行；為各所述數(shù)據(jù)行建立索引，形成索引表。本發(fā)明實(shí)施例提供的數(shù)據(jù)索引構(gòu)建方法及裝置，能夠降低索引列表的內(nèi)存占用率，提高數(shù)據(jù)查詢效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)索引構(gòu)建方法及裝置。

背景技術(shù)

HBase數(shù)據(jù)庫是一種非關(guān)系型的分布式數(shù)據(jù)庫模型，它基于Hadoop的分布式文件系統(tǒng)運(yùn)行，采用列式存儲(chǔ)數(shù)據(jù)。HBase數(shù)據(jù)表中每行有唯一的行鍵，也就是Rowkey，列數(shù)據(jù)通過列簇(Column Family)和其下的修飾符qualifier定義保存。所以，在HBase數(shù)據(jù)庫中只有行鍵有索引，其他列并無索引。

目前的索引方案，都是針對(duì)數(shù)據(jù)的所有行數(shù)據(jù)，針對(duì)不同列簇，建立索引。HBase數(shù)據(jù)庫是針對(duì)大數(shù)據(jù)服務(wù)的數(shù)據(jù)庫，一般數(shù)據(jù)量都是百千萬級(jí)、甚至上億級(jí)，所以對(duì)所有數(shù)據(jù)行建立索引表，會(huì)耗費(fèi)極大的存儲(chǔ)空間，數(shù)據(jù)查詢的速度較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)索引構(gòu)建方法及裝置，用以降低索引列表的內(nèi)存占用率，提高數(shù)據(jù)查詢的效率。

本發(fā)明實(shí)施例第一方面提供一種數(shù)據(jù)索引構(gòu)建方法，該方法包括：

獲取各修飾符在歷史查詢請(qǐng)求中出現(xiàn)的次數(shù)；

遍歷HBase數(shù)據(jù)表，確定所述次數(shù)超過預(yù)設(shè)閾值的各修飾符所在的數(shù)據(jù)行；

為各所述數(shù)據(jù)行建立索引，形成索引表。

本發(fā)明實(shí)施例第二方面提供一種數(shù)據(jù)索引構(gòu)建裝置，該裝置包括：

第一獲取模塊，用于獲取各修飾符在歷史查詢請(qǐng)求中出現(xiàn)的次數(shù)；

第一確定模塊，用于遍歷HBase數(shù)據(jù)表，確定所述次數(shù)超過預(yù)設(shè)閾值的各修飾符所在的數(shù)據(jù)行；

構(gòu)建模塊，用于為各所述數(shù)據(jù)行建立索引，形成索引表。

本發(fā)明實(shí)施例，通過獲取HBase數(shù)據(jù)表中各修飾符在歷史查詢請(qǐng)求中出現(xiàn)的次數(shù)，并為出現(xiàn)次數(shù)超過預(yù)設(shè)閾值的修飾符所在的數(shù)據(jù)行建立索引，形成索引表，從而降低了索引列表的內(nèi)存占用率，提高了數(shù)據(jù)查詢的效率。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例一提供的數(shù)據(jù)索引構(gòu)建方法的流程示意圖；

圖2為本發(fā)明實(shí)施例二提供的數(shù)據(jù)索引構(gòu)建方法的流程示意圖；

圖3為本發(fā)明實(shí)施例三提供的數(shù)據(jù)索引構(gòu)建裝置的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施例四提供的數(shù)據(jù)索引構(gòu)建裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明的說明書和權(quán)利要求書的術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟的過程或結(jié)構(gòu)的裝置不必限于清楚地列出的那些結(jié)構(gòu)或步驟而是可包括沒有清楚地列出的或?qū)τ谶@些過程或裝置固有的其它步驟或結(jié)構(gòu)。