[發(fā)明專利]HBase二級索引表的查詢方法和裝置有效
| 申請?zhí)枺?/td> | 201410483879.X | 申請日: | 2014-09-19 |
| 公開(公告)號: | CN104217011B | 公開(公告)日: | 2017-08-25 |
| 發(fā)明(設(shè)計(jì))人: | 劉璧怡;郭美思;吳楠 | 申請(專利權(quán))人: | 浪潮(北京)電子信息產(chǎn)業(yè)有限公司 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司11262 | 代理人: | 王丹,李丹 |
| 地址: | 100085 北京市海*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | hbase 二級 索引 查詢 方法 裝置 | ||
1.一種HBase二級索引表的查詢方法,其特征在于,包括:
判斷HBase源表是否有對應(yīng)的二級索引表,通過所述二級索引表查詢HBase表的列中屬性值;
如果沒有,根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,利用revertrow函數(shù)和Map函數(shù)創(chuàng)建HBase源表對應(yīng)的二級索引表的Rowkey和屬性值,并同步HBase源表的數(shù)據(jù)到對應(yīng)的二級索引表的Rowkey和屬性值中;
如果有,同步HBase源表的插入數(shù)據(jù)操作或刪除數(shù)據(jù)操作到對應(yīng)的二級索引表中;
其中,所述根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,利用revertrow函數(shù)和Map函數(shù)創(chuàng)建HBase源表對應(yīng)的二級索引表的Rowkey和屬性值,并同步HBase源表的數(shù)據(jù)到對應(yīng)的二級索引表的Rowkey和屬性值中,包括:
利用revertrow函數(shù),根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,設(shè)置二級索引表的Rowkey;
利用Map函數(shù),根據(jù)ImmutableBytesWritable key參數(shù)和Result value參數(shù),提取HBase源表中的Rowkey及value值,遍歷每個(gè)KeyValue獲取相應(yīng)二級索引表中的Rowkey,并根據(jù)HBase源表的Rowkey和列屬性值設(shè)置二級索引表的屬性值;
在Map函數(shù)中調(diào)用revertrow函數(shù),將revertrow函數(shù)的返回值Rowkey保存,并根據(jù)返回值Rowkey新建Put對象,為新建的Put對象添加相應(yīng)的屬性值;
用ImmutableBytesWritable對象封裝,用Context.write存儲(chǔ)結(jié)果。
2.根據(jù)權(quán)利要求1所述的HBase二級索引表的查詢方法,其特征在于,所述通過所述二級索引表查詢HBase表的列中屬性值,包括:
通過所述二級索引表查詢HBase表的列中屬性值的全部記錄。
3.根據(jù)權(quán)利要求1所述的HBase二級索引表的查詢方法,其特征在于,所述同步HBase源表的插入數(shù)據(jù)操作或刪除數(shù)據(jù)操作到對應(yīng)的二級索引表中,包括:
在Put函數(shù)或Delete函數(shù)中增加HBase源表對應(yīng)的二級索引表的名稱的參數(shù);
在對HBase源表進(jìn)行插入數(shù)據(jù)操作或刪除數(shù)據(jù)操作時(shí),提取插入或刪除數(shù)據(jù)的Rowkey及value值,根據(jù)提取的Rowkey及Value值設(shè)置二級索引表的Rowkey及Value值;
根據(jù)HBase源表對應(yīng)的二級索引表的名稱的參數(shù),將設(shè)置的二級索引表的Rowkey及Value值進(jìn)行插入操作或者刪除操作。
4.一種HBase二級索引表的查詢裝置,其特征在于,包括:
判斷模塊,用于判斷HBase源表是否有對應(yīng)的二級索引表,通過所述二級索引表查詢HBase表的列中屬性值;
創(chuàng)建模塊,用于根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,利用revertrow函數(shù)和Map函數(shù)創(chuàng)建HBase源表對應(yīng)的二級索引表的Rowkey和屬性值;
其中,所述創(chuàng)建模塊,根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,利用revertrow函數(shù)和Map函數(shù)創(chuàng)建HBase源表對應(yīng)的二級索引表的Rowkey和屬性值指:利用revertrow函數(shù),根據(jù)HBase源表中的列族信息、列信息、列屬性值及HBase源表中對應(yīng)的Rowkey,設(shè)置二級索引表的Rowkey;利用Map函數(shù),根據(jù)ImmutableBytesWritable key參數(shù)和Result value參數(shù),提取HBase源表中的Rowkey及value值,遍歷每個(gè)KeyValue獲取相應(yīng)二級索引表中的Rowkey,并根據(jù)HBase源表的Rowkey和列屬性值設(shè)置二級索引表的屬性值;在Map函數(shù)中調(diào)用revertrow函數(shù),將revertrow函數(shù)的返回值Rowkey保存,并根據(jù)返回值Rowkey新建Put對象,為新建的Put對象添加相應(yīng)的屬性值;用ImmutableBytesWritable對象封裝,用Context.write存儲(chǔ)結(jié)果;
同步模塊,用于同步HBase源表的數(shù)據(jù)到對應(yīng)的二級索引表中;同步HBase源表的插入數(shù)據(jù)操作或刪除數(shù)據(jù)操作到對應(yīng)的二級索引表中。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于浪潮(北京)電子信息產(chǎn)業(yè)有限公司,未經(jīng)浪潮(北京)電子信息產(chǎn)業(yè)有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201410483879.X/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06F 電數(shù)字?jǐn)?shù)據(jù)處理
G06F17-00 特別適用于特定功能的數(shù)字計(jì)算設(shè)備或數(shù)據(jù)處理設(shè)備或數(shù)據(jù)處理方法
G06F17-10 .復(fù)雜數(shù)學(xué)運(yùn)算的
G06F17-20 .處理自然語言數(shù)據(jù)的
G06F17-30 .信息檢索;及其數(shù)據(jù)庫結(jié)構(gòu)
G06F17-40 .數(shù)據(jù)的獲取和記錄
G06F17-50 .計(jì)算機(jī)輔助設(shè)計(jì)
- 一種基于thrift服務(wù)的HBase安全插件
- 一種實(shí)現(xiàn)Windows下連接控制Hbase的方法及裝置
- 一種基于大數(shù)據(jù)的數(shù)據(jù)脫敏方法和Hbase脫敏處理系統(tǒng)
- 多個(gè)集群數(shù)據(jù)一致性的控制方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- HBase數(shù)據(jù)遷移方法及遷移裝置
- 基于phoenix改造hbase舊系統(tǒng)的索引同步方法、裝置及系統(tǒng)
- 一種格式化HBase數(shù)據(jù)的方法
- 一種多HBase集群訪問方法、裝置及存儲(chǔ)介質(zhì)
- HBase集群平衡方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)
- 一種基于AEP內(nèi)存的HBase集群性能優(yōu)化方法及系統(tǒng)
- 帶有前處理和后處理的數(shù)據(jù)庫復(fù)合查詢系統(tǒng)及方法
- 數(shù)據(jù)庫查詢的方法和系統(tǒng)
- 查詢系統(tǒng)、查詢終端以及查詢方法
- 交易信息查詢方法、查詢裝置及查詢系統(tǒng)
- 數(shù)據(jù)查詢與結(jié)果生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)
- 在RDF數(shù)據(jù)集上進(jìn)行OPTIONAL查詢的方法及存儲(chǔ)介質(zhì)
- 一種多表關(guān)聯(lián)查詢方法、裝置及設(shè)備
- 一種基于Impala的查詢方法和裝置
- 從查詢生成子查詢
- 一種基于通用查詢語言的查詢方法及查詢系統(tǒng)





