[發(fā)明專利]一種用于電力大數(shù)據(jù)快速組合查詢的動態(tài)索引方法

有效

• 申請?zhí)枺?/td>: 201410654100.6
• 申請日: 2014-11-18
• 公開（公告）號: CN104317966B
• 公開（公告）日: 2017-08-08
• 發(fā)明（設計）人: 鄭海雁;金農(nóng);顧國棟;丁曉;吳鋼;王紅星;徐金玲;金璐;熊政;丁陳;方超;仲春林;李昆明;李新家;尹飛;孟嘉;季聰
• 申請（專利權）人: 國家電網(wǎng)公司;江蘇省電力公司;江蘇方天電力技術有限公司;江蘇省電力公司南京供電公司;上海晟淘大數(shù)據(jù)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京縱橫知識產(chǎn)權代理有限公司32224
• 代理人: 董建林

1.一種用于電力大數(shù)據(jù)快速組合查詢的動態(tài)索引方法，其特征在于，所述方法具體包括如下步驟：

SS1利用動態(tài)索引圖技術，為電力大數(shù)據(jù)建立一套立體的索引系統(tǒng)；

SS2利用多條件組合查詢方法創(chuàng)建索引；所述步驟SS2包括：當用戶使用條件組合進行數(shù)據(jù)查詢時，數(shù)據(jù)庫引擎會依據(jù)自身的獨有機制動態(tài)使用這些原本獨立創(chuàng)建索引提供任意組合的多條件的數(shù)據(jù)查詢；步驟SS2還包括：若使用沒有創(chuàng)建索引的字段與其它已經(jīng)創(chuàng)建了索引的字段進行組合查詢，系統(tǒng)首先智能地去判斷，發(fā)現(xiàn)其中的幾個字段已有索引，將優(yōu)先使用這幾個字段初步判斷與過濾，得到一組中間查詢結果；對于并未建立索引的其它字段，需要再對中間結果數(shù)據(jù)進行逐條掃描；

SS3建立電力大數(shù)據(jù)快速組合查詢方案；所述步驟SS3具體包括如下步驟：

1)用戶從客戶端輸入SQL命令；

2)通過JDBC和HBase連接到索引數(shù)據(jù)庫；所述步驟SS3中的步驟2)包括：當HBase讀入新增數(shù)據(jù)時，所有數(shù)據(jù)同步被送到指定的查詢加速服務器，按指定關鍵字和日期對某個字段進行數(shù)值的統(tǒng)計，并建立查詢索引；當用戶向HBase發(fā)出查詢請求時，該請求被即時送到特制的查詢引擎，根據(jù)查詢條件返回對應的索引地址，通過索引地址找到原始數(shù)據(jù)，并返回結果；

3)解析SQL命令，從索引數(shù)據(jù)庫找到對應的索引文件；

4)對索引文件進行修剪，形成針對具體查詢命令的動態(tài)索引圖；

5)通過動態(tài)索引圖，得到需要查詢的HFile的RowKey；

6)HBase根據(jù)RowKey從HDFS取數(shù)據(jù)；

7)將查詢結果返回給用戶。

2.根據(jù)權利要求1所述的一種用于電力大數(shù)據(jù)快速組合查詢的動態(tài)索引方法，其特征在于，所述步驟SS1包括：首先利用第一個域進行排序，建立若干索引起始點，然后使用hash技術將索引分段，構建一個多級立體式的索引分段系統(tǒng)。