[發(fā)明專利]一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911388918.7
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111125119A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 趙普陽(yáng);楊光輝;曹梓琦;王焰輝
• 申請(qǐng)（專利權(quán)）人: 中科星圖股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/27;G06F16/29
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 鄧治平

1.一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于，包括如下步驟：

步驟1：設(shè)計(jì)HBase中的行鍵RowKey規(guī)則，包括RowKey的每個(gè)字節(jié)的定義、格式；

步驟2：根據(jù)步驟1設(shè)計(jì)的RowKey規(guī)則，從時(shí)空數(shù)據(jù)中提取出RowKey；

步驟3：根據(jù)所述設(shè)計(jì)的行鍵RowKey規(guī)則將時(shí)空數(shù)據(jù)寫入HBase；

步驟4：根據(jù)所述RowKey規(guī)則從HBase里檢索時(shí)空數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于：所述步驟1具體包括：

步驟1.1：將Rowkey第1個(gè)字節(jié)設(shè)為隨機(jī)值；

步驟1.2：將Rowkey第2個(gè)字節(jié)設(shè)為自1970年起的年數(shù)；

步驟1.3：將Rowkey第3到11個(gè)字節(jié)設(shè)為47位GeoHash和25位年內(nèi)秒數(shù)的拼接；

步驟1.4：將Rowkey第12及以后的字節(jié)設(shè)為時(shí)空數(shù)據(jù)的id。

3.根據(jù)權(quán)利要求1所述的一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于：所述步驟2具體包括：

步驟2.1：使用HBase作為數(shù)據(jù)庫(kù)；

步驟2.2：接收時(shí)空數(shù)據(jù)；

步驟2.3：從每條數(shù)據(jù)中提取出id、時(shí)間、位置信息；

步驟2.4：根據(jù)每條數(shù)據(jù)中提取的id、時(shí)間、位置信息根據(jù)RowKey規(guī)則生成所述的RowKey。

4.根據(jù)權(quán)利要求3所述的一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于：所述步驟3具體包括：

將每條數(shù)據(jù)結(jié)合所述生成的RowKey寫入HBase。

5.根據(jù)權(quán)利要求1所述的一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于：

所述步驟4中根據(jù)所述RowKey規(guī)則從HBase里檢索時(shí)空數(shù)據(jù)，包括進(jìn)行時(shí)空查詢，具體為：

步驟4.11：得到檢索條件中的位置信息；

步驟4.12：根據(jù)位置信息得到GeoHash區(qū)間；

步驟4.13：使用協(xié)處理器在HBase對(duì)應(yīng)表的每個(gè)分片上使用Scan過濾器查找初步匹配的數(shù)據(jù)；

步驟4.14：根據(jù)查找到的初步匹配數(shù)據(jù)提取value值進(jìn)行精確匹配；

步驟4.15：每個(gè)分片得到精確匹配后的結(jié)果匯總返回。

6.根據(jù)權(quán)利要求1所述的一種基于HBase的時(shí)空數(shù)據(jù)存儲(chǔ)與索引方法，其特征在于：

所述步驟4中根據(jù)所述RowKey規(guī)則從HBase里檢索時(shí)空數(shù)據(jù)，包括進(jìn)行空間查詢和聚合查詢，具體為：

步驟4.21：得到檢索條件中的位置信息和時(shí)間信息；

步驟4.22：根據(jù)位置信息和時(shí)間信息得到GeoHash區(qū)間和年數(shù)、秒數(shù)信息；

步驟4.23：使用協(xié)處理器在HBase對(duì)應(yīng)表的每個(gè)分片上使用Scan過濾器查找初步匹配的數(shù)據(jù)；

步驟4.24：根據(jù)查找到的初步匹配數(shù)據(jù)提取value值進(jìn)行精確匹配；

步驟4.25：每個(gè)分片得到精確匹配后的結(jié)果匯總返回。