[發明專利]一種基于地理散列的空間分布式存儲優化方法

在審

• 申請號: 202110429829.3
• 申請日: 2021-04-21
• 公開（公告）號: CN113093998A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 馮文濤;朱與墨;孫偉;吳丹;田鵬飛
• 申請（專利權）人: 億景智聯（北京）科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/13;G06F16/14;G06F16/182
• 代理公司: 南京鼎傲知識產權代理事務所(普通合伙) 32327
• 代理人: 劉藹民

本發明公開了一種基于地理散列的空間分布式存儲優化方法，包括如下步驟：S1、使用構建無序地理哈希散列來構建rowkey；S2、依據hash關系與原有數據進行歸屬關聯構建，將原有空間數據進行地理映射，利用映射散列的地理區域切分，運用已切分地理散列區域構建region預分區，使hbase中節點負載均勻；本發明集成大數據空間存儲技術與地理編碼技術，通過地理散列與hbase預分區方案，二者相結合，完美構建空間大數據存儲方案，依據預生成的region，提升hbase數倉的吞吐效率，再配合地理散列，使寫入數據都能按規劃地理區間均勻命中這些預建region，極大程度上避免了以上眾多缺點，使存儲查詢性能大大提升。

技術領域

本發明涉及空間大數據技術領域，具體為一種基于地理散列的空間分布式存儲優化方法。

背景技術

地理散列又稱為空間編碼，是將空間分割成區域，再通過區域構建規律性的編碼映射，并通過編碼散列字符長度控制地理縮放區域層級范圍，地理散列映射也是GIS空間數據存儲管理的一種重要編碼手段，對于提升計算機空間計算效率具有重要意義；

通過地理散列區域網格劃分，從而進行分布式存儲，在空間大數據分布式存儲領域，如何提高空間數據海量吞吐效率一直是個難以解決的問題。

發明內容

本發明提供一種基于地理散列的空間分布式存儲優化方法，可以有效解決上述背景技術中提出通過地理散列區域網格劃分，從而進行分布式存儲，在空間大數據分布式存儲領域，如何提高空間數據海量吞吐效率一直是個難以解決的問題。

為實現上述目的，本發明提供如下技術方案：一種基于地理散列的空間分布式存儲優化方法，包括如下步驟：

S1、使用構建無序地理哈希散列來構建rowkey；

S2、依據hash關系與原有數據進行歸屬關聯構建，將原有空間數據進行地理映射，利用映射散列的地理區域切分，運用已切分地理散列區域構建region預分區，使hbase中節點負載均勻；

S3、根據地理空間范圍，從而生成預分區region數目，針對地理散列字符集進行區域關聯歸屬切分，構建相關的splitkeys，并根據splitkey大小構建region間rowkey的臨界值。

根據上述技術方案，所述S1中通過地理散列思想，劃分次數越多，區域面積越小，再將經緯度進行編碼，將地理位置分區，使區域更準確。

與現有技術相比，本發明的有益效果：本發明集成大數據空間存儲技術與地理編碼技術，通過地理散列與hbase預分區方案，二者相結合，完美構建空間大數據存儲方案，依據預生成的region，提升hbase數倉的吞吐效率，再配合地理散列，使寫入數據都能按規劃地理區間均勻命中這些預建region，極大程度上避免了以上眾多缺點，使存儲查詢性能大大提升。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。

在附圖中：

圖1是本發明的算法流程示意圖；

圖2是本發明的地理散列格區域生成方式示意圖；

圖3是本發明的地理映射流程圖示意圖。

具體實施方式

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。

實施例：如圖1-3所示，本發明提供一種基于地理散列的空間分布式存儲優化方法技術方案，使用構建無序地理哈希散列來構建rowkey，即能夠充分利用其特殊空間區域映射關系，即優化地理空間查詢的準確度與置信度，又通過散列無序結構，解決了熱region的分布式存儲問題，極大提升數據的查詢效率，又構建了可靠的空間關系物理分布。