[發(fā)明專利]一種水利空間矢量大數(shù)據(jù)存儲管理方法

有效

• 申請?zhí)枺?/td>: 201910275301.8
• 申請日: 2019-04-04
• 公開（公告）號: CN110059067B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設計）人: 徐希濤;毛星;向南;謝凱
• 申請（專利權）人: 南京南瑞水利水電科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/29;G06F16/2458
• 代理公司: 南京縱橫知識產(chǎn)權代理有限公司 32224
• 代理人: 母秋松;董建林

1.一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：包括如下步驟：

步驟1：計算機表述水利空間矢量數(shù)據(jù)集；

步驟2：矢量數(shù)據(jù)并行轉換；

步驟3：基于計算量評估模型的空間數(shù)據(jù)劃分；

步驟4：構建分布式空間網(wǎng)格R樹索引；

步驟5：矢量數(shù)據(jù)分布式內存并行檢索；

所述步驟3包括：

3.1：計算數(shù)據(jù)集的空間范圍，初始化經(jīng)驗閾值；

所述經(jīng)驗閾值計算公式為：

式中，F(xiàn)為經(jīng)驗閾值TV的計算函數(shù)，N為數(shù)據(jù)集的要素總數(shù)，S為要素集占用空間總量，M為集群計算運行時分配的內存，k為空間算子系數(shù)；

3.2：選擇當前未進行計算量評估的空間分區(qū)，評估計算量；

計算量評估模型為：

CM＝f(n,p,O)

式中，CM為計算量，f為工作量計算函數(shù)，O為空間算子的時間復雜度計算公式，n為要素個數(shù)，p為要素的頂點總數(shù)；

3.3：將計算量與經(jīng)驗閾值進行比較，若小于，判斷是否存在未評估分區(qū)，若存在，重新選擇未評估分區(qū)，若大于，則將當前分區(qū)劃分為四份，重復上述步驟，完成空間網(wǎng)格構建。

2.根據(jù)權利要求1所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：所述步驟1包括：水利空間矢量數(shù)據(jù)存儲以ESRI Shapefile文件格式按照空間數(shù)據(jù)和屬性數(shù)據(jù)兩種方式進行存儲，計算機獲取Shapefile空間矢量數(shù)據(jù)信息，包括三個文件：主文件(*.shp)、索引文件(*.shx)、dBASE表文件(*.def)，其中主文件存儲空間特征，dBASE表文件存儲屬性信息。

3.根據(jù)權利要求1所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：所述步驟2包括：首先在Master節(jié)點提交作業(yè)前通過讀取Shapefile的文件內容，提取其中的水利空間數(shù)據(jù)和屬性數(shù)據(jù)，其中空間數(shù)據(jù)包括數(shù)據(jù)類型，點、線、面；然后在Map階段按照GeoJSON的數(shù)據(jù)結構，將地理信息寫入到JSON文件中，生成該Shapefile所對應的GeoJSON文件。

4.根據(jù)權利要求3所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：Shapefile文件解析：Shapefile文件解析包括空間數(shù)據(jù)解析和屬性數(shù)據(jù)解析；首先從索引文件(*.shx)獲取水利空間對象的索引信息，然后從主文件(*.shp)中將空間幾何信息逐一讀取，最后根據(jù)空間幾何信息與屬性信息的對應關系從dBASE表(.dbf)中獲取屬性信息，并將結果傳入對應的MapReduce程序中，執(zhí)行下一步操作。

5.根據(jù)權利要求3所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：GeoJSON空間對象重構：GeoJSON以空間對象為最小處理單元，使用getFeatures()方法將水利空間對象按照其在Shapefile文件中的順序逐個獲取，并按照GeoJSON的格式進行對象重構，將重構結果寫入GeoJSON文件中。

6.根據(jù)權利要求1所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：所述步驟4包括：首先對矢量數(shù)據(jù)集R，創(chuàng)建分布式空間數(shù)據(jù)集，在分布式空間數(shù)據(jù)集的并行空間變換中，計算r的最小外包矩形，r∈R_i，R_i表示分配到i節(jié)點計算的數(shù)據(jù)集，r表示待建立索引的矢量數(shù)據(jù)，并計算出其覆蓋的空間網(wǎng)格，獲得其空間編碼，然后利用分布式空間數(shù)據(jù)集的reduce行為，合并空間網(wǎng)格編碼，對同一網(wǎng)格分區(qū)內的空間對象，自底向上構建R樹索引數(shù)據(jù)結構，形成空間網(wǎng)格R樹的分布式空間索引形態(tài)，最后序列化空間網(wǎng)格R樹到分布式文件系統(tǒng)存儲，完成索引構建。

7.根據(jù)權利要求1所述的一種水利空間矢量大數(shù)據(jù)存儲管理方法，其特征在于：步驟5包括：首先計算出檢索區(qū)域所在的空間網(wǎng)格，并將對應網(wǎng)格內的R數(shù)索引文件反序列化，加載到分布式內存中，然后在MapReduce中對分布式內存索引執(zhí)行filter變換，過濾去掉所有與檢索區(qū)域不相交的網(wǎng)格，接著執(zhí)行map變換，在每個進程內檢索空間網(wǎng)格內的Hilbert-R數(shù)索引，最后，將索引結果輸出，完成空間并行檢索。