[發明專利]一種水利空間矢量大數據存儲管理方法

有效

• 申請號: 201910275301.8
• 申請日: 2019-04-04
• 公開（公告）號: CN110059067B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 徐希濤;毛星;向南;謝凱
• 申請（專利權）人: 南京南瑞水利水電科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/29;G06F16/2458
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 母秋松;董建林

本發明公開了一種水利空間矢量大數據存儲管理方法，步驟1：計算機表述水利空間矢量數據集；步驟2：矢量數據并行轉換；步驟3：基于計算量評估模型的空間數據劃分；步驟4：構建分布式空間網格R樹索引；步驟5：矢量數據分布式內存并行檢索。本發明解決通過傳統關系型數據庫存儲時空間數據和屬性數據“分而治之”的瓶頸問題。充分考慮分布式計算量的均衡性。解決傳統空間矢量數據索引構建慢、檢索效率低的問題。

技術領域

本發明涉及一種水利空間矢量大數據存儲管理方法，屬于數據存儲管理技術領域。

背景技術

傳統的水利空間矢量數據存儲方法經歷了文件系統、文件關系混合系統、空間數據庫引擎和面向對象關系型空間數據庫四個階段的發展，已經基本適應矢量數據存儲的要求。但是，隨著大數據的不斷發展，水利空間矢量大數據在體量、類型和增長速度方面也受到了前所未有的挑戰。

盡管大數據技術的飛速發展可以在水利空間數據存儲方面發揮一技之長，但是云計算、大數據等技術并不是為傳統的水利空間數據存儲定制的，也不能從根本上對水利空間矢量數據存儲和管理進行完全貼合的技術支持。此外，對于水利空間矢量數據檢索方面，傳統方法采取建立屬性數據索引的方式來反查空間數據，如建立流域和子流域的索引文件。用戶在進行篩選查詢時通過屬性信息索引來定位感興趣的空間數據斷面，查詢效率不高。因此，水利空間大數據和傳統數據存儲管理手段以及云計算、大數據技術之間產生了一定的矛盾，需要探索一種適應空間大數據新特征的數據存儲管理方法。

水利空間矢量數據類型復雜，包括水生態、水資源和水環境方面的多要素數據，同時還要考慮大數據量下的空間索引構建以及空間檢索效率問題。常用的水利空間矢量大數據存儲方法在數據格式、并行計算、空間索引方面的考慮具有一定的局限性，不能提供一整套全局最優的存儲和管理方案。

隨著水利空間數據的采集手段日趨多元化，地理信息技術在水利行業的應用也更加廣泛和深入，也促使了水利GIS大數據時代的到來，時空多樣性的水利矢量數據(如大規模的時間序列監測數據、尺度多樣性的流域水系信息等)呈現爆炸式的增長，為社會公共服務和應急決策管理提供了良好的契機，但是如何高效組織管理海量的水利矢量數據，成為當前實際應用中亟待解決的問題。

目前新型的技術方案采用四叉樹法構建空間信息多級網格，根據HBase數據庫的存儲規則，確定矢量數據的組織方式以及矢量數據、索引數據、元數據、屬性數據字典的數據庫表結構。從數據預處理、多級網格區域劃分、Hibert填充曲線數據劃分，通過開源平臺Hadoop實現矢量數據的導入、查詢、更新。這種方法雖然利用了大數據分布式存儲能力，但并未考慮水利空間數據的時空變化特性及多數格式多樣性等特點，也未對傳統水利空間矢量數據結構進行模型重構，MapReduce并行分析的能力受到數據模型的限制，無法對水利空間數據的檢索提出合理有效方案。

目前行業內常用水利空間矢量大數據存儲管理方法的主要缺點為：

(1)現有水利空間數據的矢量和屬性數據仍為分開編碼和存儲，從一定程度上制約了水利空間數據存儲和檢索的效率；

(2)水利空間數據來源廣泛、格式不一，面對快速化生產的專業數據，將傳統的串行轉換無法適應大規模矢量數據轉換的需求；

(3)利用單一的空間填充曲線或Geohash等技術進行空間網格降維劃分，在一定程度上保證了分區數據量均衡，但無法控制分區計算量的均衡；

(4)現有的空間索引如網格索引、四叉樹索引、R樹索引等在空間檢索中有著各自的應用特點，但面對海量增長的時空水利信息數據，其檢索效率無法得到保證；

(5)常用的空間檢索方法能夠實現對空間數據的簡單查詢，但不能有效支撐多時空、對多尺度水利要素的瀏覽等實際復雜應用的需求。

通過以上我們可以看出，行業內目前采用的水利空間矢量大數據存儲方法存在著一定的局限性，存儲和管理的效率也不高。

發明內容