[發明專利]基于大數據存儲架構的空間數據存儲管理系統

在審

• 申請號: 201711239173.9
• 申請日: 2017-12-01
• 公開（公告）號: CN110019089A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 徐繼峰;祁建明;周峻松;陳墩金
• 申請（專利權）人: 廣州明領基因科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于大數據存儲架構的空間數據存儲管理系統，該系統包括：底層大數據異構存儲模塊、中間層元信息庫與引擎模塊以及頂層服務模塊；其中，所述底層大數據異構存儲模塊以數據資源為單位進行存放，具體介質包含多種異構式存儲環境；所述中間層元信息庫與引擎模塊由矢柵數據ETL、數據引擎、元信息庫以及矢柵可視化引擎四部分組成；所述頂層服務模塊負責對外提供統一、標準的服務。本發明方案以元信息庫聚合數據資源，底層面向不同計算(應用)模式搭建異構式存儲，有效地將數據分解、將資源聚合，并對外提供統一、標準的服務，實現了對于巨量、異構、遞增的空間大數據的高效率存儲管理。

技術領域

本發明屬于大數據存儲管理技術領域，涉及一種基于大數據存儲架構的空間數據存儲管理系統。

背景技術

隨著遙感數據獲取能力的日益增強，僅單星日獲取數據量就以TB級計算，且這些大數據具有空間結構化特性，即為空間數據?？臻g數據本身具有高密度價值，每一個數據單元都與空間位置關聯，反映一定的空間屬性。

早期空間數據存儲與管理方法是基于關系型數據庫建立的極為有效的異構空間數據存儲管理體系，但由于關系型數據庫對數據的高一致性要求，使其底層存儲的可擴展性較弱，存在數據切分與合并難的問題。

后期優化為使用NoSQL、列存儲等類型的數據庫，底層通過分布式文件系統實現存儲的容錯性和可擴展性，且為了解決數據一致性以及空間索引問題，一方面索引被放到大內存或被拆成大量小的索引存儲，另一方面采用大量計算節點進行分布式索引計算，但適用的計算模式較為局限。

傳統的存儲管理架構已無法滿足穩定、高效、可擴展等空間數據的管理要求。

發明內容

本發明目的在于提供一種基于大數據存儲架構的空間數據存儲管理系統，針對通用的大數據架構依然較難適用于空間數據存儲管理的問題，引入一種“元信息庫-異構存儲-計算模型”的新型架構，以元信息庫聚合數據資源，底層面向不同計算(應用)模式搭建異構式存儲，有效地將數據分解、將資源聚合，并對外提供統一、標準的服務，實現了對于巨量、異構、遞增的空間大數據的高效率存儲管理。

為解決上述技術問題，本發明采用如下的技術方案：一種基于大數據存儲架構的空間數據存儲管理系統，該系統包括：底層大數據異構存儲模塊、中間層元信息庫與引擎模塊以及頂層服務模塊；其中，所述底層大數據異構存儲模塊以數據資源為單位進行存放，具體介質包含多種異構式存儲環境；所述中間層元信息庫與引擎模塊由矢柵數據ETL、數據引擎、元信息庫以及矢柵可視化引擎四部分組成；所述頂層服務模塊負責對外提供統一、標準的服務。

進一步地，所述底層大數據異構存儲模塊包括分布式文件系統、在線磁盤陣列、離線磁盤等，具體實現了基于GridFS文件系統、集中式磁盤陣列和離線磁盤3種存儲方式。

進一步地，所述中間層元信息庫與引擎模塊在異構式的存儲環境之上，通過元信息庫對每個數據資源建立基本信息檔案和鏈接關系，實現了基于MongoDB的元信息庫；通過數據引擎實現數據資源的存取和訪問；通過工作者模式實現了數據交互；通過可視化引擎實現每一類別數據的渲染接口，實現了柵格和矢量一體化的可視化引擎及其前端控件。

進一步地，所述頂層服務模塊負責面向用戶，通過數據資源服務提供數據資源檢索等服務接口，通過數據服務實現標準數據產品的獲取接口，通過可視化控件提供交互式的展現服務。

本發明與現有技術相比具有以下的有益效果：

本發明方案針對通用的大數據架構依然較難適用于空間數據存儲管理的問題，引入一種“元信息庫-異構存儲-計算模型”的新型架構，以元信息庫聚合數據資源，底層面向不同計算(應用)模式搭建異構式存儲，有效地將數據分解、將資源聚合，并對外提供統一、標準的服務，實現了對于巨量、異構、遞增的空間大數據的高效率存儲管理。

附圖說明