[發明專利]基于文檔模型的空間數據塊狀組織存儲與化簡壓縮方法

在審

• 申請號: 201810294069.8
• 申請日: 2018-04-03
• 公開（公告）號: CN108628951A
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 崔登吉
• 申請（專利權）人: 蘇州輿圖數據科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 張麗

本發明公開了一種基于文檔模型的空間數據塊狀組織存儲與化簡壓縮方法，其針對文檔型數據庫設計了大規模空間數據組織、壓縮與存儲方案，基于非關系文檔存儲模型，將索引葉子節點內全部對象通過嵌套方式映射到同一文檔中，實現節點內空間鄰近對象的物理連續存儲，即塊狀組織存儲。嵌套文檔內部實現屬性數據與幾何數據一體化存儲，支持空間與屬性的直接相互檢索。以塊為要素幾何數據的化簡壓縮單元，以節點中心坐標為參照點，采用數據存儲精度為控制參數，實現了單元內部對象的整體編碼化簡壓縮。這種組織存儲方式，降低了空間數據的壓縮比，減少了大規模空間數據訪問時的I/O跳躍、保障了I/O的連續性，實現了大規模空間數據的高效存取。

技術領域

本發明涉及空間數據庫、空間數據組織存儲領域，具體為一種基于文檔模型的空間數據塊狀組織存儲與化簡壓縮方法。

背景技術

空間數據是對地理空間中地理對象或現象及其關系的數字化表達，具有典型的空間定位和非結構化特征。空間數據的組織存儲是查詢、分析、可視化與共享發布的基礎。當前，數據庫已成為空間數據存儲的主要場所，數據庫技術的快速發展為空間數據的存儲提供了支撐。空間數據模型是對地理對象及其相互關系的描述與表達，作為地理對象以空間數據形式映射到數據庫的橋梁，為空間數據庫設計提供了基礎。空間數據按其模型可劃分為矢量數據與柵格數據兩種基本類型。柵格數據因結構較為規則，其組織存儲與化簡壓縮方法已較為成熟。矢量數據由于空間關系復雜，具有空間鄰近性和非結構化特征，其組織存儲與化簡壓縮是空間數據庫的關鍵技術。

隨著智慧城市的快速推進，物聯網、移動定位技術和基于位置服務(LocationBase Service，LBS)的迅速發展，空間數據呈現出爆炸式增長，面對這些體量龐大、增量迅速，以多維域和非結構化為特征的空間大數據，現有空間數據庫存儲系統出現了查詢與訪問效率低下、存儲與傳輸成本過高等一系列問題。發明新型空間數據組織存儲與化簡壓縮技術是解決這些問題的關鍵。

當前空間數據主要依賴于關系型數據庫或對象關系型數據庫進行存儲，由于關系模型的離散化組織和結構化存儲與空間數據的空間鄰近性和非結構化之間的矛盾，使得關系型數據庫在大數據時代背景下，難以支撐大規模空間數據的高效存取，且云計算框架下，關系型數據庫很難進行橫向擴展，無法通過簡單的添加硬件節點來提高系統性能。近年來，非關系型(NoSQL)數據存儲系統因其靈活的擴展性、高可用性、高并發讀寫能力及開源等特性得到迅速的發展，成為云計算環境下典型的數據存儲系統，為解決這些問題提供了良好的技術基礎和可行方案。

NoSQL數據存儲系統按數據模型的不同可劃分為鍵值對(Key-Value)模型、列存儲(Column-Family)模型和文檔存儲(Document-Store)模型三類。鍵值對模型和列存儲模型由于不支持非主鍵查詢，這種模型下主鍵的設計與空間查詢都受到較大的限制，比較適合用于結構相對規則的柵格和影像數據的存儲，難以設計顧及空間數據基本特性的矢量空間數據組織存儲方案。文檔模型以鍵值對模型為基礎，每個文檔都是自包含的數據單元，以多組鍵值對的集合形成循環嵌套的結構。對象可以使用JSON或BSON等多種形式存儲。文檔模型與鍵值對模型和列存儲模型不同是值(Value)具有明確的類型，且能夠支持非主鍵的索引與查詢。文檔模型的模式自由為空間數據的組織與非結構化存儲提供了有力支撐。所以文檔存儲模型成為當前最為適合矢量空間數據組織存儲的非關系模型。

在新技術背景下，空間數據組織存儲方式呈現由關系型向非關系型數據庫遷移的趨勢。現有基于文檔模型的空間數據存儲方式中屬性數據進行直接存儲、空間數據采用GeoJSON格式進行存儲。這種方式的優點是屬性數據與幾何數據一體化存儲，不需要額外的連接，避免了屬性與幾何分開存儲帶來的一致性維護和連接問題。但GeoJSON格式存儲無法對幾何數據進行壓縮，導致存儲空間的增加，進而影響數據檢索與訪問的性能。當前基于文檔模型的組織存儲方式并沒有解決空間數據的離散化組織問題，且非關系模型在無共享的本地存儲模式下，表現出的最大特點就是存儲系統的隨機訪問特性，這種隨機訪問特性極大的限制了大規模地理數據的存取性能。