[發明專利]基于分布式數據庫的海量時空數據管理方法

在審

• 申請號: 201911045875.2
• 申請日: 2019-10-30
• 公開（公告）號: CN111104457A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 孟令奎;王旭覲;張文;王銳;楊倍倍;余長慧;李林宜
• 申請（專利權）人: 武漢大學
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 石超群

本發明提供了一種基于分布式數據庫的海量時空數據管理方法，該方法包括以下步驟：步驟S1，對時空數據的區域進行分片：基于地理格網的劃分規則將時空數據進行格網離散，并將時空數據所處的地理格網的地理空間編碼作為時空數據的空間索引；步驟S2，將時空數據的索引結構設計為由分區編碼、時間編碼、地理編碼、倒排時間和唯一編碼構成；步驟S3，設計時空數據的存儲表，并將時空數據導入分布式數據庫中，通過綜合考慮地理格網的編碼原理和規則，在保證數據空間相關性的同時將時空數據均勻離散地存儲到了各個數據庫節點上，均衡了各個節點的負載；另外，將空間、時間關系緊密的數據存儲到了更為接近的位置，提高數據的讀寫效率。

技術領域

本發明屬于地理信息系統數據處理技術領域，具體地涉及一種基于分布式數據庫的海量時空數據管理方法。

背景技術

隨著時空數據全面邁向“大數據”時代，數據的存儲模式也進入了“集群管理”時代。使用分布式數據庫存儲時空數據是廣泛采用的時空數據存儲方案。分布式數據庫采用可擴展的系統架構，整合了集群中各節點的存儲和計算資源，通過利用多臺存儲服務器分擔存儲負荷，位置服務器定位存儲信息，可以滿足對時空大數據的高效存儲和快速訪問。此外，在分布式數據庫中，常將一組或幾組的數據按順序連續排列在一起，形成數據庫管理的塊狀基本單元，我們將這種塊狀單元統稱為數據塊。將數據塊作為數據組織和管理的基本單元，可以實現對數據的高效存儲和管理，滿足時空大數據的存儲和管理需求。因此，越來越多的研究人員將分布式數據庫應用到了時空數據的存儲領域中。

用分布式數據庫存儲時空數據時，為了減輕數據庫的存儲壓力，常將原本龐大的時空數據拆分成細粒度的空間單元存儲到不同的數據節點中，實現對海量時空數據的連續存儲和快速訪問。這種存儲模式核心思想是利用格網和空間填充曲線對地理空間進行連續分割格網劃分和統一編碼，再將時空數據裝載在單元格中并離散存儲于分布式數據庫中。這樣的存儲思想充分考慮到了數據之間的空間相關性，基于各種空間編碼為數據設計時空索引，將空間相關性高的數據存儲在相近的位置，提高了查詢效率。L.Wang等人將HBase應用到遙感影像的存儲中，并引入了GeoSot來作為第一索引編碼，實現遙感影像的高效存儲。A.Fox等人在Accumulo中存儲時空點數據和面數據，通過引入地理格網Geohash作為數據的空間鍵，結合數據的時間編碼來索引數據，實現了數據的時空查詢和有效過濾。

這些研究人員將格網編碼作為第一索引依據來存儲時空數據，從而將空間相關性強的數據存儲到相近的位置，提高數據獲取的效率。但是，分布式數據庫節點間的負載均衡和數據的組織模式卻往往沒得到應有的重視。這樣的存儲設計存在兩個問題。首先，局部區域的數據由于具有相似的索引而存儲過于集中，讀寫請求只集中于集群中的部分節點上，節點間的請求負載不均衡，進而影響到數據的讀寫效率。其次，由于數據以所處格網的空間編碼為主要依據排序，隨著時序數據的增加，某一空間范圍下，處于同一采集時間節點下的數據的物理存儲距離變遠。而時空數據的查詢又常以某一空間范圍、某一時間范圍為基本條件，因此這樣的數據組織方式會增加目標數據的定位耗時。因此，在存儲時空數據時，在保證空間相關性的前提下，如何確保分布式數據庫各個節點的負載均衡，根據應用情景合理組織時空數據的存儲模式是亟待解決的問題。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種能夠保證分布式數據庫各個節點的負載均衡并且能數據組織和排序模式合理的基于分布式數據庫的海量時空數據管理方法。

本發明提供了一種基于分布式數據庫的海量時空數據管理方法，其特征在于，包括以下步驟：步驟S1，對時空數據的區域進行分片：根據精度需求，并基于地理格網的劃分規則將時空數據進行格網離散，并將時空數據所處的地理格網的地理空間編碼作為時空數據的空間索引；步驟S2，根據業務需求為時空數據設計索引結構：將索引結構設計為由分區編碼、時間編碼、地理編碼、倒排時間和唯一編碼構成；步驟S3，設計時空數據的存儲表，并將時空數據導入到分布式數據庫中。