[發明專利]一種非關系數據庫中的時空數據索引方法

有效

• 申請號: 201710516384.6
• 申請日: 2017-06-29
• 公開（公告）號: CN107423368B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 李成名;吳政;肖斐;沈建明;孫偉;洪志遠;路文娟;武鵬達;劉麗;孫隆祥
• 申請（專利權）人: 中國測繪科學研究院
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙) 11548
• 代理人: 李靜

本發明公開了一種非關系數據庫中的時空數據索引方法，在分布式環境中，為時空數據建立基于四叉樹與Hilbert曲線的空間索引；結合時空數據的時間屬性，形成統一的時空索引；將時空索引分為分區鍵和排序鍵兩部分，并使用一致性哈希實現空間數據在動態的網絡拓撲中分布存儲和路由；當收到查詢請求時，根據時間及空間范圍確定查詢范圍的分區鍵和排序鍵并在存儲節點中進行檢索，返回查詢結果。本發明提高了時空數據的存儲與查詢效率，每個存儲節點只需要維護自身分配的數據，且存儲節點的增加刪除都不會引起索引的錯誤，滿足了高并發條件下數據訪問的實時性要求，數據庫可擴展性好。

技術領域

本發明涉及數據庫技術領域，具體是一種非關系數據庫中的時空數據索引方法。

背景技術

隨著技術的發展，大數據廣泛存在于各行各業中，如企業數據、醫療數據、互聯網數據、物聯網數據等，包括結構化的、半結構化的和非結構化的數據，數據種類多且數量大，其規模或復雜程度已遠遠超出了常用傳統數據庫和軟件技術所能管理和處理的數據集范圍。

大數據為各行各業帶來新的發展機遇，同時也為有效管理和利用大數據提出了挑戰。盡管不同種類的海量數據存在一定的差異，但總體而言，支持海量數據管理的系統應具有如下特性:高可擴展性(滿足數據量增長的需要)、高性能(滿足數據讀寫的實時性和查詢處理的高性能)、容錯性(保證分布系統的可用性)、可伸縮性(按需分配資源)和盡可能低的運營成本等。然而，由于傳統的RDBMS的設計從未考慮需要處理日益增長且格式多變的數據，以及訪問數據并進行分析的用戶數量呈爆炸式增長，所以在處理海量數據時存在諸多局限：(1)不易更改：RDBMS一般都是固定的schema，缺乏對非結構化數據的支持，而且Schema一旦確定后期很難更改；(2)擴展困難：由于存在類似Join這樣多表查詢機制，而且缺少對數據分片存儲的管理，使得數據庫在數據擴容方面很艱難；(3)I/O效率差，吞吐量低：這種情況主要發生在數據量達到一定規模時由于關系數據庫的系統邏輯非常復雜，使得其非常容易發生死鎖等的并發問題，所以導致其讀寫速度下滑非常嚴重；(4)有限的容量支撐：很難滿足大規模數據存儲和實時分析處理的要求。因此，大數據時期由關系數據庫發展至非關系數據庫是大勢所趨。

時空數據是一種典型的大數據，它是一種同時具有時間和空間維度的數據，現實世界中的數據超過80％與地理位置有關。近年來，隨著人類生產活動的加劇及新型空間地理信息技術的不斷發展涌現，時空數據正呈爆炸式增長，時空大數據正勢不可擋地取代傳統的靜態空間數據而成為地理信息社會化應用的主要形式。與傳統的靜態空間數據相比，時空大數據呈現出Volume(體量大)、Velocity(增速快)、Variety(樣式多)、Value(價值高)的“4V”特點。傳統的基于關系數據庫進行擴展或基于傳統數據庫管理系統開發空間數據庫引擎的空間數據庫管理技術、索引技術已經無法解決時空數據在生產管理與應用上面臨的存儲組織與分析處理難、集成應用難及數據全生命周期管理難等問題，將時空大數據放至非關系數據庫中進行一體化管理的技術應運而生。

目前，大多數基于分布式的數據庫系統通常采用key-value存儲模型存儲數據，即數據庫中的數據組織為key-value對。Key-Value數據庫典型的是以key索引為主，常見的有hash索引、B-tree索引等。為了提供豐富的查詢能力，一些key-value數據庫還建有二級索引或稱輔助索引(secondary index)，同時，為了提高對海量數據的查詢效率，一些系統采用了BloomFilter技術，但已有的這些索引都是局部索引。