[發明專利]一種基于空間數據數值索引的數據存儲與檢索方法

有效

• 申請號: 201210580189.7
• 申請日: 2012-12-27
• 公開（公告）號: CN103020281A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 李曉東;黎建輝;楊風雷;沈志宏;劉峰
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

技術領域

本發明涉及一種基于空間數據數值索引的數據存儲與檢索方法，尤其適用于空間數據中數值屬性索引的建立與檢索，涉及空間數據檢索服務領域。

背景技術

伴隨著空間數據技術以及互聯網技術的快速發展，空間數據采集量的爆炸性增長，基于空間數據的互聯網相關服務從無到有，蓬勃發展，并在相關學科的研究領域中，發揮著越來越重要的作用。

在基于空間數據的服務中，空間數據的檢索是一項基礎性的服務，是用戶定位獲取數據的主要方式。面對海量的已采集空間數據，需要建立合適的空間數據索引來提高檢索速度，并提供穩定可靠的增量索引處理方案來處理新采集的數據。

經過多年的發展，目前已經出現了大量的空間數據索引技術，早期的索引方法有B+樹和散列索引，中后期出現的空間數據庫的索引方法有格子文件及其變形、四叉樹及其變形樹、k-d樹及其變形樹、R樹及其變形樹等。

這些空間索引技術，又可分為基于點數據的數據結構和基于非點數據的數據結構兩大類，點數據的數據結構包含：四叉樹及其變形樹、k-d樹及其變形樹、k-d-B樹、h?B樹。非點數據的數據結構包含：基于區域交叉類(如R樹、R*樹等)、基于剪切類(如R+樹、k-d樹等)。在這些索引的基礎上，出現了各種空間數據庫產品。商業化的產品有ORACLE?SPATIAL、ARCSDE等，開源空間數據庫主要是PostgreSql和Mysql的空間數據庫插件，分別是postGIS和mySpatial。在同等的硬件條件下，空間數據的檢索速度主要由表示空間數據位置的坐標點的數量和其所采用的索引結構決定，表示空間數據位置的坐標點越少、空間索引結構支持的數值比較定位的速度越快，空間數據的檢索速度就更快。目前基于上述空間數據索引的空間數據檢索服務，由于其采用的空間索引結構數值比較速度較慢，在檢索的表示位置的坐標點較多的空間數據時，檢索性能都較差。

發明內容

針對現有技術中存在的技術問題，本發明的目的在于提供一種基于空間數據數值索引的數據存儲與檢索方法。本發明設計了一種支持數值范圍快速檢索的數值索引文件結構，可對數據庫存儲的空間數據進行快速索引、提高空間數據的檢索速度、支持增量索引。

一個產品的數值索引文件邏輯上包含一個索引屬性與倒排文件映射表和多個數值文檔倒排表，如圖1所示。

索引屬性與倒排文件映射表的內容由少量記錄組成，每條記錄中包含被索引的屬性名稱(即被索引的空間數據的屬性名稱)、該屬性所對應的數值文檔倒排表名稱，如圖2所示。

數值文檔倒排表包含一組倒排記錄，一個倒排記錄與一個被索引數值(即被索引空間屬性的數值)對應，倒排記錄按照索引數值由小到大的順序有序排放。倒排記錄包含：被索引數值、包含該數值的所有文檔號集合、包含該數值的最大文檔號MaxDocNo、包含該數值的最小文檔號MinDocNo、包含該數值的文檔總數DocNum，如圖3所示，文檔號是指數據表中一條記錄的唯一標識號。

本發明的技術方案為：

1)從互聯網中自動抓取包含空間數據的html頁面，對其進行解析，將解析后的數據存儲到數據庫中；

2)在數據庫中選擇要進行索引的屬性，對于其中非數值類型的屬性，將其轉換成與其一一對應的數值進行存儲；

3)按照空間數據所屬類型對空間數據進行分類索引，為每一數據產品的數據表建立一數值索引文件，將其作為主索引，并按設定時間周期創建增量索引，定期將增量索引與主索引進行合并；所述數值索引文件包括一個索引屬性與倒排文件映射表和多個數值文檔倒排表；其中，所述索引屬性與倒排文件映射表中的每條記錄中包含被索引的屬性名稱、屬性所對應的數值文檔倒排表名稱；所述數值文檔倒排表包含一組倒排記錄，每一倒排記錄與一被索引數值對應，倒排記錄包含：被索引數值、包含該被索引數值的所有文檔號集合、包含該被索引數值的最大文檔號MaxDocNo、包含該被索引數值的最小文檔號MinDocNo、包含該被索引數值的文檔總數DocNum；

4)將所述索引部署到檢索服務端；

5)檢索服務端根據收到的檢索請求，利用所述主索引對數據表進行檢索，返回檢索結果。進一步的，所述主索引或所述增量索引的建立方法為：

21)對要建立索引的數據表，創建對應的所述索引屬性與倒排文件映射表文件，并在文件中添加記錄；

22)向各個索引屬性與倒排文件映射表文件中添加倒排記錄，并使用各個屬性的hash定位函數來確定添加的倒排記錄的存放位置。

進一步的，使用各個屬性的hash定位函數來確定添加的倒排記錄的存放位置的方法為：