[發明專利]一種分布式空間矢量數據與單點空間數據混合分析方法

有效

• 申請號: 202011366648.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112463904B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李三玉;鄭波;鄭良;李金振;胡劍鋒;吳宇峰
• 申請（專利權）人: 湖北金拓維信息技術有限公司
• 主分類號: G06F16/29
• 分類號: G06F16/29;G06F16/51;G06F16/587
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 楊本官

本發明涉及地理信息技術領域，特別涉及一種分布式空間矢量數據與單點空間數據混合分析方法。本發明的方法根據不同的空間分析算法特點，同時改進分析流程，第一步先將兩者數據的索引進行預分析，以預分析的結果來篩選出需要拉取的數據量(盡可能的避免拉取所有數據)，并自動選擇數據拉拽始終為少向多的方向，盡可能的減少網絡和IO消耗，從而提高分析性能，第二步才是相關數據的分析。本發明同時解決了分布式與單點混合存儲架構下的數據統一調度問題。

技術領域

本發明涉及地理信息(GIS)技術領域，特別涉及一種分布式空間矢量數據與單點空間數據混合分析方法。

背景技術

由于大規模矢量大數據以分布式的形式存儲在HDFS和HBASE中，而小規模矢量數據簡單存儲在PostGIS或Oracle等關系型數據庫中，當這兩者存儲在不同地方的數據需要進行空間分析(如疊加等)的時候，以往是需要快速將小規模數據拉向大規模空間數據存儲的位置，然后再充分利用本地的計算能力，但是現實情況往往會遇到相對小的數據與大規模數據的大小相近，對網絡的壓力和內存、CPU等計算資源的消耗都是巨大的。

而在軟硬件環境不變的情況下，影響分布式分析算法的性能因素主要包括：計算節點本地資源利用率、IO吞吐量、網絡吞吐量等。

發明內容

針對現有技術的不同，本發明首創提出分布式空間矢量數據與單點空間數據混合分析發明，目的在于提高計算節點本地資源利用率、降低IO吞吐量和網絡吞吐量，以提升分布式分析算法性能。

本發明的技術方案是：一種分布式空間矢量數據與單點空間數據混合分析方法，其特征在于：包括以下步驟：

步驟1先將分布式空間矢量數據與單點空間數據建立R-TEE索引并利用R-TEE索引的外包矩形進行預分析；

步驟2以預分析的結果來篩選出需要拉取的數據量；

步驟3自動選擇數據拉拽始終為少向多的方向；

步驟4首次拉取時全局緩存起來，第二次拉取時，直接從緩存中讀數據；

步驟5其他節點從緩存中讀數據，從緩存中讀數據時，傳入圖層緩存數據的鍵值將緩存對象讀出來，鍵值＝圖層名+扇區名；

步驟6通過虛擬分布式圖層將小規模矢量數據映射成矢量大數據所采用的分布式圖層；

步驟7兩個圖層的數據拉取到一塊后，進行疊加相交分析，分析時將兩個圖層的要素逐一進行相交分析，最后將分析結果返回；

步驟8淘汰前根據鍵值到緩存對象中找到對應的數據，然后將找到的數據逐個刪除清空。

根據如上所述的一種分布式空間矢量數據與單點空間數據混合分析方法，其特征在于：步驟1中R-Tree具體過程為：對象數為n，扇區大小定為fan，

(1)估計葉結點數k＝n/fan；

(2)將所有幾何對象按照其矩形外框中心點的x值排序；

(3)將排序后的對象分組，每組大小為*fan，最后一組可能不滿員；

(4)上述每一分組內按照幾何對象矩形外框中心點的y值排序；

(5)排序后每一分組內再分組，每組大小為fan；

(6)每一小組成為葉結點，葉子結點數為nn；

(7)N＝nn，返回1。

根據如上所述的一種分布式空間矢量數據與單點空間數據混合分析方法，其特征在于：步驟1中預分析時，先用兩個圖層的二級索引進行相交分析，如果外包矩形都不相交，則排除掉；二級索引相交的扇區里面的數據是要拉取的數據。