[發明專利]一種基于海量位置軌跡數據時空分析方法

有效

• 申請號: 202110263944.8
• 申請日: 2021-03-10
• 公開（公告）號: CN112685428B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 劉宇;束長波;盧興楊;李明;臧本龍;顧磊;廖許德
• 申請（專利權）人: 南京烽火星空通信發展有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/29
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 陸志斌

本發明公開了一種基于海量位置軌跡數據時空分析方法，包括：將空間位置索引信息以ORC文件格式保存在HDFS中；利用Google的S2幾何庫將對空間位置索引信息Spatial Object轉為設定的一種內存格式；基于OGC Open?Gis標準實現空間函數Spatial UDF；通過Spark SQL來描述時空分析的操作，利用空間位置索引和過濾下推提取軌跡信息，利用空間函數和spark算子進行查詢分析計算。本發明的技術方案在存儲壓縮率、時空分析性能、組件運維成本等方面較傳統方案以及業界已有方案有較為明顯優勢，說明了該方法的可行性和有效性。

技術領域

本發明公開了一種基于海量位置軌跡數據時空分析方法，涉及位置軌跡數據分析技術領域。

背景技術

隨著移動互聯網、物聯網、5G的飛速發展，我們可以獲取到大量的時間和空間屬性的高維數據，從這些海量的位置軌跡數據中挖掘出有用的信息一直是個研究重點，同時也對數據庫產品的存儲和分析能力提出了嚴峻的挑戰。而傳統數據庫在海量位置軌跡數據下存儲存在瓶頸，無法進行分布式擴展，缺乏針對時空數據模型、時空索引和時空算子。

比如，PostGIS是對象關系型數據庫PostgreSQL的一種擴展，來支持GIS對象存儲在數據庫，提供空間位置索引以及函數來分析處理GIS對象，但是單機版的PostgreSQL存儲空間有限，數據存儲壓縮效率也不高。針對海量位置軌跡數據的場景，GeoMesa提供基于分布式計算系統的大規模地理空間分析能力，支持水平擴容，但是存儲計算依賴如HBase、Spark等外部組件，數據多次轉換，同時也具有較高的運維成本。另外，已有方案從海量位置軌跡數據中，快速并精確提取出包含在指定幾何空間區域中的大量數據，也存在一定的性能瓶頸。

發明內容

為了解決已有技術方案中存儲空間擴容難、數據壓縮率不高、位置數據過濾與拉取低效、時空分析能力不足等問題，本發明提供一種基于海量位置軌跡數據時空分析方法，本發明所公開的技術方案通過Spark、ORC搭建基礎架構，數據存儲在HDFS上。通過S2構建空間位置索引，在Spark SQL上擴展時空計算方法（空間計算、邊界過濾等）。

本發明為解決上述技術問題采用以下技術方案：

一種基于海量位置軌跡數據時空分析方法，所述方法包括：

步驟一、將空間位置索引信息以ORC文件格式保存在HDFS中；

步驟二、利用Google的S2幾何庫將對空間位置索引信息Spatial Object轉為設定的一種內存格式；

步驟三、基于OGC Open-Gis標準實現空間函數Spatial UDF；

步驟四、通過Spark SQL來描述時空分析的操作，利用空間位置索引和過濾下推提取軌跡信息，利用空間函數和spark算子進行查詢分析計算。

作為本發明的進一步優選方案，步驟一中，所述空間位置索引指：設定空間數據schema為(longitude，latitude，fact)，所述的longitude表示精度，latitude表示緯度，fact表示事實明細數據，將指定空間區域的明細數據讀取出來；

所述利用Google的S2幾何庫將對空間位置索引信息Spatial Object轉為設定的一種內存格式具體為：將經緯度轉為S2的Cell編碼值并且空間上相鄰的區域的編碼值前綴相同。

作為本發明的進一步優選方案，所述步驟三中，引入空間過濾函數ST_WITHIN，基于S2表示的空間區域S2Polygon對象，將磁盤中的數據順序讀取出來后，在內存中使用空間過濾函數進行邊界過濾，該函數支持Code Gen，減少了copy到spark計算層的數據量。

作為本發明的進一步優選方案，所述步驟二中還包括基于catalyst提供S2空間類型的擴展，具體方法為：