[發明專利]一種帶有飛行區的時空數據立方體的建模與查詢方法

在審

• 申請號: 202010643710.1
• 申請日: 2020-07-07
• 公開（公告）號: CN111814328A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 江頡;汪鍇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F16/9537;G06F16/29
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種帶有飛行區的時空數據立方體的建模與查詢方法，給出一個擁有空間、類別與時間三種維度的時空數據立方體，其結構中使用共享節點方式減少內存，類別維度使用可增量的映射結構保存類別與類別節點的關系；在空間維度，使用射線投射算法判別節點是否處于查詢區域內部，同時借助空間維度飛行區的設計，數據結構的高層次空間節點能夠省略部分數據的緩存，減少建模時的計算量；而在查詢過程中，分離空間節點的采集判斷與數據聚集計算，結合多線程及其間的通訊技術。本發明能夠借助ECharts實現交互式可視化分析系統，可以快速分析大規模時空數據集的數據分布。

技術領域

本發明涉及可視化分析領域及計算機程序算法領域，特別是涉及一種時空數據預處理生成數據摘要的數據立方體結構的建模與查詢方法，屬于大數據預處理的交互式可視化分析領域。

背景技術

大數據時代，數據量飛速增長，如何從海量數據中快速挖掘出潛在信息成為現階段數據庫領域的重要挑戰。近十幾年可視化作為一個新興學科被廣泛研究，出現了大量可視化工具與顯示方式，其標志性里程碑是從靜態圖形到交互式可視化的發展。

時空數據在互聯網時代被大量的記錄，通常也會帶有特定類別，當數據積累后，可視化分析大數據特征與探索數據的時空分布與類別分布等操作在統計計算過程中非常耗時，因而需要能夠實時分析的工具來進行優化。考慮到大數據分析過程中并不需要精確查詢每個數據項的具體信息，可將數據在預處理后匯總到內存中，以提供即時交互式體驗，稱之為聚集可視化。若使用數據庫語句聚合查詢，將消耗大量時間，且不能很好的記錄下來供下次查詢使用，目前有Nanocubes、imMens、Hashedcubes等數據立方體的預處理工具，提供了構建與查詢方法以及交互式可視化顯示，能夠支持大規模數據可視化分析在現代筆記本主存上運行，但均存在其局限性。

imMens使用Java處理數據結構，前端使用webGL渲染，但在數據結構預處理時便指定了空間分割密度，在交互過程中放大細節將得到粗糙的熱力圖；Nanocubes與Hashedcubes使用c++語言作預處理，具有良好的性能表現，但算法復雜且對二次開發不友好，并且Nanocubes的單個類別維度不支持256個以上的不同值，在特殊的空間多邊形查詢中出現與預期不一致的結果。

發明內容

為了降低Nanocubes數據結構預處理方案在構建過程中的耗時與內存消耗，修改單一類別維度不同值的數量上限，解決空間多邊形查詢在特殊場景下的結果與顯示不匹配的問題，并提高數據立方體的可移植性，本發明一種帶有飛行區的時空數據立方體建模與查詢方法，能夠借助ECharts實現交互式可視化分析系統，可以快速分析大規模時空數據集的數據分布。

本發明解決其技術問題所采用的技術方案是：

一種帶有飛行區的時空數據立方體的建模與查詢方法，所述方法包括以下步驟：

步驟一，數據準備，即對原始時空數據預加工，包括將一對多的映射關系轉換為單行記錄地理坐標、時間、類別值，轉換時間為毫秒值，將數據按照時間排序；

步驟二，建模準備，即啟動服務并讀取配置文件中的各項配置，包括數據文件路徑、數據結構空間維度的深度D、時間維度粒度參數Timespace；

步驟三，數據加載，即按行讀取加工好的原始數據得到數據項，將原始時間根據Timespace生成新的時間值，將原始空間地理坐標轉換成四分法編碼值；

步驟四，數據建模，即構建時空數據立方體的數據結構；

步驟五，模型固化，即將模型數據結構中的無用資源釋放；

步驟六，參數準備，即獲取對數據結構查詢的各個維度的條件，包括空間維度查詢多邊形的有序頂點集、類別維度多選的數據集合、時間維度起止范圍、查詢深度；