[發明專利]一種海量時空數據的高效組織與管理方法

在審

• 申請號: 201810735187.8
• 申請日: 2018-07-06
• 公開（公告）號: CN109144966A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 付琨;鞏志遠;齊紅超;李博
• 申請（專利權）人: 航天星圖科技（北京）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;G06F16/27;G06F16/909
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種海量時空數據的高效組織與管理方法，方法的整體步驟如下：步驟一、數據上傳；步驟二、數據處理；步驟三、數據存儲；步驟四、空間數據動態分塊：a、構建矢量數據Key?Value數據模型；b、HDFS矢量數據分塊存儲。本發明針對大并發訪問中的信息訪問安全、高并發訪問、多源異構時空信息數據融合存儲更新等問題，開展基于云架構下的解決方案研究，實現海量多源異構數據的有效集成管理，提高分布式環境下空間數據的分發、訪問及操作性能，同時，研究GIS數據分布式動態分塊技術，優化GIS服務引擎的分發效率，滿足智慧城市地理空間數據高效的存儲管理與共享分發。

技術領域

本發明涉及一種高效組織與管理方法，尤其涉及一種海量時空數據的高效組織與管理方法。

背景技術

近年來，地球空間信息學相關技術的快速發展為GIS(地理信息系統)提供了海量的數據來源。隨著空間數據量的急速膨脹以及人們對空間信息依賴程度的不斷加深，空間信息數據量大、結構復雜、分布式異構存儲等特征與空間數據實體及其處理功能的獲取效率之間的矛盾日益突出，GIS功能的服務化以及數據和功能獲取的智能化為該矛盾的解決提供了一個可行的思路。

目前，高密集型數據存儲管理、高性能計算、高并發訪問、高密集應用技術對大數據的支持力度較弱，存儲應用、共享無法提供強大的地理空間分析計算服務，擴展能力較弱，無法承載高并發訪問的壓力，應用支撐能力弱，無法承載更豐富的應用。

然而，多源異構時空數據不同的存儲方法造成管理不方便；本地(遠程)文件、管理數據庫等多種存儲方式混合使用，難以進行統一、自動化的管理，如備份，安全、數據輸出和檢索等；結構化、非結構化數據往往分開以不同的方式存儲，不同空間數據庫和文件格式的語義、語法、能力千差萬別，增加了應用程序開發的難度；高并發情況下，集中式的數據存儲是瓶頸，并且集中式的存儲方法，容易造成應用性能的急劇下降。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種海量時空數據的高效組織與管理方法。

為了解決以上技術問題，本發明采用的技術方案是：一種海量時空數據的高效組織與管理方法，方法的步驟如下：

步驟一、數據上傳：采用服務中心的方式對數據進行存儲管理，數據中心通過統一的數據導入接口對數據進行上傳；在數據上傳的時候，先計算數據的哈希值，將計算出的哈希值與數據中心中的哈希值進行對比，通過哈希值判定數據是否存在，從而使服務中心獲取數據；

步驟二、數據處理：服務中心在獲取使用者上傳的數據后，提取數據的元信息；在元信息形成后，再對空間型數據進行深化處理，提取空間數據信息；將提取的元信息通過關系或者非關系數據庫進行存儲，用來進行數據的統一檢索、過濾；

步驟三、數據存儲：采用MongoDB非關系數據庫存儲海量數據，當用戶在MongoDB中導入相關數據時，MongoDB集群對單個分片上的數據是否超過預設值進行判斷，若是超出存儲限值，便會自行啟動分片機制，對集合進行分塊，然后分別派送至不同的分片上，在這一過程中，集群各分片上的MetaDate信息存儲全都存儲在Config Server服務器上；

步驟四、空間數據動態分塊：

a、構建矢量數據Key-Value數據模型：假定空間數據集D包含多個空間對象實體，利用GeoJSON格式描述矢量空間數據幾何實體，形成矢量數據文件格式；同時，每個空間對象實體記錄都以文本文件的方式保存為一行，利用Hadoop平臺提供的基于文本行的文件操作函數，實現每個空間對象實體記錄的讀取和寫入；

b、HDFS矢量數據分塊存儲：將利用矢量數據Key-Value數據模型創建的空間對象實體記錄文本及元數據文件上傳到HDFS文件系統，HDFS將其進行自動切割，分成大量小的數據塊，缺省為64MB，分別存儲到不同的節點上。