[發明專利]在線即分析影像與格網立方體數據存儲管理方法及系統

有效

• 申請號: 202110263233.0
• 申請日: 2021-03-11
• 公開（公告）號: CN112817545B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 余勁松弟
• 申請（專利權）人: 福州大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種在線即分析影像與格網立方體數據存儲管理方法及系統。該方法包括：將影像與格網立方體以多種瓦片分割方案存儲，每種存儲方案對應一個配置，通過匹配規則比較每種配置的I/O數及數據大小，獲得顧及數據量條件下的I/O最少的瓦片分割存儲方案，訪問相應瓦片分割存儲方案的目標數據塊，以提升立方體在線即分析性能。本發明提供的基于MongoDB的立方體數據存儲方法提高了在線即分析應用條件下立方體目標數據塊的訪問效率，減少了無效數據塊的傳輸及相應算力的消耗，提升在線即分析應用性能。

技術領域

本發明屬于大數據技術領域，具體涉及一種在線即分析影像與格網立方體數據存儲管理方法及系統。

背景技術

當今已進入大數據時代，特別是對地觀測應用不斷發展，對多維格網的在線即分析應用提出了新的需求，多維格網數據量隨維度增加數據量呈幾何增長，在線即分析應用往往僅需要部分數據，傳統影像與格網的全量數據訪問方式，浪費帶寬，無法滿足在線即分析應用的性能需求。隨著NoSQL數據庫的不斷發展和成熟，可以較好地解決海量存儲和在線即分析方面的應用需求。NoSQL數據庫MongoDB的一個重要的特色在于提供了GridFS用于存儲大小超過 16MB 的文件，默認使用fs.chunks和fs.files來存儲文件，其中fs.files集合存放文件的信息，fs.chunks存放文件的數據。GridFS已有不少學者已將GridFS應用于影像與格網數據存儲，如將遙感影像數據文件存儲到GridFS中，并利用其分布式機制以提升數據訪問性能。相比較單個二維影像數據的分割存儲，影像與格網立方體的數據量比二維影像數據多一個數量級，其在線即分析應用亦對現有Gridfs存儲方案提出新的需求，即數據應以立方體瓦片進行分割，按在線即分析應用需求，支持選取最適宜的分割存儲方案，訪問所需立方體瓦片，以防止在線即分過程中的帶寬及算力的消耗。

傳統MongoDB的影像存儲方法是將遙感影像數據的元數據放到文件存儲到GridFS的fs.files中，fs.chunks存放影像的二進制文件，再指定片鍵進行分片，以支持分布式存儲，并支持對數據庫進行橫向擴展，適合管理大規模遙感影像數據，在進行立方體在線即分析時需要先檢索相關二維影像，在獲取所需影像齊全后進行切割重構，如果相關影像缺失或分辨率等參數不一致，還需在重構過程中進行干預，不確定性大，且性能不高。

單一的立方體瓦片分割存儲方案，具有固定的瓦片數據大小、軸序列、瓦片尺寸參數，當分割的瓦片與立方體請求索引范圍契合度較高時，即目標數據塊索引的集合剛好比請求索引范圍大一些，這時候數據塊的I/O和數據量都相對少，可以大幅減少無效數據塊的傳輸及相應算力的消耗，提升在線即分析應用性能。然而，影像與格網立方體數據在線即分析應用過程中的客戶端請求索引范圍是不可預測的，因此需要多種分割存儲方案，并根據相應的請求尋找最適合的分割存儲方案，再獲取相應目標數據塊索引，完成在線即分析應用，以大幅減少無效數據塊的傳輸及相應算力的消耗，提升在線即分析應用性能。

發明內容

本發明的目的在于解決上述問題，提供一種的在線即分析影像與格網立方體數據存儲管理方法及系統。

為實現上述目的，本發明的技術方案是：一種在線即分析影像與格網立方體數據存儲管理方法，包括：將影像與格網立方體以多種瓦片分割方案存儲，每種存儲方案對應一個配置，通過匹配規則比較每種配置的I/O數及數據大小，獲得顧及數據量條件下的I/O最少的瓦片分割存儲方案，再獲取相應瓦片分割存儲方案的目標數據塊索引，完成相應瓦片分割存儲方案的目標數據塊訪問。具體地：將影像與格網立方體以多種瓦片分割方案存儲，設置基于MongoDB的瓦片分割存儲方案的配置，每種存儲方案對應一個配置，包括瓦片大小、軸序列、瓦片尺寸參數；設置在線即分析應用中立方體的目標數據塊訪問的匹配規則，用于比較每種方案配置的I/O數及數據量，并獲得顧及請求數據量及其系數條件下I/O最少的瓦片分割存儲方案；獲得在線即分析應用中立方體請求索引范圍，根據匹配規則，以確定顧及請求數據量及其系數條件下I/O數最少的瓦片分割存儲方案，再獲取目標數據塊索引，完成相應瓦片分割存儲方案的目標數據塊訪問。