[發明專利]一種基于分布式文件系統的遙感數據存儲方法及系統

在審

• 申請號: 201710656126.8
• 申請日: 2017-08-03
• 公開（公告）號: CN107423431A
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 陳廣勝;程益群;景維鵬
• 申請（專利權）人: 東北林業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 哈爾濱市偉晨專利代理事務所(普通合伙)23209
• 代理人: 榮玲

技術領域

本發明涉及遙感影像存儲技術領域，特別涉及一種基于分布式文件系統的遙感數據存儲方法及系統。

背景技術

當前存在的基于分布式文件系統的遙感數據存儲體系大多屬于對現有系統的簡單拼湊，缺乏主流大數據處理框架的支撐，給遙感數據的處理帶來了諸多不便。同時，由于遙感數據本身包含諸多類型數據，現有的分布式文件系統無法直接對于多種類型的遙感數據進行存儲，也缺乏統一的接口對多種類型數據進行管理，給用戶的使用帶來的較大不便。

發明內容

為了解決上述問題，本發明公開了一種基于分布式文件系統的遙感數據存儲方法及系統，通過組合使用HDFS/Hbase和MongoDB，實現了多種類型遙感數據的分布式存儲，并且提供了訪問接口以實現Hadoop/Spark平臺對遙感數據的訪問和處理。

本發明通過如下方法實現：一種基于分布式文件系統的遙感數據存儲方法，包括：

使用HDFS存儲遙感原始影像數據，使用HBase存儲遙感元數據和切片數據，構建遙感數據分布式存儲框架，具體為：

使用HDFS，在多個DataNode節點中存儲遙感原始影像數據；

選擇image_scale參數或由auto_scale()函數自動確定切圖大小，使用GDAL庫進行分布式切圖；

采用改進的Hilbert編碼方式，擴充Hilbert編碼為等長編碼并定義為rowkey，所述rowkey為HBase索引；

使用format_file()函數，實現切片數據的并行入庫；

使用put命令，實現遙感元數據的入庫操作；

定義分布式訪問接口：所述分布式訪問接口分別為MongoDB訪問接口和HDFS/Hbase直接訪問接口，所述分布式訪問接口的訪問方式具體為：

判斷是否滿足isMDB或isHDB狀態之一，如果是，則進一步判斷，否則數據寫入本地磁盤；

進一步判斷是否滿足isHDB狀態，如果是，則調用接口IHdfsOut()，實現數據訪問；否則，調用函數mongo_convert()，將數據緩存到MongoDB，調用IMongoOut()接口實現數據訪問。

所述的方法中，所述image_scale參數用于確定切圖大小參數，所述切圖大小參數包括：128x128，256x256，512x512，1024x1024；所述auto_scale()函數用于自動確定切圖大??；

所述format_file()函數用于序列化切圖文件并入庫；所述put命令用于在表中添加一行文本數據。

所述的方法中，所述isMDB狀態為允許MongoDB庫訪問狀態；所述isHDB狀態為允許直接訪問HDFS/HBase狀態。

所述的方法中，所述IHdfsOut()用于實現基于HDFS/HBase數據的訪問；

所述mongo_convert()用于實現HBase中遙感影像數據到MongoDB文檔數據庫的存儲和HBase中遙感元數據到MongoDB的存儲；

所述IMongoOut()用于實現基于MongoDB的數據訪問。

所述的方法中，所述擴充Hilbert編碼為等長編碼具體為：擴充字符及Hilbert編碼，其中擴充字符均使用1填充，擴充長度為2^切圖塊數-Length(Hilbert)，擴充完成后的編碼為2^切圖塊數。

本發明還提出一種存儲系統：一種基于分布式文件系統的遙感數據存儲系統，包括：

遙感數據分布式存儲框架：使用HDFS存儲遙感原始影像數據，使用HBase存儲遙感元數據和切片數據，構建遙感數據分布式存儲框架，具體為：

遙感原始影像數據存儲模塊，用于使用HDFS，在多個DataNode節點中存儲遙感原始影像數據；

遙感元數據及切片數據存儲模塊：選擇image_scale參數或由auto_scale()函數自動確定切圖大小，使用GDAL庫進行分布式切圖；

采用改進的Hilbert編碼方式，擴充Hilbert編碼為等長編碼并定義為rowkey，所述rowkey為HBase索引；

使用format_file()函數，實現切片數據的并行入庫；

使用put命令，實現遙感元數據的入庫操作；

分布式訪問接口：所述分布式訪問接口分別為MongoDB訪問接口和HDFS/Hbase直接訪問接口；

判斷是否滿足isMDB或isHDB狀態之一，如果是，則進一步判斷，否則數據寫入本地磁盤；