[發明專利]一種基于分布式文件系統的遙感數據存儲方法及系統

在審

• 申請號: 201710656126.8
• 申請日: 2017-08-03
• 公開（公告）號: CN107423431A
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 陳廣勝;程益群;景維鵬
• 申請（專利權）人: 東北林業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 哈爾濱市偉晨專利代理事務所(普通合伙)23209
• 代理人: 榮玲

1.一種基于分布式文件系統的遙感數據存儲方法，其特征在于，包括：

使用HDFS存儲遙感原始影像數據，使用HBase存儲遙感元數據和切片數據，構建遙感數據分布式存儲框架，具體為：

使用HDFS，在多個DataNode節點中存儲遙感原始影像數據；

選擇image_scale參數或由auto_scale()函數自動確定切圖大小，使用GDAL庫進行分布式切圖；

采用改進的Hilbert編碼方式，擴充Hilbert編碼為等長編碼并定義為rowkey，所述rowkey為HBase索引；

使用format_file()函數，實現切片數據的并行入庫；

使用put命令，實現遙感元數據的入庫操作；

定義分布式訪問接口：所述分布式訪問接口分別為MongoDB訪問接口和HDFS/Hbase直接訪問接口，所述分布式訪問接口的訪問方式具體為：

判斷是否滿足isMDB或isHDB狀態之一，如果是，則進一步判斷，否則數據寫入本地磁盤；

進一步判斷是否滿足isHDB狀態，如果是，則調用接口IHdfsOut()，實現數據訪問；否則，調用函數mongo_convert()，將數據緩存到MongoDB，調用IMongoOut()接口實現數據訪問。

2.如權利要求1所述的方法，其特征在于，所述image_scale參數用于確定切圖大小參數，所述切圖大小參數包括：128x128，256x256，512x512，1024x1024；所述auto_scale()函數用于自動確定切圖大小；

所述format_file()函數用于序列化切圖文件并入庫；所述put命令用于在表中添加一行文本數據。

3.如權利要求1所述的方法，其特征在于，所述isMDB狀態為允許MongoDB庫訪問狀態；所述isHDB狀態為允許直接訪問HDFS/HBase狀態。

4.如權利要求1所述的方法，其特征在于，所述IHdfsOut()用于實現基于HDFS/HBase數據的訪問；

所述mongo_convert()用于實現HBase中遙感影像數據到MongoDB文檔數據庫的存儲和HBase中遙感元數據到MongoDB的存儲；

所述IMongoOut()用于實現基于MongoDB的數據訪問。

5.如權利要求1所述的方法，其特征在于，所述擴充Hilbert編碼為等長編碼具體為：擴充字符及Hilbert編碼，其中擴充字符均使用1填充，擴充長度為2^切圖塊數-Length(Hilbert)，擴充完成后的編碼為2^切圖塊數。

6.一種基于分布式文件系統的遙感數據存儲系統，其特征在于，包括：

遙感數據分布式存儲框架：使用HDFS存儲遙感原始影像數據，使用HBase存儲遙感元數據和切片數據，構建遙感數據分布式存儲框架，具體為：

遙感原始影像數據存儲模塊，用于使用HDFS，在多個DataNode節點中存儲遙感原始影像數據；

遙感元數據及切片數據存儲模塊：選擇image_scale參數或由auto_scale()函數自動確定切圖大小，使用GDAL庫進行分布式切圖；

采用改進的Hilbert編碼方式，擴充Hilbert編碼為等長編碼并定義為rowkey，所述rowkey為HBase索引；

使用format_file()函數，實現切片數據的并行入庫；

使用put命令，實現遙感元數據的入庫操作；

分布式訪問接口：所述分布式訪問接口分別為MongoDB訪問接口和HDFS/Hbase直接訪問接口；

判斷是否滿足isMDB或isHDB狀態之一，如果是，則進一步判斷，否則數據寫入本地磁盤；

進一步判斷是否滿足isHDB狀態，如果是，則調用接口IHdfsOut()，實現數據訪問；否則，調用函數mongo_convert()，將數據緩存到MongoDB，調用IMongoOut()接口實現數據訪問。