[發(fā)明專利]一種海量遙感數(shù)據(jù)的云存取方法

有效

• 申請?zhí)枺?/td>: 201310567835.0
• 申請日: 2013-11-14
• 公開（公告）號: CN103595791B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設計）人: 陳會娟;錢靜;劉萍;鄭茂恭;黃鑫
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 沈祖鋒,郝明琴

【技術領域】

本發(fā)明涉及數(shù)據(jù)處理技術領域，特別涉及一種海量遙感數(shù)據(jù)的云存取方法。

【背景技術】

隨著遙感技術的飛速發(fā)展，產生了海量的遙感影像數(shù)據(jù)，海量影像數(shù)據(jù)的存儲和讀取對計算機硬件和軟件提出了更高要求。目前，通常是將影像數(shù)據(jù)全部讀入到內存，使用時再從內存中讀取相關數(shù)據(jù)，這種方法對小數(shù)據(jù)量的影像速度比較快。但是受限于計算機內存資源難以讀入足夠大的影像數(shù)據(jù)。因此，

傳統(tǒng)的遙感影像存取技術已經很難適應快速膨脹的遙感影像數(shù)據(jù)量。

中國專利CN103093413A公開了一種遙感影像數(shù)據(jù)寫入及讀取的方法和裝置，采用的是按預設大小對原始遙感影像數(shù)據(jù)劃分固定塊，獲取固定塊中象素單元的顏色分量值，再對顏色分量值分配標識的方法，雖然能夠降低遙感影像數(shù)據(jù)的使用成本，節(jié)省柵格數(shù)據(jù)的存儲空間，但是只能處理有限量的遙感影像數(shù)據(jù)，無法快速有效的處理海量遙感影像數(shù)據(jù)。

【發(fā)明內容】

本發(fā)明目的是：提供一種海量遙感數(shù)據(jù)的云存取方法，該方法能夠對海量遙感數(shù)據(jù)進行快速存取。

為實現(xiàn)上述目的，本發(fā)明采用下述技術方案：

一種海量遙感數(shù)據(jù)的云存取方法，包括下述步驟：

步驟S110：基于Hadoop構建所述遙感數(shù)據(jù)云計算平臺，所述Hadoop包括HDFS和HBase，所述HDFS中存放所述遙感影像數(shù)據(jù)，所述HBase中存儲所述遙感影像數(shù)據(jù)相應的元數(shù)據(jù)，所述HDFS包括NameNode和DataNode，所述NameNode中存儲文件的路徑信息和復制信息，所述DataNode中存儲分區(qū)的文件塊，所述文件塊可根據(jù)所述NameNode中設置的復制數(shù)在所述DataNode間進行復制。

步驟S120：根據(jù)所述遙感數(shù)據(jù)的分辨率構建所述遙感數(shù)據(jù)的遙感圖像金字塔；

步驟S130：按所述遙感圖像金字塔，將所述遙感圖像分割成若干切片，所述切片存儲于所述HDFS的NameNode節(jié)點上；

步驟S140：合成上述所有切片以形成完整影像，并寫入新建的HDFS中；

步驟S150：采用金字塔影像存儲結構的方式構建遙感數(shù)據(jù)云存儲模塊；及

步驟S160：構建遙感數(shù)據(jù)云讀取模塊。

優(yōu)選地，步驟S120中，根據(jù)所述遙感數(shù)據(jù)的分辨率構建所述遙感數(shù)據(jù)的遙感圖像金字塔，包括下述步驟：

步驟S121：根據(jù)所述遙感數(shù)據(jù)的分辨率計算金字塔分級數(shù)；

步驟S122：建立所述金字塔并重采樣；

步驟S123：計算所述金字塔各層的仿射變換參數(shù)；

步驟S124：設置切片的坐標系統(tǒng)，完成所述遙感數(shù)據(jù)的遙感圖像金字塔的構建。

優(yōu)選地，其中，根據(jù)所述遙感數(shù)據(jù)的分辨率計算金字塔分級數(shù)，具體為，按照所述遙感數(shù)據(jù)的分辨率大小，將所述遙感數(shù)據(jù)分成不同的級別，每一級別對應特定圖像的分辨率大小，且級別越高對應的圖像分辨率越大，級別越低對應的圖像分辨率越小，第一級對應于所述金字塔的最頂層。

優(yōu)選地，步驟S140中，合成上述所有切片以形成完整影像，并寫入新建的HDFS中，包括下述步驟：

步驟S141：從所述NameNode的切片目錄下的文件中讀取完整影像的尺寸信息；

步驟S142：根據(jù)所述完整影像的尺寸信息創(chuàng)建新的柵格文件；

步驟S143：讀取所述柵格文件的空間參考和仿射變換信息；

步驟S144：創(chuàng)建新的HDFS文件系統(tǒng)，并給其設置空間參考和仿射變換信息；

步驟S145：遍歷讀取原HDFS中所有需要合并的切片，寫入新建的HDFS中并保存。

優(yōu)選地，步驟S160中，構建遙感數(shù)據(jù)云讀取模塊，具體包括下述步驟：

步驟S161：從所述HBase的變更表中獲取HDFS中實際存儲文件名；

步驟S162：所述NameNode節(jié)點得到此文件的所有文件塊路徑信息和復制信息；

步驟S163：通過所述HDFS的訪問接口從對應的所述DataNode中讀取所有文件塊；

步驟S164：在讀取完成后關閉與所述HDFS的連接，實現(xiàn)對所述遙感數(shù)據(jù)云讀取模塊的構建。

采用上述技術方案，本發(fā)明的有益效果在于：