[發明專利]云環境下基于預分片的遙感影像數據并行重采樣方法

有效

• 申請號: 201410017598.5
• 申請日: 2014-01-15
• 公開（公告）號: CN103809969B
• 公開（公告）日: 2016-11-30
• 發明（設計）人: 王國鋒;李建成;池子文;杜震洪;張豐;劉仁義
• 申請（專利權）人: 中國公路工程咨詢集團有限公司;浙江大學
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

技術領域

本發明涉及云計算、地理信息系統和遙感影像數據處理領域，尤其涉及一種云環境下基于預分片的遙感影像數據并行重采樣方法。?

背景技術

為了對大型高分辨率遙感影像數據進行分層分塊組織，建立具有多分辨率層級的影像金字塔，使客戶端能夠直接請求目標分辨率層級、目標區域的影像數據塊，原始影像數據須經過重采樣，從而獲得低一級分辨率的影像數據。?

在影像數據處理過程中，盡管許多操作最終是對某個像素進行處理，但處理過程中通常需要考慮影像鄰接的像素點。然而在云計算環境下，MapReduce并行計算框架使用流式數據讀取方式，在默認情況下，對數據進行分片讀取的方式如圖2所示，這種方式忽略了像素之間原有的空間關系，難以用以需要考慮緊鄰像素的遙感影像處理領域。?

發明內容

本發明的目的是克服現有技術的不足，提供一種云環境下基于預分片的遙感影像數據并行重采樣方法。?

云環境下基于預分片的遙感影像數據并行重采樣方法包括如下步驟：?

（1）目標影像數據上傳

在并行重采樣之前，客戶端通過調用Hadoop的Java?API，將待處理的遙感影像數據寫入云存儲的分布式文件系統HDFS集群上，以便通過MapReduce并行計算框架進行處理；

（2）影像數據預分片

為提供適合影像數據并行計算的數據輸入策略，使影像數據在分片時能夠保持像素間原有空間位置關系，將步驟(1)中上傳至HDFS集群上的目標影像數據按照規則格網方式進行分塊，并將這些分塊寫回HDFS集群上；

（3）影像數據輸入

通過MapReduce框架讀取步驟(2)中生成的預分片影像塊，將各影像塊作為一個獨立的分片ImageSplit進行輸入，記錄影像塊的層級號和行列位置，其中原始影像的層級號為0，同時，禁止MapReduce框架進一步對其進行再次分塊和分記錄，從而使每個影像塊作為一個單獨的影像分片進行處理；

（4）并行重采樣

通過MapReduce框架為步驟(3)中的每一個影像分片ImageSplite創建單獨的重采樣map任務，這些map任務并行運行在集群各節點上，分別對相應的影像分片進行重采樣處理，生成了不同層級的影像分片，并以層級號和行列號進行唯一標識；

（5）影像數據歸并

通過MapReduce框架為每一個層級的影像數據創建一個單獨的reduce任務，這些reduce任務并行運行在集群各節點上，將擁有相同層級號的影像分片分配到對應層級號的reduce任務進行歸并處理，歸并后的各層影像分片通過層級號進行標識；

（6）影像數據輸出階段

根據不同分辨率層級號，對步驟(5)中歸并后的影像數據根據目標格式進行逐層輸出，并寫入分布式文件系統HDFS上，從而完成影像數據并行重采樣的結果輸出；

所述的步驟(3)包括設計ImageFileInputFormat類和ImageRecordReader類；ImageFileInputFormat類繼承于FileInputFormat類，通過該類控制已經過預分片的影像塊不再繼續分片，每個影像塊作為一個單獨的影像分片進行輸入；ImageRecordReader類，繼承于RecordReader類，通過該類實現每個影像分片作為一個單獨的記錄進行處理；設計ImageBlockWritable類實現對影像分片的封裝，包含了影像塊二進制流、行列位置和層級號，便以通過MapReduce程序進行處理。

所述的步驟(4)包括為重采樣任務定義了ResaMapper類，繼承于Mapper類，在map()方法中，加載原始影像分片，即第0級影像分片，并進行循環重采樣，生成各層級影像數據分片；在進行每一層級重采樣之后，對影像分片按照<IntWritable,?ImageBlockWritable>鍵值對方式進行輸出，供下一步繼續處理，其中IntWritable為層級號，ImageBlockWritable為可序列化影像數據塊。?

所述的步驟(5)包括為影像分片的歸并設計ResaReducer類，繼承于Reducer類，用于實現影像數據歸并reduce任務；在進行歸并處理時，相同層級的影像分片根據層級號被分配到同一個ResaReducer進行出，通過reduce()方法完成所在分辨率層級所有影像分片的拼接；不同分辨率層級的影像歸并reduce任務被分配到不同節點上執行，從而并行生成各層級拼接后的影像數據，并通過層級號進行標識。?