[發明專利]一種基于云計算的遙感衛星數據解壓縮處理系統及方法

在審

• 申請號: 201911033494.2
• 申請日: 2019-10-28
• 公開（公告）號: CN110855638A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 王海波;鄧超;王冰冰;齊建超;吳郡;趙亮
• 申請（專利權）人: 中國資源衛星應用中心
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 張歡

1.一種基于云計算的遙感衛星數據解壓縮處理系統，其特征在于，包括輸入格式組件、分塊讀取組件、數據劃分組件、解壓縮Mapper組件、解壓縮Shuffle組件、解壓縮Reducer組件、原始數據解壓縮組件、圖像拼接組件；

輸入格式組件：根據設置的原始數據分塊大小和位置，將原始數據切割成分塊數據，調用分塊讀取組件，生成可供解壓縮Mapper組件處理的原始分塊數據鍵值對<key,value>，并分發至各個Map處理節點；

數據劃分組件：記錄各個原始分塊數據的大小和位置；

分塊讀取組件：根據原始分塊數據，生成key值和value值，組合成原始分塊數據鍵值對<key,value>；

解壓縮Mapper組件：接收原始分塊數據鍵值對，進行數據提取操作，同時調用原始數據解壓縮組件，將原始分塊數據解壓縮，生成圖像塊數據，并將其重新組織成鍵值對<key,value>的形式；

解壓縮Shuffle組件：接收圖像塊數據鍵值對，按照圖像幅號以及幅內塊號進行排序，輸出至解壓縮Reducer組件；

解壓縮Reducer組件：接收排序后的圖像塊數據，調用圖像拼接組件進行圖像數據的拼接、輔助數據恢復和數據校驗；

原始數據解壓縮組件：以原始分塊數據為單位進行數據解壓縮，輸出解壓縮后數據；

圖像拼接組件：將具有同一幅號的圖像塊和輔助數據塊按照塊號進行排序，并進行拼接，最終形成符合衛星數據格式規范的圖像數據和輔助數據。

2.一種基于云計算的遙感衛星數據解壓縮處理方法，其特征在于，包括步驟如下：

(1)根據每顆遙感衛星的原始數據格式特征，確定用于并行計算的輸入數據分塊長度，調用數據劃分組件，生成原始數據分割信息描述文件；

(2)根據輸入的原始數據分割信息描述文件，調用輸入格式組件、分塊讀取組件、數據劃分組件，進行原始數據的劃分，將原始數據分割為原始分塊數據鍵值對<key,value>的集合，同時分配各原始分塊數據存儲的數據節點；

(3)Hadoop平臺根據各Map節點的負載與原始分塊數據的存儲位置，將各個原始分塊數據鍵值對分配至最優的Map處理節點進行運算；

(4)各解壓縮Mapper組件處理原始分塊數據鍵值對，進行數據提取操作，同時調用原始數據解壓縮組件，將原始分塊數據解壓縮，生成圖像塊數據，并重新組合成圖像塊數據鍵值對<key,value>的形式，處理結果以數據流的方式傳輸到解壓縮Shuffle組件；如果節點出現異常錯誤，則調度到其他節點重新運算；

(5)解壓縮Shuffle組件接收數據流，按照圖像幅號以及幅內塊號將鍵值對排序后，以數據流的方式傳輸至各解壓縮Reducer組件；

(6)各解壓縮Reducer組件將具有同一幅號的圖像塊和輔助數據塊按照塊號進行排序，對同一幅號的圖像數據和輔助數據進行拼接，同時進行校驗，最后生成遙感衛星各個類型傳感器完整的圖像數據和輔助數據。

3.根據權利要求2所述的一種基于云計算的遙感衛星數據解壓縮處理方法，其特征在于，分割信息描述文件結構如下：

<split>

<id>分塊序號</id>

<start>起始坐標</start>

<end>結束坐標</end>

</split>

其中，id為數據分塊序號，start為數據分塊起始字節值，end為數據分塊結束字節值。

4.根據權利要求2或3所述的一種基于云計算的遙感衛星數據解壓縮處理方法，其特征在于，所述輸入格式組件：根據設置的原始數據分塊大小和位置，將原始數據切割成分塊數據，調用分塊讀取組件，生成可供解壓縮Mapper組件處理的原始分塊數據鍵值對<key,value>，并分發至各個Map處理節點。

5.根據權利要求4所述的一種基于云計算的遙感衛星數據解壓縮處理方法，其特征在于，所述數據劃分組件：記錄各個原始分塊數據的大小和位置。

6.根據權利要求5所述的一種基于云計算的遙感衛星數據解壓縮處理方法，其特征在于，所述分塊讀取組件：根據原始分塊數據，生成key值和value值，組合成原始分塊數據鍵值對<key,value>。