[發明專利]一種基于云計算的遙感衛星數據解壓縮處理系統及方法

在審

• 申請號: 201911033494.2
• 申請日: 2019-10-28
• 公開（公告）號: CN110855638A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 王海波;鄧超;王冰冰;齊建超;吳郡;趙亮
• 申請（專利權）人: 中國資源衛星應用中心
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 張歡

一種基于云計算的遙感衛星數據解壓縮處理系統，包括輸入格式組件、分塊讀取組件、數據劃分組件、解壓縮Mapper組件、解壓縮Shuffle組件、解壓縮Reducer組件、原始數據解壓縮組件、圖像拼接組件；本發明按照遙感數據分割描述文件與數據壓縮幀格式對各傳感器圖像原始數據進行并行粒度劃分，使其能夠并行處理；采用優化后的Map?Reduce計算模型對分割后的原始數據分塊進行高速并行解壓縮處理，一個傳感器圖像數據可由多個節點并行解壓縮處理，依次完成數據解壓縮、圖像數據排序、圖像數據拼接，形成完整的圖像數據。

技術領域

本發明涉及一種衛星遙感圖像原始數據解壓縮處理系統及方法，屬于遙感數據處理領域，適用于遙感衛星圖像處理。

背景技術

衛星下傳的原始數據都是組包成約定格式的壓縮碼流，地面必須配置去格式解壓縮設備來完成相應的逆處理，以恢復出原始圖像數據。

目前國產遙感衛星原始數據解壓縮主要采用單節點單步處理的方式，每個專用節點負責一個圖像虛擬信道數據的解壓縮。從數據獲取開始，經過幀同步、解擾、格式解析、數據分割、解壓縮、圖像拼接、數據回放等步驟，完成對原始數據的解壓縮處理。隨著我國遙感衛星技術的發展，衛星數傳碼率以及星載壓縮編碼器性能均大幅提高。使用單節點單步流程處理高速數傳碼流，運算量極大，單節點易出現系統問題，可靠性和效率極低。為了保證數據解壓縮的可靠性，專用節點只能降低解壓縮的速率，無法滿足用戶對遙感影像的實時獲取需求，且增加了系統維護成本。

發明內容

本發明要解決的技術問題是：本發明采用云計算架構，克服單節點模式的性能瓶頸問題，提供一種基于云計算的遙感衛星數據解壓縮系統及方法，解決了目前遙感衛星數據解壓縮處理時效性差，可靠性低的問題。本發明在面對海量遙感數據解壓縮有巨大的性能及可靠性優勢，無需進行降速解壓縮，即可高效可靠完成整軌雙通道原始數據的解壓縮處理；同時其性能可以通過增加云計算節點的方式進一步提高，具有較高的擴展性。

本發明所采用的技術方案是：一種基于云計算的遙感衛星數據解壓縮處理系統，包括輸入格式組件、分塊讀取組件、數據劃分組件、解壓縮Mapper組件、解壓縮Shuffle組件、解壓縮Reducer組件、原始數據解壓縮組件、圖像拼接組件；

輸入格式組件：根據設置的原始數據分塊大小和位置，將原始數據切割成分塊數據，調用分塊讀取組件，生成可供解壓縮Mapper組件處理的原始分塊數據鍵值對<key,value>，并分發至各個Map處理節點；

數據劃分組件：記錄各個原始分塊數據的大小和位置；

分塊讀取組件：根據原始分塊數據，生成key值和value值，組合成原始分塊數據鍵值對<key,value>；

解壓縮Mapper組件：接收原始分塊數據鍵值對，進行數據提取操作，同時調用原始數據解壓縮組件，將原始分塊數據解壓縮，生成圖像塊數據，并將其重新組織成鍵值對<key,value>的形式；

解壓縮Shuffle組件：接收圖像塊數據鍵值對，按照圖像幅號以及幅內塊號進行排序，輸出至解壓縮Reducer組件；

解壓縮Reducer組件：接收排序后的圖像塊數據，調用圖像拼接組件進行圖像數據的拼接、輔助數據恢復和數據校驗；

原始數據解壓縮組件：以原始分塊數據為單位進行數據解壓縮，輸出解壓縮后數據；

圖像拼接組件：將具有同一幅號的圖像塊和輔助數據塊按照塊號進行排序，并進行拼接，最終形成符合衛星數據格式規范的圖像數據和輔助數據。

一種基于云計算的遙感衛星數據解壓縮處理方法，包括步驟如下：

(1)根據每顆遙感衛星的原始數據格式特征，確定用于并行計算的輸入數據分塊長度，調用數據劃分組件，生成原始數據分割信息描述文件；