[發明專利]一種遙感數據處理方法、系統、電子設備和介質

在審

• 申請號: 201910037675.6
• 申請日: 2019-01-15
• 公開（公告）號: CN109871269A
• 公開（公告）日: 2019-06-11
• 發明（設計）人: 白鶴峰;毛秀華;胡玉新;溫雙燕;林精敦;關耀文;李建忠;洪海昆;李倩倩;余偉;張凱
• 申請（專利權）人: 中國人民解放軍63921部隊;中國科學院電子學研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

本發明提供了一種遙感數據處理方法、系統、電子設備和介質。所述方法包括：構建N個計算節點，計算節點之間通過高速網絡連接，通過數據總線進行數據傳遞，其中，N≥1；當有一軌遙感原始碼流數據待處理時，按照數據處理流程，不同環節的處理任務在不同的計算節點上同時被調度，至少一個計算節點根據所述處理任務對原始碼流數據進行數據處理，同時將處理得到的數據通過所述數據總線傳遞至下一個環節的處理任務所在的計算節點進行數據處理，直至完成遙感數據處理任務。本發明基于數據驅動自動發起數據處理任務，數據處理結果在每個處理任務環節之間利用數據總線進行流式傳遞，提高了處理速度，也保證了時效性。

技術領域

本發明涉及一種遙感數據處理方法、系統、電子設備和介質。

背景技術

隨著遙感技術的發展，遙感數據應用于越來越多的領域，例如環境監測、災害預警、測繪等。因此對遙感數據處理的時效性提出了更高的要求。

現有遙感數據的處理通常采用外部(外部系統或人工)指令的方式驅動數據處理流程，系統響應時效性比較低。

現有技術對遙感數據的處理通常為基于批處理框架實現，各個數據處理模塊之間通過磁盤等存儲設備將上一個數據處理模塊已處理完成的數據存儲至磁盤中，下一個數據處理模塊從磁盤中取出待處理的數據，再進行數據處理。這樣的處理模式需要上一個處理模塊將數據全部處理完成后，下一個處理模塊再開始處理數據。同時，處理模塊通過磁盤將數據一批一批的通過多次存儲和多次取出實現數據的處理。批處理框架下的數據處理過程慢，時效性低。

發明內容

(一)要解決的技術問題

現有遙感數據的處理通常采用外部(外部系統或人工)指令的方式驅動數據處理流程，系統響應時效性比較低。

現有技術對遙感數據的處理通常為基于批處理框架實現，需要上一個處理模塊將數據全部處理完成后，下一個處理模塊再開始處理數據。同時，處理模塊通過磁盤將數據一批一批的通過多次存儲和多次取出實現數據的處理。批處理框架下的數據處理過程慢，時效性低。

(二)技術方案

本發明一方面提供了一種遙感數據處理方法，所述方法包括：步驟101：構建N個計算節點，所述N個計算節點之間通過高速網絡連接，通過數據總線實現數據傳遞，其中，N≥1；步驟102：獲取待處理的一軌遙感原始碼流數據，按照數據處理流程，不同環節的處理任務在不同的計算節點上同時被調度，至少一個計算節點根據所述處理任務對所述原始碼流數據進行數據處理，同時將已處理完成得到的數據通過所述數據總線傳遞至下一個環節的處理任務所在的計算節點進行數據處理，直至完成遙感數據處理任務。

可選地，所述步驟102包括：步驟1021，對所述N個計算節點進行分組，至少得到數據接入計算節點組、解壓縮計算節點組、分景編目計算節點組及產品生產計算節點組，其中，每個計算節點組至少包括一個計算節點；步驟1022，檢測到一軌新的原始碼流數據時，所述至少一個數據接入計算節點組將所述原始碼流數據進行幀同步處理得到幀數據，同時將所述幀數據通過數據總線傳遞至所述解壓縮計算節點組；步驟1023，所述至少一個解壓縮計算節點組將所述幀數據進行解壓縮處理，同時將解壓縮處理后的格式化數據通過數據總線傳遞至所述分景編目計算節點組；步驟1024，所述至少一個分景編目計算節點組對解壓縮處理后的格式化數據進行分景，得到分景數據，當數據夠一景時，在至少一個產品生產計算節點組上啟動產品生產軟件，將所述分景數據通過數據總線傳遞至產品生產計算節點組；步驟1025，所述產品生產計算節點組根據所述分景數據，生成遙感影像和元數據；步驟1026，將所述遙感影像和元數據存儲在高速緩存設備中。

可選地，所述方法還包括：根據遙感數據處理任務對N個計算節點進行調度和監控。