[發明專利]一種多載荷數據處理方法及系統

在審

• 申請號: 201710790538.0
• 申請日: 2017-09-05
• 公開（公告）號: CN107783839A
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 張萬峰;李盛陽;邵雨陽
• 申請（專利權）人: 中國科學院空間應用工程與技術中心
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立,王灝增

技術領域

本發明涉及地學計算領域，尤其涉及一種多載荷數據處理方法及系統。

背景技術

目前，對空間科學數據的地面處理，通常使用通用高性能衛星地面預處理系統，該系統采用二級任務管理與調度技術，第一級為數據處理任務的流程管理與調度，把用戶提交的所有計算任務都放入請求隊列中，通過調用驗證服務對隊列中的請求進行檢驗，通過檢驗的請求進入調度隊列，同時反饋給提交請求的用戶一個唯一的ID作為標記；第二級為子任務管理與調度，該階段從第一級調度中接收新的調度任務，利用任務資源池緩存任務，然后根據優先級、調度策略、計算資源負載等因素協調資源，以決定將子任務分配給哪個計算節點進行處理。

然而在處理空間科學數據時，上述數據處理方案存在以下缺點：

(1)多載荷數據擴展處理難

與傳統遙感衛星數據處理過程不同之處在于，空間科學數據的地面處理通常需要應對多種載荷成像機理差異較大的情況，例如同一飛行平臺上為了進行更多種類的空間科學實驗與觀測，會搭載包括光學、微波及其他空間環境探測類的多種類型載荷，不同類型載荷的數據處理功能無法利用該技術方案進行擴展。

(2)高并發處理流程調度效率不高

該技術方案對數據處理流程的調度是在OpenPBS預設調度算法的基礎上進行優化實現，在處理空間科學領域的高速下行數據時，對高并發的數據處理流程調度效率受限于任務優先級、提交順序等因素影響，不能很好地實現計算節點之間的負載均衡。

(3)數據處理流程無法按需組合

該技術方案中對數據進行不同級別產品生產的流程都是固定的算法模塊進行組合得到的，而在多載荷空間科學數據處理過程中，根據數據產品生產需求、數據產品質量分析需求，對算法模塊進行按需組合是一項必備功能，這也是該技術方案中無法實現的功能。

發明內容

本發明所要解決的技術問題是針對現有技術的不足，提供一種多載荷數據處理方法及系統。

本發明解決上述技術問題的技術方案如下：

一種多載荷數據處理方法，包括以下步驟：

獲取用于處理多載荷數據的至少一個算法；

根據全部所述算法生成一個工作流；

獲取所述多載荷數據，并確定所述多載荷數據的數據量；

根據預設的調度算法和所述數據量，對用于處理所述多載荷數據的計算節點進行調度，確定根據所述工作流處理所述多載荷數據的計算節點；

將所述工作流和所述多載荷數據發送到對應的計算節點，所述計算節點根據所述工作流對所述多載荷數據進行處理。

本發明的有益效果是：本發明提供的一種多載荷數據處理方法，通過事先根據處理多載荷數據的算法生成工作流，解決了現有技術多載荷數據擴展處理難的問題，實現了同時對多種載荷數據進行處理，同時實現了將算法進行按需組合，能夠根據多種算法生成的多種不同的工作流生成不同的數據產品，并且通過預設的調度算法對計算節點進行調度，解決了現有技術高并發處理流程調度效率不高的問題，實現了高并發數據的處理流程的負載均衡調度。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步地，所述獲取用于處理多載荷數據的至少一個算法之后，還包括：

讀取全部所述算法的算法信息；

根據全部所述算法的算法信息生成一個XML文件；

獲取Schema文件，根據所述Schema文件對所述XML文件的全部取值的類型進行檢測，當檢測到所述XML文件的取值的類型出現錯誤時，向預設終端發送檢測結果。

進一步地，所述根據各所述算法生成工作流具體包括：

調用OSWorkflow工作流引擎，從所述XML文件中選擇至少一個所述算法，將選擇的所述算法組合成工作流。

進一步地，所述工作流包括第一級數據生成流程、第二級數據生成流程、第三級數據生成流程和第四級數據生成流程中的任一種，其中：

所述第一級數據生成流程包括：輻射校準算法；

所述第二級數據生成流程依次包括：輻射校準算法和幾何校正算法；

所述第三級數據生成流程依次包括：輻射校準算法、幾何校正算法和幾何精校正算法；

所述第四級數據生成流程依次包括：輻射校準算法、幾何校正算法、幾何精校正算法和正射校正算法。

進一步地，還包括：

對所述計算節點處理所述多載荷數據的工作狀態進行監控，并將所述工作狀態發送給預設終端。

本發明解決上述技術問題的另一種技術方案如下：