[發(fā)明專利]面向多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)的工作流管理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810671454.X
• 申請(qǐng)日: 2018-06-26
• 公開（公告）號(hào): CN108985709A
• 公開（公告）日: 2018-12-11
• 發(fā)明（設(shè)計(jì)）人: 馬艷;王力哲;張杰;孫書言;宋一凡;劉鵬;陳臘嬌
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院遙感與數(shù)字地球研究所
• 主分類號(hào): G06Q10/10
• 分類號(hào): G06Q10/10;G06Q10/06
• 代理公司: 北京紐樂康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 唐忠慶

本發(fā)明公開了一種面向多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)的工作流管理方法，包括以下步驟：構(gòu)建遙感產(chǎn)品生產(chǎn)處理流程庫，構(gòu)建多源遙感數(shù)據(jù)處理的流程知識(shí)庫,構(gòu)建多級(jí)任務(wù)訂單庫；根據(jù)Kepler動(dòng)態(tài)工作流系統(tǒng)及PBS作業(yè)調(diào)度系統(tǒng)自動(dòng)構(gòu)建遙感產(chǎn)品生產(chǎn)的不同粒度的具體任務(wù)工作流；制定啟發(fā)式工作流動(dòng)態(tài)調(diào)度策略方法；制定與遙感產(chǎn)品生產(chǎn)相關(guān)的多級(jí)任務(wù)狀態(tài)監(jiān)控的策略，及基于重試、檢查點(diǎn)恢復(fù)、超時(shí)退出的容錯(cuò)策略；構(gòu)建了可動(dòng)態(tài)的流程庫、算法庫，實(shí)現(xiàn)了多衛(wèi)星數(shù)據(jù)中心多源遙感工作流的動(dòng)態(tài)可擴(kuò)展管理。

技術(shù)領(lǐng)域

本發(fā)明涉及衛(wèi)星數(shù)據(jù)中心技術(shù)領(lǐng)域，具體來說，涉及一種面向多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)的工作流管理方法。

背景技術(shù)

目前，許多國家和地區(qū)已經(jīng)建立了不同的遙感衛(wèi)星平臺(tái)和衛(wèi)星數(shù)據(jù)中心，具備了多光譜、多角度、多時(shí)相、多空間分辨率的空間觀測(cè)及數(shù)據(jù)處理能力。這些不同類型的衛(wèi)星平臺(tái)已經(jīng)產(chǎn)生并將持續(xù)產(chǎn)生海量的遙感數(shù)據(jù)，以滿足專門化的信息提取及應(yīng)用需求。由于單一衛(wèi)星數(shù)據(jù)源難以滿足遙感領(lǐng)域大型應(yīng)用的綜合應(yīng)用需求，將當(dāng)前的多個(gè)衛(wèi)星數(shù)據(jù)中心機(jī)構(gòu)聯(lián)合起來，提供多源、海量的衛(wèi)星遙感數(shù)據(jù)支持，開展大規(guī)模的數(shù)據(jù)處理及分析，滿足用戶綜合遙感信息服務(wù)需求已成為當(dāng)前遙感應(yīng)用的重要發(fā)展趨勢(shì)之一。

然而，聯(lián)合多個(gè)衛(wèi)星數(shù)據(jù)中心構(gòu)建分布式的遙感數(shù)據(jù)協(xié)同處理系統(tǒng)存在技術(shù)問題。首先，多源遙感數(shù)據(jù)分布于不同衛(wèi)星數(shù)據(jù)中心中，生產(chǎn)過程大規(guī)模的數(shù)據(jù)遷移影響多數(shù)據(jù)中心協(xié)同處理整體效率；其次，遙感數(shù)據(jù)處理本身需要進(jìn)行預(yù)處理、后期處理等復(fù)雜流程，并且多源遙感數(shù)據(jù)的處理流程之間存在巨大差異，從而增加了生產(chǎn)工作流管理的復(fù)雜性；此外，綜合遙感應(yīng)用往往還需要處理系統(tǒng)能夠自動(dòng)完成批量的數(shù)據(jù)處理任務(wù)，在分布式場(chǎng)景下實(shí)現(xiàn)復(fù)雜流程自動(dòng)化管理也是影響多數(shù)據(jù)中心協(xié)同處理系統(tǒng)構(gòu)建的關(guān)鍵問題之一。針對(duì)海量遙感產(chǎn)品生產(chǎn)需求及多數(shù)據(jù)中心協(xié)同復(fù)雜處理流程自動(dòng)化管理的重要問題，當(dāng)前解決方案難以根據(jù)多衛(wèi)星數(shù)據(jù)中心的復(fù)雜系統(tǒng)架構(gòu)，系統(tǒng)地制定出合適的流程的管理、工作任務(wù)自動(dòng)化組織、調(diào)度、擴(kuò)展管理策略。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的上述技術(shù)問題，本發(fā)明提出一種面向多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)的工作流管理方法，能夠克服現(xiàn)有技術(shù)的上述不足。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種面向多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)的工作流管理方法，包括以下步驟：

S1：對(duì)遙感產(chǎn)品生產(chǎn)的通常處理流程進(jìn)行模型歸納，構(gòu)建遙感產(chǎn)品生產(chǎn)處理流程庫，對(duì)于流程庫的單個(gè)流程，針對(duì)多源遙感產(chǎn)品的差異及遙感產(chǎn)品依賴數(shù)據(jù)源的差異，構(gòu)建多源遙感數(shù)據(jù)處理的流程知識(shí)庫，按照流程庫的多級(jí)處理流程，在生產(chǎn)過程中動(dòng)態(tài)構(gòu)建多級(jí)任務(wù)訂單庫；

S2：針對(duì)多衛(wèi)星數(shù)據(jù)中心系統(tǒng)的多層級(jí)、分布式的系統(tǒng)特點(diǎn)，根據(jù)Kepler動(dòng)態(tài)工作流系統(tǒng)及PBS作業(yè)調(diào)度系統(tǒng)自動(dòng)構(gòu)建遙感產(chǎn)品生產(chǎn)的不同粒度的具體任務(wù)工作流；

S3：針對(duì)多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感數(shù)據(jù)處理的數(shù)據(jù)密集、計(jì)算密集、分布式計(jì)算、多目標(biāo)優(yōu)化的特點(diǎn)，及工作流的層級(jí)特點(diǎn)，制定包含數(shù)據(jù)傳輸、任務(wù)隊(duì)列和計(jì)算性能的基于多衛(wèi)星數(shù)據(jù)中心協(xié)同遙感產(chǎn)品生產(chǎn)場(chǎng)景的啟發(fā)式工作流動(dòng)態(tài)調(diào)度策略方法；

S4：根據(jù)具體自動(dòng)化、批量的遙感產(chǎn)品生產(chǎn)環(huán)境，制定與遙感產(chǎn)品生產(chǎn)相關(guān)的多級(jí)任務(wù)狀態(tài)監(jiān)控的策略，及基于重試、檢查點(diǎn)恢復(fù)、超時(shí)退出的容錯(cuò)策略；

S5：針對(duì)多源遙感產(chǎn)品生產(chǎn)流程、算法更新迅速的特點(diǎn)，構(gòu)建了可動(dòng)態(tài)的流程庫、算法庫，實(shí)現(xiàn)了多衛(wèi)星數(shù)據(jù)中心多源遙感工作流的動(dòng)態(tài)可擴(kuò)展管理。

進(jìn)一步的，步驟S1中，所述的遙感產(chǎn)品生產(chǎn)處理流程庫包括遙感產(chǎn)品生產(chǎn)分類及其相應(yīng)的子流程。

優(yōu)選的，所述的遙感產(chǎn)品生產(chǎn)分類包括遙感共性產(chǎn)品、遙感融合產(chǎn)品和遙感同化產(chǎn)品；所述的子流程包括預(yù)處理流程和后處理流程。