[發明專利]跨云遙感應用程序調度方法及應用

有效

• 申請號: 202011060026.7
• 申請日: 2020-09-30
• 公開（公告）號: CN112181623B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 黃震春;甘霖;趙文來;劉英博
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N3/12
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰

計算機執行的跨云遙感應用程序調度方法，包括：將跨云遙感應用程序轉換為數據轉換圖DTG，數據轉換圖DTG由四個變量D,D_T,T,E來定義，D是曾經使用過的數據項的通用集，D_T是D的子集，是包含科學問題求解結果的數據集，T是一組數據轉換元素，E是數據項和數據轉換元素之間的依賴關系集；確定各數據節點和數據轉換節點在云不同數據中心之間的分配方案，通過修改數據轉換圖DTG或者修改DTG中各數據節點和數據轉換節點在云不同數據中心之間的分配方案的方式來優化應用程序的執行時間。本公開提供基于有向無環圖的數據轉換圖DTG模型，呈現數據項之間的依賴和轉換關系，并據此對遙感分析模型建模優化，幫助遙感應用分析程序實現執行時間和成本的大幅優化。

技術領域

本發明總體地涉及跨云遙感應用程序調度技術。

背景技術

遙感應用程序是一種典型的科學工作流應用程序，通過分析從遙感衛星上采集的數據得到有價值的數據處理結果，包含多個具有順序依賴關系的數據分析任務，同時伴有海量待處理的數據。云計算作為一種以即用即付方式向用戶提供計算資源的方式，非常適合執行這些本地資源無法滿足計算需求的科學應用程序。為了充分利用分布在不同云數據中心上的計算資源，跨云環境得到了廣泛研究，包括聯盟云和多云。任務調度是將各類任務合理分配給不同云計算資源的過程，調度算法性能的優劣將直接決定應用程序的執行時間，經濟成本等QoS(用戶服務質量)指標好壞，而QoS是云供應商為滿足SLA(用戶服務協議)必須要滿足的指標，因此調度優化至關重要。云環境中普遍應用的科學工作流模型為有向無環圖(DAG)，其中頂點表示任務，邊表示兩個任務之間數據的傳遞關系。目前，隨著遙感數據量和問題規模的不斷增長，對遙感分析模型的性能和可擴展性提出了更高要求。但DAG模型并沒有直觀地顯示數據項之間的依賴和轉換關系，無法進行相應分析優化來提高分析模型的性能，同時針對遙感應用程序，跨云環境的科學工作流調度研究尚不充分，QoS參數優化不足。。

發明內容

鑒于以上情況，提出了本發明。

根據本發明的一個方面，提供了一種計算機執行的跨云遙感應用程序調度方法，包括：將所述跨云遙感應用程序轉換為數據轉換圖DTG，所述數據轉換圖DTG由四個變量D,D_T,T,E來定義，其中D是曾經使用過的數據項的通用集，D_T是D的子集，是包含科學問題求解結果的數據集，T是一組數據轉換元素，用于使用輸入數據項和生成輸出數據項，E是數據項和數據轉換元素之間的依賴關系集，表示如下：

應用程序＝D,D_T,T,E

D_T＝{d_i|d_i是結果數據項中的一項}

D＝{d_i|d_i是使用過的數據項中的一項}

T＝{t_i|t_i是數據轉換節點中的一項}

E＝{d_i→t_j|d_i是t_j的輸入數據項中的一項}

∪{t_j→d_i|d_i是t_j的輸出數據項中的一項}

dep＝{d_i→d_j|d_j依賴于d_i}；

確定各數據節點和數據轉換節點在云不同數據中心之間的分配方案，其中通過修改數據轉換圖DTG或者修改DTG中各數據節點和數據轉換節點在云不同數據中心之間的分配方案的方式來優化應用程序的執行時間。

可選地，所述減小應用程序的執行時間可以包括：通過“短路”數據轉換圖DTG中的非必須數據轉換節點的方式來減小應用程序的執行時間。