[發明專利]混合云環境下面向代價優化的工作流數據布局方法

有效

• 申請號: 201910317130.0
• 申請日: 2019-04-19
• 公開（公告）號: CN110033076B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 於志勇;黃引豪;陳星;鄭勇杰;黃志豪
• 申請（專利權）人: 福州大學
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06N3/12;G06F17/16
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊;陳明鑫

本發明涉及一種混合云環境下面向代價優化的工作流數據布局方法。首先，進行混合云環境下面向代價優化的科學工作流數據布局問題建模，將問題目標形式化得到目標函數；其次，對遺傳粒子進行問題編碼，實現粒子到數據布局策略的一一對應關系；再而，基于目標函數設計適應度函數來評價粒子優劣；最后，基于適應度函數，初始化種群并根據GAPSO的粒子更新策略對粒子種群不斷更新迭代從而求得近似最優解。本發明方法可以有效降低混合云環境下科學工作流的執行代價。

技術領域

本發明涉及一種混合云環境下面向代價優化的工作流數據布局方法。

背景技術

科學工作流是一種以降低計算成本為目標的海量密集數據流的典型應用系統。科學工作流中計算任務節點之間的依賴關系非常復雜，數據集的大小可以達到TB甚至PB量級。隨著云計算的出現，其高效、靈活、可伸縮性等特點為執行大型科學工作流提供了新的思路。云上充足的計算、存儲與網絡資源等使得科學工作流能更好的執行。通過在云環境下執行科學工作流，可以有效的減少執行代價，降低成本，然而如何在云上合理調度和管理資源是云計算目前面臨的一個重要問題。混合云是一種融合了公有云和私有云的混合計算環境，公有云以其高伸縮性、低成本、可定制等特點為科學工作流的執行提供了服務保障，而私有云是一個公司或組織建立的內部數據存儲中心。混合云結合了公有云與私有云各自的優勢，而混合云環境下的科學工作流研究已經成為了科學工作流研究的熱點。在混合云環境下對科學工作流進行數據布局，需要綜合考慮公有云與私有云的優勢。如何針對公有云與私有云各自的優勢，降低數據傳輸延時以及數據布局代價，形成合理的數據布局方案成為了科學工作流數據布局問題的新的挑戰。

發明內容

本發明的目的在于提供一種混合云環境下面向代價優化的工作流數據布局方法，該方法考慮了公有云數據中心與私有云數據中心的不同特點如存儲容量、存儲代價等因素以及數據傳輸時延約束對傳輸代價的影響，并結合遺傳算法與粒子群優化算法的優點，生成科學工作流的布局策略。

為實現上述目的，本發明的技術方案是：一種混合云環境下面向代價優化的工作流數據布局方法，首先，進行混合云環境下面向代價優化的科學工作流數據布局問題建模，將問題目標形式化得到目標函數；其次，對遺傳粒子進行問題編碼，實現粒子到數據布局策略的一一對應關系；再而，基于目標函數設計適應度函數來評價粒子優劣；最后，基于適應度函數，初始化種群并根據GAPSO的粒子更新策略對粒子種群不斷更新迭代從而求得近似最優解。

在本發明一實施例中，所述目標函數如下：

Minimize C_total

subject to T_total≤TimeLimit

上式表示目標是最小化數據布局總代價C_total的同時，滿足科學工作流的總傳輸時延約束和滿足每個數據中心容量限制；其中，T_total表示整個科學工作流的總傳輸時延，TimeLimit表示整個科學工作流的總傳輸時延約束；availsize_i表示數據中心dc_i的可用容量。

在本發明一實施例中，所述進行混合云環境下面向代價優化的科學工作流數據布局問題建模，將問題目標形式化得到目標函數的具體過程如下：