[發明專利]基于SLA最小化跨站點數據分析成本的方法及裝置

有效

• 申請號: 202011220199.0
• 申請日: 2020-11-05
• 公開（公告）號: CN112039714B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 郭得科;羅來龍;陳亦婷;廖漢龍
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于SLA最小化跨站點數據分析成本的方法，其特征在于，包括：

確定按照最小化作業完成時間策略執行數據處理作業的第一作業完成時間；

若第一作業完成時間小于等于設定的截止時間，確定按照最小化作業成本策略執行數據處理作業的第二作業完成時間；

若第二作業完成時間小于等于截止時間，則選取最小化作業成本策略執行數據處理作業，若第二作業完成時間大于截止時間，則調整每個站點的數據處理作業放置，使得在截止時間內能夠以最小化的作業成本執行數據處理作業。

2.根據權利要求1所述的方法，其特征在于，所述調整每個站點的數據處理作業放置，使得在截止時間內能夠以最小化的作業成本執行數據處理作業，包括：將所述最小化作業成本策略下的map階段的傳輸數據量和reduce任務的比例按照一定的步長進行調整，使得按照調整后的map階段的傳輸數據量和reduce任務的比例執行數據處理的作業完成時間小于所述截止時間。

3.根據權利要求2所述的方法，其特征在于，將所述最小化作業成本策略下的map階段的傳輸數據量和reduce任務的比例按照一定的步長進行調整，使得按照調整后的map階段的傳輸數據量和reduce任務的比例執行數據處理的作業完成時間小于所述截止時間，包括：若最小化作業成本策略下，從站點r到站點d的map階段的傳輸數據量為，站點d執行reduce任務的比例為，最小化作業完成時間策略下，從站點r到站點d的map階段的傳輸數據量為，站點d執行reduce任務的比例；設中間變量為，，首先將賦值給，將賦值給；按照步長為，則，當時，調整中間變量為，當時，調整中間變量為；當時，調整中間變量為，當時，調整中間變量為；按照調整后的中間變量、，獲得相應的作業完成時間，當小于所述截止時間時，此時對應的中間變量為確定出的map階段的傳輸數據量，為確定出的執行reduce任務的比例。

4.根據權利要求1所述的方法，其特征在于，還包括：對于每個站點，按照所述最小化作業完成時間策略執行具有多個階段的數據處理作業的第三作業完成時間；若所述第三作業完成時間小于等于所述截止時間，確定按照所述最小化作業成本策略執行所述具有多個階段的數據處理作業的第四作業完成時間；若所述第四作業完成時間大于所述截止時間，則調整每個站點的數據處理作業放置，使得在截止時間內能夠以最小化的作業成本執行數據處理作業，得到調整后的第五作業完成時間；按照上述過程對每個站點進行處理之后，從小于截止時間的第四作業完成時間和所述第五作業完成時間中選取出最小的完成時間，確定所述最小的完成時間所對應的站點，利用該站點執行所述具有多個階段的數據處理作業。

5.根據權利要求1所述的方法，其特征在于，所述最小化作業成本策略包括map階段的任務放置策略和reduce階段的任務放置策略；

所述map階段的任務放置策略的線性規劃模型為：

所述reduce階段的任務放置策略的模型為：

其中，、C_map 、、分別表示數據聚合過程，map計算過程，shuffle過程和reduce 計算過程四個過程的成本，為站點d執行reduce任務的比例，為從站點r到站點d的map階段的傳輸數據量，D為map階段的輸入數據，為站點r中的數據量。

6.根據權利要求5所述的方法，其特征在于，所述最小化作業完成時間策略包括map階段的任務放置策略和reduce階段的任務放置策略；

所述map階段的任務放置策略的線性規劃模型為：

（21）

所述reduce階段的任務放置策略為:

其中，，，，分別表示數據聚合過程，map計算過程，shuffle過程和reduce計算過程四個過程的計算時間，，分別是站點r的上傳帶寬和下載帶寬，，分別是站點d的上傳帶寬和下載帶寬，,分別是站點d上的map階段和reduce階段的計算資源的數量，是站點d的計算資源數量，為站點d上的中間數據量，,分別是執行map階段和reduce階段的計算時間。