[發明專利]基于SLA最小化跨站點數據分析成本的方法及裝置

有效

• 申請號: 202011220199.0
• 申請日: 2020-11-05
• 公開（公告）號: CN112039714B
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 郭得科;羅來龍;陳亦婷;廖漢龍
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本說明書一個或多個實施例提供一種基于SLA最小化跨站點數據分析成本的方法及裝置，包括確定按照最小化作業完成時間策略執行數據處理作業時的第一作業完成時間；若第一作業完成時間小于等于設定的截止時間，確定按照最小化作業成本策略執行數據處理作業時的第二作業完成時間；若第二作業完成時間小于等于截止時間，則選取最小化作業成本策略執行數據處理作業，若第二作業完成時間大于截止時間，則調整每個站點的數據處理作業放置，使得在截止時間內能夠以盡量低的作業成本執行數據處理作業。本說明書的方法能夠實現數據處理作業的完成時間和成本達到均衡，解決跨站點數據處理的作業效率問題。

技術領域

本說明書一個或多個實施例涉及數據處理技術領域，尤其涉及一種基于SLA最小化跨站點數據分析成本的方法及裝置。

背景技術

目前，許多數據提供商在不同地區部署了大量站點用于支持各種分布式數據應用。對跨地區跨站點分布的數據進行收集分析處理有利于制定更優的部署策略，從而節約資源；然而，跨區域的各站點存在容量、帶寬、價格等資源方面的異構性，各站點同時執行大量數據處理會造成嚴重的地理分布資源銷耗，且會出現很高的時延。如何在跨站點同時執行數據處理作業時，實現作業時間和成本的均衡，提高作業效率，維持合理成本，是本領域技術人員致力于解決的技術問題。

發明內容

有鑒于此，本說明書一個或多個實施例的目的在于提出一種基于SLA最小化跨站點數據分析成本的方法及裝置，以解決跨站點數據處理的作業效率和成本問題。

基于上述目的，本說明書一個或多個實施例提供了一種基于SLA最小化跨站點數據分析成本的方法，包括：

確定按照最小化作業完成時間策略執行數據處理作業的第一作業完成時間；

若第一作業完成時間小于等于設定的截止時間，確定按照最小化作業成本策略執行數據處理作業的第二作業完成時間；

若第二作業完成時間小于等于截止時間，則選取最小化作業成本策略執行數據處理作業，若第二作業完成時間大于截止時間，則調整每個站點的數據處理作業放置，使得在截止時間內能夠以最小化的作業成本執行數據處理作業。

可選的，所述調整每個站點的數據處理作業放置，使得在截止時間內能夠以最小化的作業成本執行數據處理作業，包括：將所述最小化作業成本策略下的map階段的傳輸數據量和reduce任務的比例按照一定的步長進行調整，使得按照調整后的map階段的傳輸數據量和reduce任務的比例執行數據處理的作業完成時間小于所述截止時間。

可選的，將所述最小化作業成本策略下的map階段的傳輸數據量和reduce任務的比例按照一定的步長進行調整，使得按照調整后的map階段的傳輸數據量和reduce任務的比例執行數據處理的作業完成時間小于所述截止時間，包括：

若最小化作業成本策略下，從站點r到站點d的map階段的傳輸數據量為，站點d執行reduce任務的比例為，最小化作業完成時間策略下，從站點r到站點d的map階段的傳輸數據量為，站點d執行reduce任務的比例，所述步長為，則，當時，調整中間變量為，當時，調整中間變量為；當時，調整中間變量為，當時，調整中間變量為；按照調整后的中間變量、，獲得相應的作業完成時間，當小于所述截止時間時，此時對應的中間變量為確定出的map階段的傳輸數據量，為確定出的執行reduce任務的比例。