[發明專利]一種最小化租賃成本的公有云服務租賃方法

有效

• 申請號: 202010617254.3
• 申請日: 2020-07-01
• 公開（公告）號: CN111522647B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 徐海燕;任樂天;袁龍;張濤
• 申請（專利權）人: 金陵科技學院;江蘇新揚子造船有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54;G06F9/455;G06Q30/06
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明涉及云計算資源調度技術領域，公開了一種最小化租賃成本的公有云服務租賃方法，包括數據預處理、設置任務的虛擬截止時間和任務調度。其中，數據預處理考慮可能發生的數據傾斜現象，利用采樣的方法來對數據進行預處理，緩解數據傾斜。設置任務的虛擬截止時間，是為了方便在任務調度的時候，能夠在截止期約束下選擇合適虛擬機資源。與現有技術相比，本發明有效地降低了云服務代理商的運營成本，解決了現有技術中沒有考慮到的數據傾斜問題，并且在截止期約束下為云服務代理商提供了Spark應用在公有云環境中的合理租賃方法，優化了租賃成本。

技術領域

本發明涉及云計算資源調度技術領域，尤其涉及一種最小化租賃成本的公有云服務租賃方法。

背景技術

如今，在云平臺上現有的分布式并行計算框架仍然存在諸多挑戰，其中，數據傾斜正成為提升系統性能的瓶頸。數據傾斜這一現象通常由數據本身性質引起，且普遍存在于并行計算框架中。具體的，當數據傾斜出現在計算過程中時，由于少量任務的處理時間明顯地多于其它任務的處理時間，因而嚴重降低了整個系統的執行效率，進而嚴重阻礙系統并行處理的能力。由于大數據的來源主要是社交媒體、電商平臺和搜索引擎三大領域，這些數據的最大特征即數據分布極其不均衡，存在著大量熱點數據，例如社交媒體中的熱門話題、電商平臺的爆款商品和搜索引擎的搜索熱點，處理這樣的數據分布極其不均衡的數據時，特別容易造成在處理過程中的數據傾斜現象，出現個別“慢”任務（Straggler），從而大大延長整個應用的完工時間。

數據傾斜被認為是影響并行分布式框架如Spark平臺的執行效率的一個關鍵問題，并且數據量越大，其導致的執行效率問題就越突出。現如今，對于Spark平臺中數據傾斜問題的解決方法較少，但是Hadoop平臺上的數據傾斜問題的解決方法已有了一些積累。通常，可以按照處理階段將數據傾斜劃分為Map型、Reduce型、MapReduce型和Shuffle型這四種類型。對于MapReduce型，在SkewTune系統中，如果任務的剩余時間超過1分鐘并且集群中有空閑節點，則該系統在不改變默認分區函數的前提下，在檢測到任務為Straggler時，重新分配任務中未被處理的數據給其他閑置節點的新任務，通過連接任務的輸入順序和重新組合輸出結果的這種獨特的方式來緩解數據傾斜問題。但是這種方法的設計和使用均為針對Hadoop平臺進行的，難以直接遷移到Spark平臺上使用。

目前，并行計算框架中數據傾斜問題的解決方法通常大多基于Hadoop平臺，并且由于Spark平臺基于內存計算的特性，這些方法大多無法直接應用到解決Spark平臺中的數據傾斜問題。而現有基于Spark平臺數據傾斜問題的研究存在著顧此失彼的現象，片面性地緩解數據傾斜問題，使得SLA問題凸顯。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供了一種最小化租賃成本的公有云服務租賃方法，從云服務代理商的角度出發，在滿足用戶應用截止期的情況下，同時考慮數據傾斜問題，采用按需實例的方式，動態按需租賃合適的虛擬機以保證應用在截止期內完成，并最小化云服務代理商的租賃成本。

本發明提供的一種最小化租賃成本的公有云服務租賃方法，包括：

步驟1，獲取Spark應用程序的采樣數據，并標記所述采樣數據中可能出現數據傾斜的任務為慢任務，將所述慢任務劃分成多個子任務；

步驟2，根據所述Spark應用程序的截止期，基于關鍵路徑長度的截止期劃分方法，確定所述Spark應用程序中每個并行計算階段和計算任務組的子截止期，所述計算任務組包括多個計算單元；

步驟3，根據就緒的所述計算任務組確定待調度的計算單元優先隊列Q，所述待調度的計算單元優先隊列Q中計算單元的優先級根據每個計算單元的數據量大小按照降序排列；