[發明專利]一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質

在審

• 申請號: 202111497024.9
• 申請日: 2021-12-09
• 公開（公告）號: CN114168334A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 付仲明;何夢思;羅凌云;丁平尖;朱濤;萬亞平
• 申請（專利權）人: 南華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 趙菲

本申請公開了一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質，包括：確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價；按照所述第一通信代價的大小順序對全部所述第一空閑節點進行排序，并依次在排序后的所述第一空閑節點上分配所述第一空閑節點的最大可用Executor數量個第一Executor；當分配的所述第一Executor總數量為第一所需Executor數量時，停止分配所述第一Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合。可見，本申請將Executor分配在靠近輸入數據塊所在的節點上，能夠改善Spark任務調度中的數據本地性，有效降低任務的網絡流量和數據訪問延遲。

技術領域

本發明涉及計算機技術領域，特別涉及一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質。

背景技術

隨著大數據時代應用的響應要求越來越高，新興的Spark分布式計算框架以優異的特性引起了極大關注并得到廣泛使用，例如Goggle、Yahoo！、百度、騰訊等。與Hadoop和其他分布式計算框架相比，Spark引入彈性分布式數據集(RDD)的概念，它可以利用內存計算高效地執行作業，特別是對于迭代計算。Spark應用程序在執行計算邏輯的過程中產生的大量數據傳輸會延長任務運行時間，導致集群網絡擁塞，從而影響系統的性能。

因此，如何解決Spark應用程序的網絡通信瓶頸是本領域技術人員亟待解決的技術問題。

發明內容

有鑒于此，本發明的目的在于提供一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質，能夠改善Spark任務調度中的數據本地性，有效降低任務的網絡流量和數據訪問延遲。其具體方案如下：

本申請的第一方面提供了一種基于Spark框架的Executor分配方法，包括：

確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價；

按照所述第一通信代價的大小順序對全部所述第一空閑節點進行排序，并依次在排序后的所述第一空閑節點上分配所述第一空閑節點的最大可用Executor數量個第一Executor；

當分配的所述第一Executor總數量為第一所需Executor數量時，停止分配所述第一Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合。

可選的，所述確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價，包括：

確定所述Map階段每個所述Map任務分別在Spark框架中每個所述第一空閑節點獲取相應數據塊的第二通信代價；

將每個所述第一空閑節點上的所述第二通信代價進行求和運算以得到每個所述第一空閑節點對應的所述第一通信代價。

可選的，所述第二通信代價與所述數據塊大小及所述Map任務所在第一空閑節點至所述數據塊所在節點之間的網絡距離呈正相關關系。

可選的，所述確定所述Map階段每個所述Map任務分別在Spark框架中每個所述第一空閑節點獲取相應數據塊的第二通信代價，包括：

分別確定所述Map階段每個所述Map任務所在第一空閑節點至所述數據塊的多個副本所在節點的所述網絡距離；其中，所述數據塊以多個副本的形式進行存儲；

將所述Map任務在所述第一空閑節點獲取所述網絡距離最小的節點上的副本的通信代價確定為所述第二通信代價。