[發明專利]一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質

在審

• 申請號: 202111497024.9
• 申請日: 2021-12-09
• 公開（公告）號: CN114168334A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 付仲明;何夢思;羅凌云;丁平尖;朱濤;萬亞平
• 申請（專利權）人: 南華大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 趙菲

1.一種基于Spark框架的Executor分配方法，其特征在于，包括：

確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價；

按照所述第一通信代價的大小順序對全部所述第一空閑節點進行排序，并依次在排序后的所述第一空閑節點上分配所述第一空閑節點的最大可用Executor數量個第一Executor；

當分配的所述第一Executor總數量為第一所需Executor數量時，停止分配所述第一Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合。

2.根據權利要求1所述的基于Spark框架的Executor分配方法，其特征在于，所述確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價，包括：

確定所述Map階段每個所述Map任務分別在Spark框架中每個所述第一空閑節點獲取相應數據塊的第二通信代價；

將每個所述第一空閑節點上的所述第二通信代價進行求和運算以得到每個所述第一空閑節點對應的所述第一通信代價。

3.根據權利要求2所述的基于Spark框架的Executor分配方法，其特征在于，所述第二通信代價與所述數據塊大小及所述Map任務所在第一空閑節點至所述數據塊所在節點之間的網絡距離呈正相關關系。

4.根據權利要求3所述的基于Spark框架的Executor分配方法，其特征在于，所述確定所述Map階段每個所述Map任務分別在Spark框架中每個所述第一空閑節點獲取相應數據塊的第二通信代價，包括：

分別確定所述Map階段每個所述Map任務所在第一空閑節點至所述數據塊的多個副本所在節點的所述網絡距離；其中，所述數據塊以多個副本的形式進行存儲；

將所述Map任務在所述第一空閑節點獲取所述網絡距離最小的節點上的副本的通信代價確定為所述第二通信代價。

5.根據權利要求1至4任一項所述的基于Spark框架的Executor分配方法，其特征在于，所述當分配的所述第一Executor總數量為所需Executor數量時，停止分配Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合之后，還包括：

確定Reduce階段全部Reduce任務分別在Spark框架中每個第二空閑節點獲取相應分區數據的通信代價，以得到每個所述第二空閑節點對應的第三通信代價；所述分區數據為將所述Map階段中每個所述Map任務輸出的中間數據按照bucket類型劃分為與Reduce任務數量一致的區域后得到的分區中的數據；

按照所述第三通信代價的大小順序對全部所述第二空閑節點進行排序，并依次在排序后的所述第二空閑節點上分配所述第二空閑節點的最大可用Executor數量個第二Executor；

當分配的所述第二Executor總數量為第二所需Executor數量時，停止分配所述第二Executor得到所述Reduce階段執行所述Reduce任務的包含當前已分配的所述第二Executor的第二Executor集合。

6.根據權利要求5所述的基于Spark框架的Executor分配方法，其特征在于，所述確定Reduce階段全部Reduce任務分別在Spark框架中每個第二空閑節點獲取相應分區數據的通信代價，以得到每個所述第二空閑節點對應的第三通信代價，包括：

確定所述Reduce階段每個所述Reduce任務分別在Spark框架中每個所述第二空閑節點獲取相應所述分區數據的第四通信代價；

將每個所述第二空閑節點上的所述第四通信代價進行求和運算以得到每個所述第二空閑節點對應的所述第三通信代價。