[發明專利]一種解決Spark數據傾斜方法及系統

在審

• 申請號: 201710379913.2
• 申請日: 2017-05-25
• 公開（公告）號: CN107220123A
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 趙波
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

1.一種解決Spark數據傾斜方法，其特征在于，包括：

將超過預設數據量的數據集按照預設分割方法進行分割處理，得到數據塊集；

將所述數據塊集中的數據塊分配給Redtask集中滿足預設條件的Redtask，得到中間結果集；

將中間結果集分配給所述Redtask集中的一個Redtask中進行匯總處理，得到處理結果。

2.根據權利要求1所述的解決Spark數據傾斜的方法，其特征在于，所述將超過預設數據量的數據集按照預設分割方法進行分割處理的過程，包括：

將超過所述預設數據量的所述數據集按照預設數據塊數據量進行分割處理。

3.根據權利要求1所述的解決Spark數據傾斜的方法，其特征在于，所述將超過預設數據量的數據集按照預設分割方法進行分割處理的過程，包括：

將超過所述預設數據量的所述數據集按照預設的數據塊數量進行分割處理。

4.根據權利要求1所述的解決Spark數據傾斜的方法，其特征在于，所述將超過預設數據量的數據集按照預設分割方法進行分割處理的過程，包括：

將超過所述預設數據量的所述數據集按照滿足所述預設條件的Redtask數量進行分割處理。

5.根據權利要求1至4任一項所述的解決Spark數據傾斜的方法，其特征在于，所述將所述數據塊集中的數據塊分配給Redtask集中滿足預設條件的Redtask的過程，包括：

將所述數據塊集中的數據塊平均分配給Redtask集中滿足所述預設條件的Redtask。

6.根據權利要求1至4任一項所述的解決Spark數據傾斜的方法，其特征在于，所述匯總處理的過程，包括：

利用中間結果集中每個中間結果的key，將具有相同key的中間結果進行匯總。

7.一種解決Spark數據傾斜系統，其特征在于，包括：

分割模塊，用于將超過預設數據量的數據集按照預設分割方法進行分割處理，得到數據塊集；

分配模塊，用于將所述數據塊集中的數據塊分配給Redtask集中滿足預設條件的Redtask，得到中間結果集；

匯總模塊，用于將中間結果集分配給所述Redtask集中的一個Redtask中進行匯總處理，得到處理結果。

8.根據權利要求7所述的解決Spark數據傾斜的系統，其特征在于，所述分割模塊，具體用于將超過所述預設數據量的所述數據集按照預設數據塊數據量進行分割處理。

9.根據權利要求7或8所述的解決Spark數據傾斜的系統，其特征在于，所述分配模塊，具體用于將所述數據塊集中的數據塊平均分配給Redtask集中滿足所述預設條件的Redtask，得到中間結果集。

10.根據權利要求7或8所述的解決Spark數據傾斜的系統，其特征在于，所述匯總模塊，具體用于將中間結果集分配給所述Redtask集中的一個Redtask中，利用中間結果集中每個中間結果的key，將具有相同key的中間結果進行匯總，得到處理結果。