[發明專利]數據傾斜矯正方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110903519.0
• 申請日: 2021-08-06
• 公開（公告）號: CN113742314A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 王錦胤;路長青
• 申請（專利權）人: 紫金誠征信有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/27
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 卜榮麗;李志剛

本申請公開了一種數據傾斜矯正方法、裝置、計算機設備和存儲介質。該數據傾斜矯正方法包括：獲取數據傾斜矯正指令，根據所述數據傾斜矯正指令從多個服務器中獲取原始數據表；在所述原始數據表的分組字段中增加隨機數列，得到中間數據，將所述中間數據存儲至中間表中；所述隨機數列的列值為互不重復的隨機數進行循環；確定所述中間表的關聯鍵，根據所述中間表的關聯鍵進行數據傾斜矯正。本申請能夠有效解決數據傾斜問題。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種數據傾斜矯正方法、裝置、計算機設備和存儲介質。

背景技術

數據傾斜是在大數據處理時經常遇到的問題，數據傾斜是指在計算數據的時候，數據的分散度不夠，導致大量的數據集中到了一臺或者幾臺服務器節點上計算，這些數據的計算速度遠遠低于平均計算速度，導致整個計算過程過慢。大多數的大數據產品在解決數據傾斜的問題上，采用的是增加物理資源、手動調整shuffle并行度參數、分區(Partitioning)等手段解決數據傾斜問題。然而當數據量較大時，還是會導致內存溢出，無法有效解決數據傾斜問題。

發明內容

本申請的主要目的在于提供一種能夠有效解決數據傾斜問題的數據傾斜矯正方法、裝置、計算機設備和存儲介質。

為了實現上述目的，根據本申請的一個方面，提供了一種數據傾斜矯正方法。

根據本申請的數據傾斜矯正方法包括：

獲取數據傾斜矯正指令，根據所述數據傾斜矯正指令從多個服務器節點中獲取原始數據表；

在所述原始數據表的分組字段中增加隨機數列，得到中間數據，將所述中間數據存儲至中間表中；所述隨機數列的列值為互不重復的隨機數進行循環；

確定所述中間表的關聯鍵，根據所述中間表的關聯鍵進行數據傾斜矯正。

進一步的，所述在所述原始數據表的分組字段中增加隨機數列，得到中間數據包括：

在所述原始數據表的分組字段中增加一個隨機數列，所述隨機數列的列值最大值大于所述原始數據表中所述分組字段對應的最多數據量。

進一步的，所述確定所述中間表的關聯鍵，包括：

根據所述原始數據表的分組字段和所述隨機數列生成所述中間表的關聯鍵。

進一步的，所述根據所述中間表的關聯鍵進行數據傾斜矯正，包括：

根據所述中間表的關聯鍵對所述中間表中的中間數據進行輪循分組，將分組后的數據均勻分配至各服務器，完成數據傾斜矯正。

進一步的，所述方法還包括：

獲取預先創建的數據傾斜指標和所述數據傾斜指標的目標值；

根據所述數據傾斜指標，將所述數據傾斜指標的目標值與所述原始數據表中相應數據傾斜指標的實際值進行比較，確定是否存在數據傾斜；

若存在數據傾斜，則在傾斜數據中增加隨機數列。

為了實現上述目的，根據本申請的另一方面，提供了一種數據傾斜矯正裝置。

根據本申請的數據傾斜矯正裝置包括：

通信模塊，用于獲取數據傾斜矯正指令，根據所述數據傾斜矯正指令從多個服務器中獲取原始數據表；

隨機處理模塊，用于隨機在所述原始數據表的分組字段中增加隨機數列，得到中間數據，將所述中間數據存儲至中間表中；所述隨機數列的列值為互不重復的隨機數進行循環；

傾斜矯正模塊，用于確定所述中間表的關聯鍵，根據所述中間表的關聯鍵進行數據傾斜矯正。