[發明專利]一種數據處理方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210026629.8
• 申請日: 2022-01-11
• 公開（公告）號: CN114443633A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 鄭瑞峰;馬瑞磊;王文生;包勇軍
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 蘇舒音

本發明實施例公開了一種數據處理方法、裝置、存儲介質及電子設備。其中方法包括：獲取當前處理環節中的各數據節點，在各所述數據節點中確定進行優化的目標數據節點；對于每一所述目標數據節點，確定所述目標數據節點對應的可劃分數據節點；在基于所述可劃分數據節點的分區信息確定存在數據傾斜的情況下，對所述目標數據節點對應的各可劃分數據節點進行劃分處理。對目標數據節點進行數據傾斜的優化處理，適應于任何的數據處理場景，提高了數據傾斜的優化處理的適用性，降低各數據傾斜場景中數據傾斜的情況導致的數據處理慢的情況，提高數據數量速度。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、存儲介質及電子設備。

背景技術

數據傾斜在分布式的數據并行處理過程中，由于數據分片不均勻，導致大量數據集中到一個或少數計算節點上，少數任務的處理速度遠低于平均速度，拖慢整個計算環節的情況。

但是在實現本發明的過程中，發明人發現現有技術中至少存在以下技術問題：目前的數據傾斜的處理方式僅能對簡單模式的數據傾斜場景進行處理，但是由于實際生產環境的復雜性，數據傾斜場景多為復雜場景，目前的數據傾斜的處理方式無法對復雜場景進行處理，相應的，無法處理的數據傾斜導致整個數據處理過程的處理速度慢。

發明內容

本發明實施例提供一種數據處理方法、裝置、存儲介質及電子設備，以實現適應于不同的數據傾斜場景，提高數據處理速度。

第一方面，本發明實施例提供了一種數據處理方法，包括：

獲取當前處理環節中的各數據節點，在各所述數據節點中確定進行優化的目標數據節點；

對于每一所述目標數據節點，確定所述目標數據節點對應的可劃分數據節點；

在基于所述可劃分數據節點的分區信息確定存在數據傾斜的情況下，對所述目標數據節點對應的各可劃分數據節點進行劃分處理。

第二方面，本發明實施例還提供了一種數據處理裝置，包括：

目標數據節點確定模塊，用于獲取當前處理環節中的各數據節點，在各所述數據節點中確定進行優化的目標數據節點；

可劃分數據節點的確定模塊，用于對于每一所述目標數據節點，確定所述目標數據節點對應的可劃分數據節點；

數據傾斜處理模塊，用于在基于所述可劃分數據節點的分區信息確定存在數據傾斜的情況下，對所述目標數據節點對應的各可劃分數據節點進行劃分處理。

第三方面，本發明實施例還提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明任一實施例提供的數據處理方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任一實施例提供的數據處理方法。

本實施例提供的技術方案，通過在當前處理環節中的各數據節點確定進行優化的目標數據節點，并對于每一所述目標數據節點，確定所述目標數據節點對應的可劃分數據節點，對存在數據傾斜的可劃分數據節點進行劃分處理，實現在包括不同數量、不同類型數據節點的復雜處理場景中，針對性搜索進行優化處理的目標數據節點，以及針對性搜索目標數據節點中的可劃分數據節點，以對目標數據節點進行數據傾斜的優化處理，適應于任何的數據處理場景，提高了數據傾斜的優化處理的適用性，降低各數據傾斜場景中數據傾斜的情況導致的數據處理慢的情況，提高數據數量速度。

附圖說明

圖1為數據傾斜的示意圖；

圖2是數據傾斜的處理示意圖；

圖3是SortMergeJoin的模式的拓撲結構示例圖；