[發(fā)明專利]一種數據處理方法、裝置、存儲介質及電子設備

在審

• 申請?zhí)枺?/td>: 202210026629.8
• 申請日: 2022-01-11
• 公開（公告）號: CN114443633A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設計）人: 鄭瑞峰;馬瑞磊;王文生;包勇軍
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 蘇舒音

1.一種數據處理方法，其特征在于，包括：

獲取當前處理環(huán)節(jié)中的各數據節(jié)點，在各所述數據節(jié)點中確定進行優(yōu)化的目標數據節(jié)點；

對于每一所述目標數據節(jié)點，確定所述目標數據節(jié)點對應的可劃分數據節(jié)點；

在基于所述可劃分數據節(jié)點的分區(qū)信息確定存在數據傾斜的情況下，對所述目標數據節(jié)點對應的各可劃分數據節(jié)點進行劃分處理。

2.根據權利要求1所述的方法，其特征在于，各所述數據節(jié)點之間存在拓撲關系；

所述在各所述數據節(jié)點中確定進行優(yōu)化的目標數據節(jié)點，包括：

若各所述數據節(jié)點中包括第一預設類型節(jié)點，則將所述拓撲關系中所述第一預設類型節(jié)點的子節(jié)點確定為進行優(yōu)化的目標數據節(jié)點；

若各所述數據節(jié)點中不包括第一預設類型節(jié)點，則將所述拓撲關系中的根節(jié)點確定為進行優(yōu)化的目標數據節(jié)點。

3.根據權利要求1所述的方法，其特征在于，所述確定所述目標數據節(jié)點對應的可劃分數據節(jié)點，包括：

在所述目標數據節(jié)點以及所述目標數據節(jié)點的各層子節(jié)點中確定最高層次的第二預設類型節(jié)點；

基于各類型節(jié)點對應的搜索規(guī)則，在所述最高層次的第二預設類型節(jié)點、以及所述最高層次的第二預設類型節(jié)點的各層子節(jié)點中進行搜索，將搜索到的輸入節(jié)點確定為可劃分數據節(jié)點。

4.根據權利要求3所述的方法，其特征在于，所述各類型節(jié)點對應的搜索規(guī)則包括：

若所述當前節(jié)點為所述第二預設類型節(jié)點，則根據所述第二預設類型節(jié)點的語義類型確定進行搜索的子節(jié)點；

若所述當前節(jié)點為輸入節(jié)點，則將輸入節(jié)點確定為可劃分數據節(jié)點，并停止搜索；

若所述當前節(jié)點不是所述第二預設類型節(jié)點和所述輸入節(jié)點，則停止搜索。

5.根據權利要求1所述的方法，其特征在于，在確定所述目標數據節(jié)點對應的可劃分數據節(jié)點之后，所述方法還包括：

獲取各所述可劃分數據節(jié)點的分區(qū)信息，其中，所述分區(qū)信息包括各分區(qū)的大小；

基于所述各分區(qū)的大小確定所述可劃分數據節(jié)點是否存在數據傾斜。

6.根據權利要求1所述的方法，其特征在于，所述對所述目標數據節(jié)點對應的各可劃分數據節(jié)點進行劃分處理，包括：

對存在數據傾斜的可劃分數據節(jié)點中數據傾斜分區(qū)進行劃分，得到多個新增分區(qū)；

根據所述新增分區(qū)的數量，對可劃分數據節(jié)點中未劃分分區(qū)進行復制。

7.根據權利要求6所述的方法，其特征在于，在得到多個新增分區(qū)之后，所述方法還包括：

若上述新增分區(qū)的數量大于預設閾值，則重新執(zhí)行對存在數據傾斜的可劃分數據節(jié)點中數據傾斜分區(qū)進行劃分處理的操作，其中，重新劃分確定的新增分區(qū)的數量小于所述預設閾值。

8.一種數據處理裝置，其特征在于，包括：

目標數據節(jié)點確定模塊，用于獲取當前處理環(huán)節(jié)中的各數據節(jié)點，在各所述數據節(jié)點中確定進行優(yōu)化的目標數據節(jié)點；

可劃分數據節(jié)點的確定模塊，用于對于每一所述目標數據節(jié)點，確定所述目標數據節(jié)點對應的可劃分數據節(jié)點；

數據傾斜處理模塊，用于在基于所述可劃分數據節(jié)點的分區(qū)信息確定存在數據傾斜的情況下，對所述目標數據節(jié)點對應的各可劃分數據節(jié)點進行劃分處理。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現如權利要求1-7中任一所述的數據處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現如權利要求1-7中任一所述的數據處理方法。