[發明專利]數據處理方法、裝置、設備和存儲介質

在審

• 申請號: 202210588450.1
• 申請日: 2022-05-27
• 公開（公告）號: CN114936223A
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 崔棟燦;李雨涵;戴文軍;林亮;李飛飛
• 申請（專利權）人: 阿里云計算有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

1.一種數據處理方法，包括：

基于計算節點的執行資源，執行第一任務和第二任務，并構建與所述計算節點對應的運行數據過濾器，所述第一任務為多個階段中第一階段的任務，所述第二任務為所述多個階段中第二階段的至少部分任務；

在所述第一階段執行結束且所述運行數據過濾器構建完成的情況下，獲取所述第二任務的執行狀態；

在所述執行狀態表征所述第二任務未執行結束的情況下，執行第三任務，得到所述第二階段中與所述第二任務對應的執行結果，所述第三任務為通過所述運行數據過濾器過濾所述第二任務后的任務。

2.根據權利要求1所述的方法，其中，所述基于計算節點的執行資源，執行第一任務和第二任務，包括：

獲取所述多個階段中每個階段的任務數量；

基于所述執行資源和所述每個階段的任務數量，生成資源調度信息，所述資源調度信息用于指示每次并行執行任務的總數量，以及每次執行兩個階段的任務的數量，所述兩個階段包括所述第一階段和所述第二計算；

按照所述資源調度信息，執行第一任務和第二任務。

3.根據權利要求1或2所述的方法，其中，所述計算節點對應構造端的第一算子和探測端的第二算子；所述執行第一任務和第二任務，包括：

通過所述第一算子讀取緯度表的第一任務，以及通過所述第二算子讀取事實表的第二任務。

4.根據權利要求3所述的方法，其中，所述構建與所述計算節點對應的運行數據過濾器，包括：

在所述第一算子讀取所述緯度表中數據的過程中，基于所述緯度表中數據，在所述構造端構建所述運行數據過濾器。

5.根據權利要求3所述的方法，其中，所述計算節點對應所述構造端探測端的第三算子；所述執行第三任務，得到所述第二階段中與所述第二任務對應的執行結果，包括：

將所述運行數據過濾器從所述構造端傳輸至所述第三算子，以及將所述第二任務的副本任務傳輸至所述第三算子；

通過所述第三算子中的運行數據過濾器過濾所述第二任務的副本任務，得到第三任務；

執行所述第三任務，得到所述第二階段中與所述第二任務對應的執行結果。

6.根據權利要求5所述的方法，其中，所述方法還包括：

在所述第二算子和所述第三算子中，確定目標算子，所述目標算子為最早輸出與所述第二任務對應的執行結果的算子；

將所述目標算子的輸出的執行結果作為所述計算節點中連接操作算子的輸入數據。

7.根據權利要求6所述的方法，其中，所述第二階段還包括第四任務；所述將所述目標算子的輸出的執行結果作為所述計算節點中連接操作算子的輸入數據，包括：

將所述目標算子的輸出的執行結果和所述第四任務對應的執行結果作為所述連接操作算子的輸入數據。

8.根據權利要求7所述的方法，其中，所述方法還包括：

獲取所述第四任務，并將所述運行數據過濾器從所述構造端傳輸至所述第二算子；

基于所述執行資源，執行通過所述第二算子中的運行數據過濾器過濾所述第四任務后的第五任務，得到所述第二階段中與所述第四任務對應的執行結果。

9.一種數據處理裝置，包括：

處理模塊，用于基于計算節點的執行資源，執行第一任務和第二任務，并構建與所述計算節點對應的運行數據過濾器，所述第一任務為多個階段中第一階段的任務，所述第二任務為所述多個階段中第二階段的至少部分任務；

獲取模塊，用于在所述第一階段執行結束且所述運行數據過濾器構建完成的情況下，獲取所述第二任務的執行狀態；

執行模塊，用于在所述執行狀態表征所述第二任務未執行完畢的情況下，執行第三任務，得到所述第二階段中與所述第二任務對應的執行結果，所述第三任務為通過所述運行數據過濾器過濾所述第二任務后的任務。