[發明專利]數據處理方法和裝置

在審

• 申請號: 201910851894.8
• 申請日: 2019-09-10
• 公開（公告）號: CN110543490A
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 邢越;趙得潤;汪婷;孫英富
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/27
• 代理公司: 11205 北京同立鈞成知識產權代理有限公司
• 代理人: 朱穎;劉芳<國際申請>=<國際公布>=<

本申請公開了數據處理方法和裝置，涉及分布式數據處理技術。具體實現方案為：第一分布式節點確定數據處理任務所對應的各數據分區的優先級、根據源數據包括的子數據的處理要求和各該數據分區的優先級，確定與子數據的處理要求匹配的目標數據分區，以及將子數據、目標數據分區的標識和目標數據分區的優先級信息發送至第二分布式節點；第二分布式節點將子數據、目標數據分區的優先級信息寫入至目標數據分區，并按照目標數據分區的優先級處理目標數據分區中的子數據。本申請可以在網絡訪問高峰期或網絡擁塞時，保證處理要求高的數據能夠被處理。

技術領域

本申請實施例涉及計算機技術，尤其涉及一種分布式數據處理技術。

背景技術

在分布式計算系統中，輸入至分布式系統的源數據可能包括多種不同類型、不同性質的數據。不同類型或不同性質的數據的處理要求可能不相同。

目前已有的分布式系統中，分布式系統均采用了類似shuffle機制來實現對源數據的劃分，得到多個待處理的分區數據，分布式系統無差別的處理這些分區數據，可能會導致在網絡訪問高峰期或網絡擁塞時，一些處理要求高(比如時效性要求高和/或準確性要求要)的分區數據無法被處理。

發明內容

本申請提供一種數據處理方法和裝置，可以在網絡訪問高峰期或網絡擁塞時，保證處理要求高的數據能夠被處理。

第一方面，本申請提供一種數據處理方法，包括：第一分布式節點確定數據處理任務所對應的各數據分區的優先級，所述數據處理任務包括：需要對源數據進行的處理操作；所述第一分布式節點根據所述源數據中的子數據的處理要求和各所述數據分區的優先級，確定與所述子數據的處理要求匹配的目標數據分區；所述第一分布式節點將所述子數據、所述目標數據分區的標識和所述目標數據分區的優先級信息發送至第二分布式節點。

本方案中，接收源數據的節點確定數據分區的優先級，并根據源數據的子數據的處理要求和各數據分區的優先級，確定優先級與子數據的處理要求相匹配的數據分區，以使子數據可被寫入優先級與子數據的處理要求相匹配的數據分區中，這樣，處理數據的節點在根據數據分區的優先級處理數據時，可以按照數據的處理要求差別的處理數據，在網絡訪問高峰期或網絡擁塞時，可以保證處理要求高的數據能夠被處理。

在一種可能的設計中，所述第一分布式節點確定當前數據處理任務所對應的各數據分區的優先級，包括：所述第一分布式節點根據優先級設置信息，確定各所述數據分區的優先級。可選地，所述優先級設置信息包括：第一信息，所述第一信息用于指示各種優先級的數據分區的數量之間的預設比；或者，第二信息，所述第二信息用于指示各種優先級的數據分區的數量各自所占數據分區的總數量的預設比例。

本方案中，第一分布式節點根據數據分區的優先級設置信息確定各數據分區的優先級,可以提高確定數據分區的優先級的效率以及使得各種優先級的數據分區之間的比例比較合理。

在一種可能的設計中，還包括：所述第一分布式節點確定當前數據處理任務所對應的各數據分區的丟包屬性；所述第一分布式節點將所述目標數據分區的丟包屬性信息發送至所述第二分布式節點；相應地，所述第一分布式節點根據所述源數據中的子數據的處理要求和各所述數據分區的優先級，確定與所述子數據的處理要求匹配的目標數據分區，包括：所述第一分布式節點根據所述源數據包括的子數據的處理要求、各所述數據分區的優先級和丟包屬性，確定與所述子數據的處理要求匹配的目標數據分區。

本方案通過設置數據分區的丟包屬性，可以進一步保證處理要求高的數據能夠被處理。