[發明專利]數據處理方法和裝置

在審

• 申請號: 201910851894.8
• 申請日: 2019-09-10
• 公開（公告）號: CN110543490A
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 邢越;趙得潤;汪婷;孫英富
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/27
• 代理公司: 11205 北京同立鈞成知識產權代理有限公司
• 代理人: 朱穎;劉芳<國際申請>=<國際公布>=<

1.一種數據處理方法，其特征在于，包括：

第一分布式節點確定數據處理任務所對應的各數據分區的優先級，所述數據處理任務包括：需要對源數據進行的處理操作；

所述第一分布式節點根據所述源數據中的子數據的處理要求和各所述數據分區的優先級，確定與所述子數據的處理要求匹配的目標數據分區；

所述第一分布式節點將所述子數據、所述目標數據分區的標識和所述目標數據分區的優先級信息發送至第二分布式節點。

2.根據權利要求1所述的方法，其特征在于，所述第一分布式節點確定當前數據處理任務所對應的各數據分區的優先級，包括：

所述第一分布式節點根據優先級設置信息，確定各所述數據分區的優先級。

3.根據權利要求2所述的方法，其特征在于，所述優先級設置信息包括：

第一信息，所述第一信息用于指示各種優先級的數據分區的數量之間的預設比；或者，

第二信息，所述第二信息用于指示各種優先級的數據分區的數量各自所占數據分區的總數量的預設比例。

4.根據權利要求1～3任一項所述的方法，其特征在于，還包括：

所述第一分布式節點確定當前數據處理任務所對應的各數據分區的丟包屬性；

所述第一分布式節點將所述目標數據分區的丟包屬性信息發送至所述第二分布式節點；

相應地，所述第一分布式節點根據所述源數據中的子數據的處理要求和各所述數據分區的優先級，確定與所述子數據的處理要求匹配的目標數據分區，包括：

所述第一分布式節點根據所述源數據中的子數據的處理要求、各所述數據分區的優先級和丟包屬性，確定與所述子數據的處理要求匹配的目標數據分區。

5.根據權利要求4所述的方法，其特征在于，所述第一分布式節點確定當前數據處理任務所對應的各數據分區的丟包屬性，包括：

所述第一分布式節點根據丟包屬性設置信息、各數據分區的優先級和預設條件，確定各所述數據分區的丟包屬性；

其中，所述預設條件包括：若第一優先級的數據分區中存在丟包屬性為可丟包的數據分區，則第二優先級的數據分區中的丟包屬性均為可丟包，所述第一優先級高于所述第二優先級。

6.根據權利要求5所述的方法，其特征在于，所述丟包屬性設置信息包括：

第三信息，所述第三信息用于指示各種丟包屬性的數據分區的數量之間的預設比；或者，

第四信息，所述第四信息用于指示各種丟包屬性的數據分區的數量各自所占數據分區的總數量的預設比例。

7.一種數據處理方法，其特征在于，包括：

第二分布式節點接收所述第一分布式節點發送的子數據、目標數據分區的標識和所述目標數據分區的優先級信息，所述目標數據分區為與所述子數據的處理要求匹配的數據分區；

所述第二分布式節點將所述子數據和所述目標數據分區的優先級信息寫入所述目標數據分區中。

8.根據權利要求7所述的方法，其特征在于，還包括：

所述第二分布式節點根據所述目標數據分區的優先級信息指示的所述目標數據分區的優先級，處理所述目標數據分區中的子數據。

9.根據權利要求8所述的方法，其特征在于，還包括：

所述第二分布式節點接收所述第一分布式節點發送的目標數據分區的丟包屬性信息；

所述第二分布式節點將所述目標數據分區的丟包屬性信息寫入所述目標數據分區中。

10.根據權利要求9所述的方法，其特征在于，所述第二分布式節點根據所述目標數據分區的優先級信息指示的所述目標數據分區的優先級，處理所述目標數據分區中的子數據，包括：

所述第二分布式節點根據所述目標數據分區的優先級信息指示的所述目標數據分區的優先級，以及所述目標數據分區的丟包屬性信息指示的所述目標數據分區的丟包屬性，處理所述目標數據分區中的子數據。