[發明專利]任務處理方法、裝置、設備及存儲介質

在審

• 申請號: 202011048304.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112231098A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 趙澤恩;李汶昊
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 唐述燦

1.一種任務處理方法，其特征在于，應用于包括多個任務處理節點的任務處理集群中，所述方法應用于所述任務處理集群中的第一任務處理節點，所述方法包括：

獲取待處理的第一任務；

基于任務鏈確定所述第一任務的關聯任務，所述任務鏈用于描述不同任務之間的依賴關系，所述關聯任務包括所述第一任務所依賴的任務；

響應于所述關聯任務處理完成，生成多個第一任務分片，所述第一任務分片是對所述第一任務進行劃分得到的；

向所述任務處理集群中的目標任務處理節點發送所述第一任務分片。

2.根據權利要求1所述的方法，其特征在于，所述向所述任務處理集群中的目標任務處理節點發送所述第一任務分片，包括：

基于所述目標任務處理節點的運行信息，確定分片發送頻率，所述分片發送頻率用于指示所述第一任務處理節點針對所述目標任務處理節點的任務分片發送速率；

根據所述分片發送頻率，向所述目標任務處理節點發送所述第一任務分片；

其中，所述運行信息用于指示所述目標任務處理節點的當前任務處理能力。

3.根據權利要求1所述的方法，其特征在于，所述向所述任務處理集群中的目標任務處理節點發送所述第一任務分片，包括：

基于所述目標任務處理節點的運行信息，確定所述目標任務處理節點的當前任務處理能力；

根據所述當前任務處理能力由高到低的順序，依次向所述目標任務處理節點發送所述第一任務分片。

4.根據權利要求1所述的方法，其特征在于，所述生成多個第一任務分片，包括：

基于分片規則確定分片參數；

根據所述分片參數對所述第一任務進行劃分，生成所述多個第一任務分片；

其中，所述分片參數包括分片數量和/或分片數據量，所述分片數據量用于指示所述第一任務分片所包括的待處理的任務數據對應的數據量上限值。

5.根據權利要求1所述的方法，其特征在于，所述獲取待處理的第一任務之后，還包括：

基于所述任務鏈確定所述第一任務在任務隊列中的存儲位置，所述任務隊列用于存儲所述第一任務處理節點所接收到的未處理任務，所述第一任務的存儲位置位于所述關聯任務之后；

根據所述存儲位置，在所述任務隊列中存儲所述第一任務；

所述基于任務鏈確定所述第一任務的關聯任務之后，還包括：

在檢測到所述關聯任務的處理結果的情況下，確定所述關聯任務處理完成；

響應于所述第一任務位于所述任務隊列的首位，執行所述生成多個第一任務分片的步驟。

6.根據權利要求1所述的方法，其特征在于，所述向所述任務處理集群中的目標任務處理節點發送所述第一任務分片之后，還包括：

接收所述目標任務處理節點發送的多個所述第一任務分片對應的任務處理結果；

對所述多個任務處理結果進行聚合匯總，得到所述第一任務對應的處理結果。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

接收來自于第二任務處理節點的第二任務分片，所述第二任務分片是對第二任務進行劃分得到的，所述第二任務分片中攜帶待處理的任務數據；

若所述第一任務處理節點正在處理其它任務分片，則基于線程池對所述第二任務分片進行并行處理；

響應于所述第二任務分片處理完成，向所述第二任務處理節點發送所述第二任務分片對應的任務處理結果，所述任務處理結果中攜帶所述第二任務分片處理后的任務數據。

8.根據權利要求1至7任一項所述的方法，其特征在于，所述方法還包括：

響應于所述第一任務處理節點由停機狀態轉換為非停機狀態，向所述任務處理集群中的第三任務處理節點發送集群信息獲取請求；

在接收到所述第三任務處理節點發送的集群信息的情況下，根據所述集群信息向各個任務處理節點發送第一狀態信息，所述第一狀態信息用于指示所述第一任務處理節點處于所述非停機狀態，所述集群信息用于指示所述任務處理集群中所包括的任務處理節點。