[發明專利]批量任務處理方法、裝置、系統、設備和可讀存儲介質

在審

• 申請號: 201910593876.4
• 申請日: 2019-07-03
• 公開（公告）號: CN110287033A
• 公開（公告）日: 2019-09-27
• 發明（設計）人: 何藝;段鵬飛
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;劉芳

1.一種批量任務處理方法，其特征在于，應用于分布式批量任務處理系統中的主服務器，所述分布式批量任務處理系統包括資源共享的所述主服務器和多個從服務器，所述方法包括：

獲取待處理的多個子任務，其中，所述子任務是由待處理的批量任務分解得到的，所述子任務包括配置信息、任務資源和可執行文件；

根據各所述從服務器的任務處理能力，獲取子任務信息列表，其中，所述子任務信息列表指示了各所述子任務的處理進度、用于處理各所述子任務的從服務器以及各所述子任務的配置信息；

將所述子任務信息列表同步給所述多個從服務器，以使所述多個從服務器根據所述任務信息列表對所述多個子任務進行處理。

2.根據權利要求1所述的方法，其特征在于，所述根據各所述從服務器的任務處理能力，獲取子任務信息列表，包括：

周期性地獲取各所述從服務器的動態處理能力值，以及未執行的子任務，其中，所述未執行的子任務的所述處理進度為未執行；

以所述動態處理能力值為分配權重，確定各所述從服務器分配處理的所述未執行的子任務；

根據各所述未執行的子任務對應的所述從服務器，調整所述子任務信息列表；

將調整后的子任務信息列表同步給所述多個從服務器。

3.根據權利要求2所述的方法，其特征在于，所述周期性地獲取各所述從服務器的動態處理能力值，包括：

在預設的調整周期中，獲取各所述從服務器的任務處理速度；

根據所述任務處理速度，確定各所述從服務器的動態處理能力值。

4.根據權利要求1至3任一所述的方法，其特征在于，所述根據各所述從服務器的任務處理能力，獲取子任務信息列表，還包括：

獲取各所述從服務器預設的初始處理能力值；

以所述初始處理能力值為分配權重，確定各所述從服務器分配處理的子任務；

根據各所述子任務的處理進度和各所述子任務對應的所述從服務器，創建子任務信息列表。

5.根據權利要求1至3任一所述的方法，其特征在于，所述獲取待處理的多個子任務，包括：

獲取待處理的批量任務；

將所述批量任務分解為至少一個獨立任務；

根據所述獨立任務的多個任務步驟，將各所述獨立任務分解為一個或多個子任務，其中，每個所述任務步驟對應1個所述子任務；

獲取各所述子任務的操作類型，其中，每個所述子任務對應的所述操作類型包括并行Map類型或歸納Reduce類型；

根據所述操作類型和所述多個任務步驟的執行順序，獲取各所述子任務的配置信息。

6.根據權利要求5所述的方法，其特征在于，所述根據各所述從服務器的任務處理能力，獲取子任務信息列表，還包括：

根據各所述從服務器的任務處理能力以及各所述子任務的所述操作類型，獲取子任務信息列表，其中，每個所述從服務器用于執行所述Map類型的子任務，或者所述Reduce類型的子任務。

7.一種批量任務處理方法，其特征在于，應用于分布式批量任務處理系統中的從服務器，所述分布式批量任務處理系統包括資源共享的主服務器和多個所述從服務器，所述方法包括：

獲取子任務信息列表，其中，所述子任務信息列表指示了多個子任務的處理進度、用于處理各所述子任務的從服務器以及各所述子任務的配置信息；

根據所述子任務信息列表，確定待處理的目標子任務，以及所述目標子任務的配置信息；

獲取所述目標子任務并根據所述配置信息進行配置和處理。

8.根據權利要求7所述的方法，其特征在于，所述獲取所述目標子任務并根據所述配置信息進行配置和處理之后，還包括：

在確定所述目標子任務處理結束時，將所述子任務信息列表中與所述目標子任務對應的處理進度更新為處理結束；

通過raft協議向所述主服務器和其他所述從服務器同步更新后的所述子任務信息列表。