[發明專利]批量任務處理方法、裝置、系統、設備和可讀存儲介質

在審

• 申請號: 201910593876.4
• 申請日: 2019-07-03
• 公開（公告）號: CN110287033A
• 公開（公告）日: 2019-09-27
• 發明（設計）人: 何藝;段鵬飛
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;劉芳

本發明提供一種批量任務處理方法、裝置、系統、設備和可讀存儲介質，應用于包括資源共享的所述主服務器和多個從服務器的分布式批量任務處理系統，主服務器獲取待處理的多個子任務；根據各所述從服務器的任務處理能力，獲取子任務信息列表，其中，所述子任務信息列表指示了用于處理各子任務的從服務器、各子任務的處理進度以及各子任務的配置信息；將所述子任務信息列表同步給所述多個從服務器，以使多個從服務器根據所述任務信息列表對所述多個子任務進行處理，從而主服務器可以通過修改子任務信息列表，來實現對所有子任務的靈活分配，數據交互小，降低了子任務調度的處理負荷，提高了子任務分配的效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種批量任務處理方法、裝置、系統、設備和可讀存儲介質。

背景技術

隨著計算機技術的提高，終端服務或者應用系統的開發越來越復雜，服務器經常需要處理批量任務，而提升批量任務的處理效率影響到終端服務質量或應用系統的開發效率的提高。但隨著應用系統和任務數據量的增加，處理任務所需要的時間也越來越長，尤其對于計算密集型任務，單個服務器的處理器CPU運行達到飽和后已經無法再提升處理效率，因此如何提升批量任務處理的效率是亟需解決的問題之一。

現有技術中，通常是構建分布式的服務器處理系統，通過手工分配或者系統分配的方式，將批量任務分發到多臺子服務器上進行處理，等待所有子服務器處理結束后得到批量任務的處理結果。

然而，現有的批量任務處理方法對批量任務的調度方式較為固定，處理效率不夠高。

發明內容

本發明實施例提供一種批量任務處理方法、裝置、系統、設備和可讀存儲介質，提高了批量任務處理的效率和靈活性。

本發明實施例的第一方面，提供一種批量任務處理方法，應用于分布式批量任務處理系統中的主服務器，所述分布式批量任務處理系統包括資源共享的所述主服務器和多個從服務器，所述方法包括：

獲取待處理的多個子任務，其中，所述子任務是由待處理的批量任務分解得到的，所述子任務包括配置信息、任務資源和可執行文件；

根據各所述從服務器的任務處理能力，獲取子任務信息列表，其中，所述子任務信息列表指示了各所述子任務的處理進度、用于處理各所述子任務的從服務器以及各所述子任務的配置信息；

將所述子任務信息列表同步給所述多個從服務器，以使所述多個從服務器根據所述任務信息列表對所述多個子任務進行處理。

本發明實施例的第二方面，提供一種批量任務處理方法，應用于分布式批量任務處理系統中的從服務器，所述分布式批量任務處理系統包括資源共享的主服務器和多個所述從服務器，所述方法包括：

獲取子任務信息列表，其中，所述子任務信息列表指示了多個子任務的處理進度、用于處理各所述子任務的從服務器以及各所述子任務的配置信息；

根據所述子任務信息列表，確定待處理的目標子任務，以及所述目標子任務的配置信息；

獲取所述目標子任務并根據所述配置信息進行配置和處理。

本發明實施例的第三方面，提供一種批量任務處理裝置，應用于分布式批量任務處理系統中的主服務器，所述分布式批量任務處理系統包括資源共享的所述主服務器和多個從服務器，所述裝置包括：

分解模塊，用于獲取待處理的批量任務，并將所述批量任務分解為多個子任務；

分配模塊，用于根據各所述從服務器的任務處理能力，獲取子任務信息列表，其中，所述子任務信息列表指示了各所述子任務的處理進度、用于處理各所述子任務的從服務器以及各所述子任務的配置信息；

同步模塊，用于將所述子任務信息列表同步給所述多個從服務器，以使所述多個從服務器根據所述任務信息列表對所述多個子任務進行處理。